V-DyKnow: A Dynamic Benchmark for Time-Sensitive Knowledge in Vision Language Models

O artigo apresenta o V-DyKnow, um novo benchmark dinâmico que revela como os Modelos Visuais-Linguísticos (VLMs) frequentemente produzem informações desatualizadas devido à natureza estática de seus dados de treinamento, demonstrando que sua confiabilidade factual degrada-se ao lidar com estímulos visuais e que as abordagens atuais de atualização de conhecimento são insuficientes para garantir consistência entre modalidades.

O essencial

Imagine que os Modelos de Visão e Linguagem (VLMs) são como estudantes extremamente inteligentes que estudaram milhões de livros, fotos e notícias para se tornarem especialistas no mundo. O problema é que eles pararam de estudar em uma data específica do passado. Eles têm uma "memória congelada".

Se você perguntar a eles hoje quem é o presidente de um país ou qual time um jogador de futebol joga, eles podem responder com base no que aprenderam há 5 anos, quando aquele jogador ainda estava no time antigo ou quando aquele político ainda estava no cargo. Eles não sabem que o mundo mudou.

Aqui está a explicação do papel V-DyKnow, usando analogias simples:

1. O Problema: O "Almanaque" Desatualizado

Os pesquisadores criaram um novo teste chamado V-DyKnow. Pense nele como um jogo de "Verdade ou Mentira" contra o tempo.

• A Situação: Eles mostram uma foto (como a bandeira de um país ou o logotipo de uma empresa) e perguntam: "Quem é o CEO agora?" ou "Qual é o atual presidente?".
• O Erro Comum: A maioria dos modelos responde com o nome de alguém que era o CEO há 3 anos. Eles estão "vivos" no passado.
• A Descoberta Chocante: Quando a pergunta é feita apenas com texto (ex: "Quem é o CEO da Apple?"), os modelos acertam mais. Mas quando você mostra a foto do logo da Apple, eles ficam confusos e erram muito mais, muitas vezes dando respostas de 2018. É como se eles reconhecessem a imagem, mas a "memória" que ativam fosse de um arquivo antigo.

2. A Analogia do "Espelho Quebrado"

O estudo descobriu algo curioso:

• Se você pergunta com palavras, o espelho reflete a informação (mesmo que antiga) com mais clareza.
• Se você pergunta com uma imagem, o espelho fica embaçado. O modelo precisa primeiro "adivinhar" o que está na foto e depois tentar lembrar o fato. Nessa dupla tarefa, a memória falha e ele entrega dados velhos.

3. Tentando Consertar: O "Remendo" vs. A "Renovação"

Os pesquisadores testaram métodos para "atualizar" a memória desses modelos sem ter que reensiná-los do zero (o que seria muito caro e demorado). Eles testaram três abordagens:

• Edição de Conhecimento (O "Remendo"): Tentar colar um novo fato na memória do modelo.
  • Resultado: Funciona muito mal. É como tentar colar um adesivo novo em uma parede de tinta velha; a tinta nova descasca e a velha volta a aparecer. O modelo continua dizendo o que era verdade antes.
• RAG Multimodal (O "Livro de Apoio"): Dar ao modelo um livro atualizado na hora da pergunta para ele ler antes de responder.
  • Resultado: Funciona melhor! Se você der a resposta certa junto com a pergunta, ele acerta. Mas isso não muda a memória dele; ele só está "colaando" a resposta na hora. Se você tirar o livro, ele volta a errar.

4. Por que isso acontece? (A Autópsia da Memória)

Os pesquisadores abriram a "caixa preta" dos modelos para ver como eles pensam:

• Eles descobriram que a informação nova não está sendo aprendida de verdade.
• Quando o modelo vê uma imagem, ele gasta muita energia apenas para identificar "O que é isso?". Sobra pouca energia para buscar a informação atualizada na memória.
• Mesmo os modelos mais novos (lançados em 2025) ainda têm uma "memória de fundo" que é de 2020 ou 2021. Eles parecem modernos, mas o cérebro deles está preso no passado.

Resumo da Ópera

O V-DyKnow é um alerta para o mundo da Inteligência Artificial:

Nós estamos construindo modelos que são ótimos em ver e falar, mas péssimos em saber o que está acontecendo agora.

Eles são como um turista que visitou Paris em 2015 e, em 2025, ainda aponta para o local onde ficava uma loja que já fechou, dizendo: "Olhe, a loja está lá!". O mundo mudou, mas a "mente" do modelo não.

A lição: Para que a IA seja realmente útil no mundo real, ela precisa aprender a atualizar sua memória dinamicamente, não apenas memorizar snapshots estáticos do passado. E, até agora, os métodos que tentamos usar para "atualizá-los" são como tentar ensinar um adulto a andar de bicicleta usando apenas um manual de instruções de 1990.

Resumo técnico

Resumo Técnico: V-DyKnow

1. O Problema

Os Modelos de Linguagem e Visão (VLMs) são treinados em "instantâneos" (snapshots) de dados estáticos, o que implica que seu conhecimento factual é tratado como invariável no tempo. No entanto, fatos do mundo real são inerentemente sensíveis ao tempo e sujeitos a mudanças periódicas ou erráticas.

• Limitação Atual: Os benchmarks existentes avaliam VLMs com verdades fundamentais fixas, ignorando a evolução temporal. Isso faz com que as avaliações meçam a concordância com informações desatualizadas em vez da precisão factual no momento da inferência.
• Fenômeno Observado: Há uma lacuna significativa de desempenho entre consultas textuais e visuais. Além disso, mesmo quando os modelos reconhecem corretamente uma entidade visualmente, frequentemente recuperam fatos desatualizados (ex: citar um CEO que já deixou o cargo ou um presidente anterior).
• Desafio de Atualização: Métodos existentes de edição de conhecimento e RAG (Geração Aumentada por Recuperação) multimodal falham em atualizar consistentemente o conhecimento do modelo através de diferentes modalidades (texto vs. imagem).

2. Metodologia: V-DyKnow

Os autores introduzem o V-DyKnow, o primeiro benchmark dinâmico visual para avaliar conhecimento factual sensível ao tempo em VLMs.

• Construção dos Dados:

  • Baseado no DyKnow, mas estendido para o domínio visual.
  • Utiliza o Wikidata como fonte de verdade dinâmica, atualizada no momento da avaliação.
  • Os fatos são representados como tripletas (Sujeito, Propriedade, Atributo) com intervalos de validade temporal (ex: "Tim Cook" é CEO da "Apple" de 2011–presente; "Steve Jobs" foi de 1997–2011).
  • O conjunto contém 139 fatos sensíveis ao tempo cobrindo países (brasões e bandeiras), atletas (retratos) e organizações (logotipos).

• Protocolo de Avaliação:

  • Consultas Pareadas: Cada entidade é testada em duas modalidades:
    1. Visual: A entidade é apresentada como imagem (ex: bandeira de um país) com a pergunta "Quem é o atual líder deste país?".
    2. Textual: A entidade é apresentada explicitamente no texto (ex: "Quem é o atual líder da Itália?").
  • Classificação de Respostas:
    • Correta: Atributo válido atualmente.
    • Desatualizada: Atributo válido no passado, mas não mais.
    • Irrelevante: Atributo nunca válido ou alucinação.
  • Estratégia Upper-Bound: Para mitigar a sensibilidade à lexicalização, cada pergunta é feita com 3 variações de prompt. A melhor resposta entre as três é considerada a predição final.
  • Tarefa de Reconhecimento: Inclui uma tarefa auxiliar para identificar a entidade visualmente, permitindo distinguir erros de reconhecimento de erros de recuperação de conhecimento.

• Modelos Avaliados:

  • 9 VLMs de última geração (abertos e fechados), incluindo LLaVA-1.5, LLaVA-OneVision, PaliGemma 2, Molmo, Qwen2-VL, Qwen2.5-VL, InternVL3.5, GPT-4 e GPT-5.
  • Comparação com os LLMs base correspondentes antes do ajuste multimodal.

3. Principais Contribuições

1. Lançamento do V-DyKnow: Um benchmark dinâmico que valida respostas contra informações atualizadas do Wikidata, permitindo a avaliação da obsolescência do conhecimento.
2. Avaliação Sistemática: Primeira análise abrangente da sensibilidade temporal em VLMs de ponta, revelando a prevalência de fatos desatualizados e a grande lacuna de desempenho entre modalidades.
3. Análise de Métodos de Atualização: Avaliação crítica de técnicas de Knowledge Editing (WISE, GRACE, IKE) e Multimodal RAG para atualizar fatos desatualizados.
4. Análise Mecanística e de Dados: Investigação das fontes de previsões desatualizadas através da análise dos intervalos temporais dos dados de treinamento e da interpretabilidade das camadas do modelo.

4. Resultados Chave

• Prevalência de Fatos Desatualizados:

  • A maioria dos VLMs frequentemente retorna fatos desatualizados, muitas vezes superando o número de respostas corretas.
  • Lacuna Modalidade: A recuperação factual é significativamente menos confiável em estímulos visuais do que em texto. Modelos como LLaVA-1.5 e Molmo mostram uma grande proporção de respostas "irrelevantes" quando a entidade é visual.
  • Reconhecimento vs. Conhecimento: Mesmo modelos com alta precisão no reconhecimento de entidades (ex: família Qwen2) ainda produzem uma grande fração de respostas desatualizadas, indicando que identificar a entidade corretamente não garante acesso ao conhecimento atualizado.

• Consistência e Perturbações:

  • A consistência das respostas (acordo entre diferentes formulações de prompt) é menor em consultas visuais do que em textuais, indicando que a recuperação de fatos visuais é mais instável e sensível à formulação.

• Eficácia de Atualização (Editing e RAG):

  • Knowledge Editing (WISE, GRACE, IKE): Métodos como WISE e GRACE falham em atualizar fatos de forma confiável (menos de 6% de eficácia em média) e frequentemente introduzem alucinações ou mantêm o conhecimento antigo. O IKE tem alta eficácia, mas depende de fornecer o fato correto explicitamente no contexto, o que não é um cenário realista de atualização autônoma.
  • Multimodal RAG: Desempenha melhor que o editing puro, mas sua eficácia depende criticamente da qualidade da recuperação de documentos. Mesmo com documentos "dourados" (Gold Docs), o conhecimento paramétrico pré-treinado do modelo pode interferir, gerando respostas desatualizadas ou alucinações.

• Análise de Origem:

  • A análise temporal das respostas mostra que os modelos refletem os "snapshots" de dados de treinamento antigos (muitas vezes anteriores a 2020), mesmo em modelos lançados em 2024/2025.
  • A análise de camadas (mecanística) revela que métodos de edição afetam camadas diferentes: WISE tende a editar apenas a camada final, enquanto GRACE propaga mudanças em camadas intermediárias, mas frequentemente falha em suprimir completamente associações antigas.

5. Significado e Conclusão

O trabalho demonstra que os VLMs atuais possuem limitações fundamentais na aquisição, recuperação e manutenção de conhecimento sensível ao tempo, especialmente quando acionado por estímulos visuais.

• Implicações: O treinamento atual baseado em snapshots estáticos é insuficiente para um mundo em constante mudança. A simples adição de capacidades visuais não melhora a atualização de conhecimento; na verdade, pode degradar a recuperação factual em comparação com os LLMs base.
• Futuro: São necessários novos paradigmas de aprendizado que modelam explicitamente a validade temporal, integrem fontes de conhecimento dinâmicas e suportem atualizações contínuas sem desestabilizar representações existentes.
• Recurso: Os autores liberaram o benchmark, o código e os dados de avaliação para fomentar pesquisas futuras sobre conhecimento factual dinâmico em modelos de linguagem e visão.