The Automatic Verification of Image-Text Claims (AVerImaTeC) Shared Task

1. Problema e Contexto

O artigo aborda o desafio da Verificação Automática de Fatos (AFC) no contexto de desinformação multimodal. Embora existam vários benchmarks para verificação de afirmações puramente textuais, a desinformação online é cada vez mais rica em mídia (imagens e texto).

• Limitações do Estado da Arte: A maioria dos conjuntos de dados existentes para afirmações imagem-texto são sintéticos (criados manipulando manualmente pares imagem-texto), o que gera uma discrepância de distribuição em relação ao conteúdo real. Além disso, benchmarks baseados em fatos reais muitas vezes carecem de anotações explícitas de evidências, dificultando a avaliação dos processos de raciocínio dos modelos.
• Objetivo da Tarefa: A tarefa compartilhada AVerImaTeC visa avançar o desenvolvimento de sistemas capazes de recuperar evidências e verificar afirmações reais que combinam texto e imagem. O foco não é apenas prever o veredito correto, mas também recuperar e apresentar as evidências apropriadas que sustentam essa decisão.

2. Metodologia e Infraestrutura

2.1. O Conjunto de Dados (Dataset)

O dataset é baseado no AVerImaTeC, contendo 1.297 afirmações extraídas manualmente de artigos de fact-checking reais.

• Estrutura: Cada afirmação é decomposta em uma sequência de pares Pergunta-Resposta (QA), onde cada resposta é apoiada por evidências recuperadas da web.
• Restrições Temporais: Para evitar vazamento temporal, todas as evidências associadas a uma afirmação devem ter sido publicadas antes da data da própria afirmação.
• Anotações: Inclui metadados ricos, vereditos baseados em evidências recuperadas e justificativas textuais explicando o raciocínio.

2.2. Knowledge Store (Repositório de Conhecimento)

Para reduzir a dependência de APIs de busca comerciais (que são caras) e garantir reprodutibilidade, os organizadores forneceram um Knowledge Store curado.

• Conteúdo: Contém evidências textuais e visuais relevantes para cada afirmação, incluindo dados adversários e irrelevantes para simular o ruído da web aberta.
• Coleta: Utilizou-se busca reversa de imagens (RIS) e busca textual, com filtros temporais rigorosos.
• Flexibilidade: Os participantes puderam usar apenas o repositório, buscar externamente por conta própria ou combinar ambas as fontes.

2.3. Sistema Baseline

O sistema baseline segue um pipeline de quatro etapas utilizando modelos de linguagem (LLM) e multimodais (MLLM), especificamente a família Gemini-2.0-Flash:

1. Gerador de Perguntas: Gera 5 perguntas para busca de evidências.
2. Gerador de Respostas: Responde às perguntas usando VQA (para questões visuais) ou recuperação de texto + LLM (para questões factuais).
3. Verificador: Agrega as evidências e prevê o veredito.
4. Gerador de Justificativa: Produz uma explicação natural baseada nas evidências.

2.4. Métricas de Avaliação

A métrica principal é a Pontuação AVerImaTeC, definida como a precisão do veredito condicionada à qualidade da evidência.

• Regra Crítica: Um veredito é considerado correto apenas se a pontuação da evidência associada superar um limiar pré-definido (0.3).
• Avaliação de Evidência: Utiliza um framework "LLM-as-a-Judge" (Gemma-3-27B) para avaliar separadamente componentes textuais e visuais. A similaridade visual é avaliada em uma escala de 0-10 (acima de 8 é considerada válida).

3. Resultados Principais

A tarefa atraiu 14 submissões na fase de desenvolvimento e 6 na fase de teste. Todos os sistemas superaram o baseline.

• Desempenho do Vencedor: A equipe HUMANE ficou em primeiro lugar com uma pontuação AVerImaTeC de 0.5455, comparada a 0.1136 do baseline.

• Técnicas de Sucesso:

  • Recuperação de Dados: O uso de ferramentas de raspagem (scraping) mais avançadas (ex: Playwright) para extrair conteúdo de URLs que o método original falhou (devido a paywalls ou conteúdo não informativo) aumentou significativamente a quantidade de evidências textuais.
  • Múltiplos Motores de Busca Reversa: O uso combinado de múltiplos motores de RIS (ex: Google Lens + Google Cloud Vision) mitigou falhas na recuperação de páginas relacionadas a imagens.
  • Recuperação Densa e Multimodal: As equipes de ponta utilizaram modelos de embeddings densos (ex: mxbai-embed-large-v1) e recuperadores multimodais (ex: ColPali, SigLIP) para melhorar a precisão semântica e visual.
  • Aprendizado com Poucos Exemplos (Few-Shot): O uso de dados de treinamento para gerar perguntas mais relevantes melhorou a qualidade das consultas.

• Análise por Tipo de Afirmação:

  • Os sistemas tiveram melhor desempenho em afirmações do tipo "Evento/Propriedade" e "Análise de Mídia".
  • Desempenho inferior foi observado em afirmações "Causais" e "Numéricas", possivelmente devido ao pequeno número de instâncias no conjunto de teste.
  • O desempenho foi muito baixo para vereditos de "Evidência Insuficiente" (NEE) e "Evidência Conflitante" (CE/C), refletindo a dificuldade dos modelos de raciocinar sob contextos conflitantes.

4. Contribuições Chave

1. Dataset Multimodal Realista: Introdução de um dataset baseado em fact-checking reais, com anotações explícitas de evidências e decomposição em QA, superando as limitações de dados sintéticos.
2. Knowledge Store Curado: Fornecimento de um repositório de evidências multimodais (texto e imagem) que elimina barreiras financeiras de APIs de busca, democratizando o acesso à pesquisa.
3. Métrica Condicionada: Refinamento da avaliação para exigir que a precisão do veredito seja acompanhada por evidências de alta qualidade, forçando os sistemas a não apenas "adivinhar" a resposta, mas a fundamentá-la.
4. Avaliação Humana de Evidências: Realização de uma avaliação humana detalhada que revelou uma discrepância significativa entre a avaliação automática e a humana, especialmente quando se trata de evidências puramente textuais versus referências multimodais.

5. Significado e Lições Aprendidas

• Importância da Extração de Dados: Métodos de raspagem robustos são essenciais, pois dados brutos de URLs frequentemente contêm ruído ou conteúdo inacessível.
• Necessidade de Diversidade na Busca Reversa: Um único motor de busca reversa de imagens é insuficiente; a combinação de múltiplos motores é crucial para cobrir o espaço de evidências visuais.
• Desafio dos Modelos Fechados vs. Abertos: As equipes de melhor desempenho dependeram fortemente de modelos fechados (Gemini-2.5-Pro). Embora modelos de pesos abertos ofereçam transparência e menor custo, ainda existe uma lacuna de desempenho que precisa ser fechada via fine-tuning.
• Desafios de Avaliação Multimodal: A avaliação automática de evidências multimodais ainda não está perfeitamente alinhada com o julgamento humano, especialmente na determinação de quando uma imagem é necessária como evidência versus quando o texto é suficiente.
• Questões em Aberto: O artigo levanta questões sobre a necessidade real de gerar perguntas de busca, se a etapa de resposta (QA) é necessária para refinar evidências e se a geração iterativa de QA traz benefícios reais em relação a uma geração única.

Em suma, a tarefa AVerImaTeC estabeleceu um novo padrão para a verificação de fatos multimodais, destacando a complexidade de integrar recuperação de evidências visuais e textuais e apontando caminhos futuros para melhorar a robustez e a reprodutibilidade desses sistemas.