SciClaimEval: Cross-modal Claim Verification in Scientific Papers

1. Problema

A verificação de afirmações científicas (claim verification) envolve determinar se as alegações feitas em artigos de pesquisa são suportadas ou refutadas pelas evidências apresentadas (figuras e tabelas). Com o aumento do uso de Inteligência Artificial Generativa e Grandes Modelos de Linguagem (LLMs) na escrita científica, há uma demanda crítica por ferramentas que auxiliem revisores a validar a veracidade das alegações dos autores.

No entanto, existem lacunas significativas nos conjuntos de dados (datasets) existentes:

• Falta de Autenticidade: Muitos conjuntos de dados anteriores utilizam afirmações sintéticas ou modificadas artificialmente para criar exemplos negativos (refutados), o que pode introduzir artefatos e pistas heurísticas (ex: apenas adicionar a palavra "não").
• Limitações Multimodais: Conjuntos existentes focam frequentemente apenas em texto ou em tabelas em formatos estruturados simples, ignorando a complexidade de figuras e a diversidade de formatos de tabelas (LaTeX, HTML, JSON, imagens).
• Ausência de Benchmarks Robustos: A capacidade dos modelos multimodais atuais (MLLMs) de realizar essa tarefa em cenários reais e complexos permanece pouco explorada devido à falta de dados abrangentes.

2. Metodologia

Os autores propõem o SciClaimEval, um novo conjunto de dados para verificação de afirmações científicas multimodais. A construção do dataset segue um pipeline rigoroso em três etapas principais:

1. Preparação de Dados:

   • Coleta de 180 artigos publicados de três domínios: Processamento de Linguagem Natural (NLP), Aprendizado de Máquina (ML) e Medicina.
   • Fontes incluem arXiv (para NLP/ML) e PeerJ (para Medicina).
   • Extração do texto principal, figuras (PNG) e tabelas (preservadas em LaTeX, HTML, e convertidas para PNG, JSON e HTML).

2. Extração de Pares Afirmação-Evidência:

   • Uso de expressões regulares para identificar sentenças no texto que referenciam explicitamente tabelas ou figuras (ex: "Tabela 1", "Figura 2").
   • Criação de pares sentença-evidência, incluindo o contexto imediato (sentenças anteriores) para reduzir ambiguidades.

3. Anotação Humana e Criação de Exemplos Negativos (Inovação Chave):

   • Verificação: Anotadores especialistas (pesquisadores e estudantes de pós-graduação) avaliam se a evidência original suporta a afirmação.
   • Modificação de Evidência (em vez de modificação da afirmação): Para criar exemplos de "afirmações refutadas", os anotadores modificam a evidência (figuras e tabelas) para que ela contradiga a afirmação original autêntica.
     • Para Tabelas: Alterar valores de células, trocar linhas/colunas, adicionar/remover linhas.
     • Para Figuras: Inverter gráficos, trocar legendas, trocar subgráficos, alterar eixos ou adicionar pontos de dados falsos.
   • Isso garante que as afirmações negativas sejam autênticas e que a tarefa exija raciocínio real sobre a evidência, e não apenas detecção de palavras-chave.

3. Principais Contribuições

• Dataset SciClaimEval: Um conjunto de dados com 1.664 amostras anotadas, contendo afirmações autênticas (tanto suportadas quanto refutadas) extraídas diretamente de artigos publicados.
• Estratégia de Criação de Dados Negativos: Uma abordagem inovadora que gera exemplos de refutação alterando a evidência (figuras/tabelas) em vez de manipular o texto da afirmação, evitando viases sintéticos.
• Suporte Cross-Modal e Multi-formato: O dataset inclui figuras e tabelas. As tabelas são fornecidas em múltiplos formatos (imagem, LaTeX, HTML, JSON), permitindo pesquisas sobre o processamento de diferentes representações de dados científicos.
• Benchmarking Abrangente: Avaliação de 11 modelos fundacionais multimodais (abertos e proprietários) de diferentes tamanhos no dataset.

4. Resultados

Os autores avaliaram modelos como InternVL3.5, Qwen3-VL, LLaVA, Llama-3.2-Vision e o modelo proprietário OpenAI o4-mini.

• Desempenho Geral: O modelo proprietário o4-mini superou todos os modelos de código aberto em todas as configurações, mas ainda há uma lacuna significativa entre o melhor modelo e a linha de base humana.
• Dificuldade por Modalidade:
  • Figuras: O subconjunto baseado em figuras é extremamente desafiador para todos os modelos, incluindo o o4-mini. Há uma grande diferença de desempenho em relação aos humanos.
  • Tabelas: O subconjunto baseado em tabelas é menos desafiador. O o4-mini alcançou um desempenho próximo à linha de base humana, tornando este subconjunto mais útil para avaliar modelos de código aberto.
• Métricas de Avaliação: A introdução da métrica Pair Accuracy (precisão do par) mostrou-se mais rigorosa que o Macro-F1. Ela exige que o modelo classifique corretamente tanto a versão suportada quanto a refutada de um mesmo par de afirmação-evidência. Os modelos tiveram desempenho significativamente pior nesta métrica, indicando que muitos acertos no Macro-F1 podem ser devido a adivinhações ou uso de pistas superficiais, e não a um raciocínio genuíno.
• Uso de Contexto: Em geral, os modelos performaram melhor sem contexto adicional (no-context), sugerindo que as legendas das figuras/tabelas já contêm informações suficientes, e o contexto extra pode introduzir ruído ou complexidade desnecessária.

5. Significado e Impacto

O SciClaimEval preenche uma lacuna crítica entre benchmarks sintéticos e o raciocínio científico do mundo real.

• Validação Realista: Ao usar afirmações autênticas e modificar a evidência para criar negativos, o dataset força os modelos a desenvolverem capacidades de raciocínio multimodal robustas, essenciais para a revisão por pares automatizada.
• Direcionamento Futuro: Os resultados indicam que, embora os modelos estejam evoluindo rapidamente para entender tabelas, a interpretação de figuras científicas complexas ainda é um grande desafio.
• Recurso para Pesquisa: A disponibilidade de tabelas em múltiplos formatos (JSON, HTML, LaTeX, Imagem) oferece um recurso valioso para pesquisas futuras sobre a extração e processamento de dados estruturados de artigos científicos.

Em suma, o trabalho estabelece um novo padrão para a avaliação de modelos de IA na verificação de fatos científicos, destacando que, apesar dos avanços, a compreensão profunda de evidências visuais e a distinção entre afirmações sutis ainda exigem avanços significativos na tecnologia de modelos multimodais.