Resumo Técnico: Codificado, mas Não Roteado

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (VLMs) são cada vez mais implantados para verificação de alegações científicas, uma tarefa que exige a determinação de se uma alegação é sustentada ou refutada por evidências em artigos de pesquisa. Trabalhos anteriores estabeleceram uma lacuna de desempenho significativa: os modelos apresentam um desempenho substancialmente melhor quando a evidência é apresentada como uma tabela em comparação a quando é apresentada como um gráfico, mesmo quando os dados subjacentes são idênticos.

A questão central abordada por este artigo é se esta "lacuna tabela-gráfico" decorre de uma falha perceptiva (o modelo falha em extrair ou codificar informações visuais de gráficos) ou de uma falha de utilização (o modelo codifica a informação, mas falha em roteá-la efetivamente para a etapa de predição). Distinguir entre estes é crítico, pois eles exigem intervenções fundamentalmente diferentes (por exemplo, melhores codificadores de visão versus mudanças arquitetônicas no roteamento de informação).

Metodologia

Os autores empregam uma abordagem diagnóstica usando probing linear camada a camada e análise de atenção em três VLMs de pesos abertos (Qwen2.5-VL-7B, Qwen2.5-VL-32B e InternVL3-8B) de duas famílias de modelos distintas.

1. Conjunto de Dados: O estudo utiliza o SciTabAlign+, um benchmark controlado por conteúdo que pareia 162 alegações científicas únicas com evidências semanticamente equivalentes em dois formatos: tabelas JSON estruturadas e quatro variantes de gráficos (barra básica, barra de símbolos, linha e gráficos invertidos).
2. Probing Linear:
   • Objetivo: Determinar se sinais relevantes para a tarefa (Suportado/Refutado) são decodificáveis a partir de estados ocultos intermediários.
   • Configurações: Os probes são treinados em cada camada $l$ usando duas estratégias de agregação:
     • Último token (Last-token): Usando o estado oculto do último token de entrada (a posição de predição).
     • Média agrupada (Mean-pool): Calculando a média dos estados ocultos de todos os tokens de entrada para capturar informações distribuídas.
   • Controle: Probes também são treinados apenas no texto da alegação para descartar vazamento de texto (text leakage).
   • Métrica: Área sob a Curva de Característica de Operação do Receptor Corrigida pela Direção (AUROC).
3. Análise de Atenção:
   • Os autores calculam a fração da atenção que o último token direciona para os tokens da imagem, normalizada pelo baseline proporcional (a razão entre o número de tokens de imagem e o total de tokens).
   • Isso mede se o modelo atenta para a evidência do gráfico em proporção à sua presença no input.
4. Ablação de Cadeia de Pensamento (CoT):
   • Os modelos são instruídos a descrever verbalmente o gráfico antes de fazer uma predição para testar se a verbalização explícita preenche a lacuna.

Resultados Principais

1. A Informação do Gráfico é Codificada, mas Não Roteada

O principal achado é que os sinais relevantes ao gráfico são recuperáveis das representações intermediárias, mas falham em chegar à posição de predição.

• Mean-pool vs. Last-token: Probes de média agrupada (mean-pool) alcançam alto AUROC (84–89%) em variantes de gráficos em todos os modelos, superando significativamente os probes de último token (64–73%). Em contraste, a evidência de tabela mostra a tendência oposta, com probes de último token apresentando melhor desempenho.
• Dissociação: Um classificador linear treinado em representações de média agrupada frequentemente supera a própria precisão de inferência do modelo em variantes de gráficos (ex: InternVL3-8B: 79,0% de precisão do probe vs. 56,2% de precisão do modelo). Isso confirma que a informação está presente nos estados internos do modelo, mas não é efetivamente utilizada para a decisão final.

2. Modos de Falha Distintos entre Famílias de Modelos

A análise de atenção revela que a "falha de roteamento" se manifesta de forma diferente dependendo da arquitetura do modelo:

• Família Qwen (Falha de Roteamento): Estes modelos exibem uma severa falha de roteamento de atenção. Na camada final, eles atentam para os tokens da imagem em apenas 4–11% do baseline proporcional. A evidência do gráfico é amplamente ignorada ao formar a predição.
• InternVL3-8B (Falha de Integração): Este modelo mantém uma atenção quase proporcional aos tokens de imagem (93% do baseline) ao longo de quase todas as camadas. No entanto, ele ainda falha em superar seu probe de média agrupada. Isso sugere uma falha de integração pós-atenção: o modelo atenta para o gráfico, mas falha em integrar essa informação atendida na lógica de predição final.

3. Impacto da Cadeia de Pensamento (CoT)

A ablação de CoT distingue ainda mais os modos de falha:

• Modelos Qwen: O prompting de CoT degrada o desempenho (a queda no macro-F1 é de 3,3–13,5%). Como esses modelos não atentam para o gráfico, forçá-los a verbalizar o conteúdo leva a alucinações e descrições não confiáveis.
• InternVL3-8B: O prompting de CoT melhora o desempenho (aumento de 4,6 no macro-F1). Isso indica que o modelo consegue acessar e descrever o conteúdo do gráfico, mas não o utiliza espontaneamente para a predição sem instrução explícita.

Significância e Contribuições

O artigo reformula a lacuna tabela-gráfico não como uma falha de codificação (percepção), mas como uma falha de roteamento (utilização).

• Insight Diagnóstico: O estudo demonstra que a avaliação de saída isolada é insuficiente para diagnosticar a sensibilidade ao formato. A análise interna (probing e atenção) é necessária para distinguir entre modelos que "não veem" o gráfico e modelos que "veem, mas ignoram".
• Especificidade Arquitetônica: Os achados destacam que diferentes famílias de modelos sofem de mecanismos internos de falha distintos. Uma única intervenção (ex: melhores codificadores de visão) dificilmente resolverá o problema para todos os modelos; em vez disso, as soluções devem abordar gargalos específicos de roteamento ou integração.
• Implicações para Verificação: Para fluxos de trabalho científicos de alto risco, a presença de informação codificada não garante seu uso na decisão final. Pesquisadores devem exercer cautela ao implantar VLMs para verificação baseada em gráficos, pois os modelos podem possuir a informação necessária internamente sem refleti-la em seus outputs.

Os autores concluem que a lacuna é uma "falha de como a informação visual codificada é roteada no momento da predição", um achado que exige o exame da computação interna em vez de depender apenas de métricas de desempenho de tarefas.