Multimodal QUD: Inquisitive Questions from Scientific Figures

1. Declaração do Problema

Os Modelos Visuais-Linguísticos (VLMs) e os benchmarks científicos atuais (por exemplo, ChartQA, FigureQA) avaliam principalmente o raciocínio perceptivo—a capacidade de extrair valores explícitos ou contar elementos de uma figura. Esses benchmarks falham em capturar a curiosidade científica e o raciocínio em nível de discurso, onde figuras em artigos de pesquisa frequentemente desencadeiam perguntas implícitas que exigem a integração de padrões visuais com contexto textual para serem resolvidas.

Os conjuntos de dados existentes não distinguem entre perguntas que podem ser respondidas apenas pela figura e aquelas que exigem raciocínio multimodal (texto + figura). Consequentemente, os modelos frequentemente geram perguntas genéricas e de baixo nível ou falham em "fundamentar" seu raciocínio no conteúdo específico de uma figura, dependendo, em vez disso, de priores visuais ou padrões textuais genéricos.

2. Metodologia

A. Quadro Teórico: QUD Multimodal

Os autores estendem a teoria linguística das Questões Sob Discussão (QUD) para o domínio multimodal. Na teoria QUD padrão, o discurso é organizado em torno de perguntas implícitas levantadas e resolvidas por afirmações.

• Extensão: Neste quadro, figuras atuam como participantes do discurso que levantam perguntas implícitas ($Q_F$), as quais o texto circundante ($C_F$) ajuda a resolver.
• Taxonomia: Os autores definem seis tipos de perguntas adaptadas para o discurso multimodal:
  1. Causa: Por que um padrão ocorre?
  2. Comparação: Como os elementos diferem?
  3. Extensão: Em que grau um fenômeno ocorre?
  4. Consequência: Quais são as implicações?
  5. Procedural: Como um método é alcançado?
  6. Conceito: O que uma representação visual significa?
• Distinção: Eles categorizam as perguntas em Impulsionadas pela Figura (respondíveis apenas pela figura, por exemplo, Comparação, Extensão) e Integração (exigindo texto + figura, por exemplo, Causa, Consequência).

B. O Conjunto de Dados MQUD

Os autores construíram o MQUD, um conjunto de dados de 1.250 QUDs multimodais validados, derivados de 56 artigos científicos nas áreas de PLN, Aprendizado de Máquina e Astronomia.

• Geração: Perguntas candidatas foram geradas usando GPT-4o, condicionadas à figura, legenda, resumo e parágrafos de texto relevantes.
• Anotação: 17 autores originais dos artigos (especialistas no domínio) anotaram os dados em sete dimensões:
  • Salência: A pergunta é relevante para o argumento central do artigo?
  • Utilidade da Figura: A figura é necessária para resolver a pergunta?
  • Fonte da Resposta: A figura sozinha pode respondê-la, ou é necessário texto?
  • Correção e Qualidade: Factualidade e qualidade linguística.
• Escala: 703 perguntas foram anotadas por humanos; as 547 restantes foram anotadas por um juiz LLM validado (GPT-5-mini) com alta concordância (88% de precisão na correção).

C. Diagnósticos para Fundamentação

Para medir se os modelos compreendem genuinamente o conteúdo da figura, os autores introduziram dois diagnósticos reutilizáveis:

1. Ganho Relativo de Informação (rIG): Mede o quanto é mais difícil prever uma pergunta quando a figura é removida ($L_{texto-único} - L_{multimodal}$). Um rIG alto indica que o modelo depende da figura.
2. Diagnóstico de Troca de Figura: Testa a fundamentação específica de conteúdo. O modelo recebe o texto correto, mas uma figura errada do mesmo artigo.
   • Hipótese: Se um modelo possui fundamentação verdadeira, uma figura errada deve prejudicar o desempenho mais do que não ter nenhuma figura (porque o modelo espera pistas visuais específicas). Se ele depender de priores visuais genéricos, uma figura errada ainda pode ajudar.

D. Treinamento do Modelo

Os autores ajustaram finamente o Qwen3.5-9B usando LoRA no conjunto de dados MQUD. O objetivo do treinamento foi gerar a pergunta implícita ($Q_F$) dado o contexto de gatilho (Título, Resumo, Figura, Legenda).

3. Principais Contribuições

1. Conjunto de Dados MQUD: O primeiro conjunto de dados que visa explicitamente perguntas inquisitivas surgidas de interações figura-texto em artigos científicos, anotado pelos autores originais para utilidade científica.
2. Quadro QUD Multimodal: Uma extensão formal da teoria QUD para o discurso multimodal, distinguindo entre perguntas impulsionadas pela figura e do tipo integração.
3. Diagnósticos Novos: Introdução das métricas rIG e Troca de Figura para testar rigorosamente se os VLMs possuem fundamentação específica de conteúdo, e não apenas sensibilidade visual.
4. Evidência Empírica: Demonstração de que o ajuste fino no MQUD altera o comportamento do modelo de consultas visuais genéricas para investigação científica profunda e consciente do contexto.

4. Resultados

Desempenho nos Diagnósticos

• Fundamentação Específica de Conteúdo (Teste de Troca):
  • Linha de Base (GPT-4o/Qwen Zero-shot): Mostrou um "viés genérico". Quando dada uma figura errada, a perda foi menor do que não ter nenhuma figura ($\Delta < 0$), o que significa que eles dependiam de pistas visuais genéricas em vez de conteúdo específico. Apenas 18% dos casos mostraram fundamentação específica de conteúdo (figura errada prejudicou mais do que nenhuma figura).
  • Modelo SFT: Após o ajuste fino, 76% dos casos mostraram fundamentação específica de conteúdo ($\Delta > 0$). O modelo foi penalizado por figuras incompatíveis, provando que aprendeu a depender de detalhes visuais específicos.
• Ganho de Informação Visual (rIG):
  • A pontuação rIG aumentou de 0,60 (Base) para 0,97 (SFT), indicando que o modelo tornou-se significativamente mais dependente da figura para a geração de perguntas.
  • Ablação: Um modelo SFT apenas de texto alcançou altas taxas de troca (76%), mas baixo rIG (0,27), provando que altas taxas de troca sozinhas não garantem fundamentação visual; o modelo deve realmente usar a informação visual.

Qualidade das Perguntas

• Profundidade: Perguntas geradas pelo SFT foram preferidas por especialistas humanos em relação às linhas de base em 75% dos casos para "profundidade" e 78% para "diversidade".
• Estilo: O modelo base frequentemente produzia metacomentários verbosos antes de fazer uma pergunta. O modelo SFT gerou perguntas concisas e fundamentadas na figura (por exemplo, perguntando por que um padrão existe, em vez de o que é o padrão).
• Comparação com GPT-4o: Embora o GPT-4o seja sensível a figuras (rIG = 0,72), ele carece de fundamentação específica de conteúdo (18% de positividade na troca). O ajuste fino fechou essa lacuna, alcançando tanto alta sensibilidade quanto especificidade.

5. Significado

• Avanço na IA Científica: Este trabalho vai além do simples "QA visual" (ler um gráfico) para "ideação científica" (perguntar por que um gráfico importa). Isso é crucial para desenvolver agentes de IA que possam realmente auxiliar na descoberta científica.
• Auditoria de VLMs: Os diagnósticos propostos (rIG e Troca) fornecem um método robusto para auditar se os VLMs estão alucinando ou fundamentando genuinamente seu raciocínio em dados visuais, um passo crítico para aplicações científicas confiáveis.
• Teoria do Discurso: Ele conecta com sucesso a teoria linguística do discurso (QUD) com a visão computacional, oferecendo um novo paradigma para entender como humanos e máquinas processam literatura científica multimodal.
• Aplicações Futuras: O quadro e o conjunto de dados servem como base para construir assistentes avançados de leitura científica, benchmarks de QA mais rigorosos e ferramentas para auditar as capacidades de raciocínio de grandes modelos multimodais.