Resumo Técnico: DocHop-QA

Declaração do Problema

Apesar dos rápidos avanços nos Grandes Modelos de Linguagem (LLMs), os atuais benchmarks de Questionamento e Resposta (QA) falham em abordar os desafios centrais da busca por informações científicas no mundo real. Os conjuntos de dados existentes são predominantemente limitados a texto unimodal, raciocínio de contexto curto e configurações de documento único (ex: benchmarks baseados em Wikipedia como o HotpotQA). Eles frequentemente dependem de hiperlinks predefinidos ou âncoras estruturais explícitas, o que não reflete a complexidade de sintetizar evidências fragmentadas espalhadas por múltiplos documentos científicos em formatos heterogêneos (texto narrativo, tabelas estruturadas e layouts visuais). Consequentemente, os modelos atuais têm dificuldade com demandas de contexto longo, acúmulo de erros ao longo de cadeias de raciocínio e o embasamento de dados semiestruturados, deixando uma lacuna na avaliação de verdadeiras capacidades de raciocínio multimodal e entre múltiplos documentos.

Metodologia

Os autores introduzem o DocHop-QA, um benchmark de larga escala composto por 11.379 instâncias projetadas para avaliar o raciocínio multi-hop sobre corpora científicos multimodais e de múltiplos documentos. O conjunto de dados é construído a partir de artigos do PubMed Central (PMC) disponíveis publicamente, garantindo relevância de domínio e complexidade realista.

Pipeline de Construção do Conjunto de Dados

A construção segue um pipeline de quatro estágios, impulsionado por LLM e fundamentado em 11 conceitos específicos de raciocínio científico derivados de uma análise de humanos no loop de artigos do PubMed:

1. Proposta de Conceito de Pergunta: 11 conceitos de raciocínio foram identificados (ex: Problema-Solução, Mecanismo-Efeito, Comparação) e categorizados em tipos Orientados a Parágrafos (agregação fan-hop) e Orientados a Tabelas (inferência sequencial chain-hop).
2. Seleção de Documentos: Pares de documentos foram selecionados com base no alinhamento tópico (coocorrência de palavras-chave e similaridade semântica) sem depender de links de citação predefinidos. Para tipos Orientados a Tabelas, tabelas vinculadas a citações foram utilizadas para modelar o raciocínio sequencial chain-hop.
3. Geração de Perguntas: Um modelo Qwen2-Instruct ajustado por instrução (usando LoRA de 4 bits) gerou pares de pergunta-resposta diversos. Modelos separados foram treinados para diferentes categorias de perguntas (comparação, não-comparação, PST) para garantir consistência semântica e controlabilidade.
4. Correspondência de Respostas: Um pipeline de recuperação foi implementado para corresponder perguntas com intervalos de evidência.
   • Fan-hop (Orientado a Parágrafos): Trechos semanticamente complementares são recuperados independentemente de múltiplos documentos e agregados.
   • Chain-hop (Orientado a Tabelas): A evidência é recuperada sequencialmente, conectando parágrafos de problema/solução com tabelas e conteúdo referenciado entre documentos.

Estrutura de Avaliação

Para avaliar a utilidade do conjunto de dados, os autores propõem uma estrutura de avaliação baseada em tarefas que abrange quatro configurações distintas:

1. Extração Generativa de Texto: Modelos geram respostas em linguagem natural a partir de entradas de texto e/ou imagem.
2. Resposta Generativa Estruturada: Modelos geram listas de índices de entidades de resposta a partir de conteúdo XML rotulado e imagens de página.
3. Extração de Índice de Entidade BBox: Uma tarefa discriminativa prevendo índices de caixas delimitadoras (bounding box) para intervalos de resposta em layouts de OCR.
4. Extração de Índice de Entidade XML: Uma tarefa discriminativa prevendo índices diretamente de entidades definidas por XML.

Principais Contribuições

1. Benchmark DocHop-QA: Um conjunto de dados de larga escala para QA multi-hop sobre corpora científicos multimodais e de múltiplos documentos, incorporando texto não estruturado, tabelas estruturadas e características de layout sem depender de hiperlinks explícitos.
2. Pipeline de Geração Escalável: Um pipeline orientado por LLM, agnóstico ao domínio e guiado por 11 conceitos de raciocínio científico do mundo real, permitindo a criação automatizada de instâncias de QA multi-hop diversas e desafiadoras sem cadeias de raciocínio "gold".
3. Avaliação Abrangente: Um benchmark multi-tarefa que abrange desde a predição de índice estruturado até a resposta generativa, demonstrando a aplicabilidade do conjunto de dados para avaliar o raciocínio discriminativo e generativo sobre informações textuais, estruturais e visuais.

Resultados Experimentais

Experimentos conduzidos em modelos de última geração (incluindo InternVL2, Qwen2.5-VL, Qwen3-VL, GPT-4o e Gemini 2.5/3) revelam desafios significativos para os sistemas atuais:

• Desempenho Generativo: Embora modelos como Gemini 3 Pro e GPT-4o alcancem pontuações BLEU e ROUGE mais altas com ingestão de documento completo, eles ainda lutam com a complexidade de sintetizar evidências entre documentos. Notavelmente, adicionar entradas visuais (imagens) frequentemente degrada o desempenho devido a desafios de alinhamento entre texto e layout, embora a ingestão de documento completo geralmente supere as entradas de texto truncadas.
• Raciocínio Estruturado: Na resposta generativa estruturada, os modelos lutam com a consistência de formatação de saída e precisão espacial. O GPT-4o alcançou o maior F1 score (16.21) em um cenário zero-shot, apenas com texto, enquanto entradas visuais geralmente prejudicaram o desempenho.
• Recuperação e Agregação: A análise da qualidade de recuperação mostra que, embora a recuperação de trechos top-5 seja relativamente alta, a recuperação multi-hop completa (recuperar todas as peças de evidência necessárias simultaneamente) permanece baixa (ex: ~0.39 para GTR-large no Top-5). Isso destaca a dificuldade de agregar evidências dispersas.
• Modalidade e Raciocínio: Estudos de ablação confirmam que o conteúdo textual é a modalidade dominante, mas pistas visuais contribuem não trivialmente. No entanto, mesmo com acesso "oracle" aos trechos de ouro, o desempenho do modelo fica atrás do desempenho humano, indicando que o principal gargalo é a integração e síntese de evidências, e não a mera recuperação.

Significância e Alegações

O artigo posiciona o DocHop-QA como um campo de testes rigoroso para avançar os próximos sistemas de QA científico. Os autores alegam que o conjunto de dados:

• Captura a Complexidade do Mundo Real: Ao integrar texto, tabelas e características de layout através de múltiplos documentos sem âncoras estruturais explícitas, ele reflete a verdadeira dificuldade da busca de informação científica.
• Expõe Limitações dos Modelos: Os modelos atuais lutam com demandas de contexto longo e múltiplas evidências, particularmente na síntese de evidências de nível de parágrafo e tabela entre documentos.
• Facilita Pesquisas Futuras: O benchmark fornece um ambiente controlado para estudar a agregação de evidências, síntese entre múltiplos documentos e raciocínio multimodal, áreas identificadas como fundamentais, porém subexploradas.

Os autores mantêm uma postura modesta, reconhecendo limitações como o potencial de regularidades estilísticas em perguntas geradas por LLM e o foco na interpretação semântica de alto nível em vez de operações numéricas finas. Eles enfatizam que o DocHop-QA foi desenhado para fins de pesquisa para melhorar sistemas de QA robustos, não para tomada de decisão clínica.