Inferential Question Answering

Resumo Técnico: Resposta de Perguntas Inferencial

Definição do Problema
Os sistemas atuais de Resposta de Perguntas (QA - Question Answering) operam predominantemente sob o paradigma de "contenção da resposta", onde a resposta correta está explicitamente declarada nos documentos recuperados. Embora exista uma pesquisa extensa sobre tarefas de QA extrativas e generativas (ex: fatual, multi-salto, Booleana), permanece uma lacuna significativa no tratamento de perguntas que exigem raciocínio inferencial. Nesses cenários, a resposta não está presente literalmente no corpus; em vez disso, o modelo deve derivar a resposta a partir de pistas textuais indiretas, conhecimento de base e raciocínio lógico sustentado pelos documentos. Os pipelines existentes, incluindo a Geração Aumentada por Recuperação (RAG), têm dificuldade nesse cenário porque são otimizados para localizar trechos de respostas explícitas, em vez de sintetizar informações de passagens "suporte-resposta" que fornecem apenas pistas.

Metodologia: O Conjunto de Dados Quit
Para abordar essa lacuna, os autores introduzem o QA Inferencial e constroem um benchmark de larga escala chamado Quit (QUestions requiring Inference from Texts). O pipeline de construção do conjunto de dados envolve:

1. Fontes de Dados: Os autores utilizam dois recursos existentes, TriviaHG (pistas geradas automaticamente) e WikiHint (pistas escritas por humanos), que contêm pares pergunta-pista onde as pistas descrevem um conceito sem nomeá-lo explicitamente.
2. Filtragem de Perguntas: Para garantir que a tarefa exija contexto externo, as perguntas são filtradas para remover aquelas onde as pistas "vazam" a resposta (equivalência semântica com a resposta) ou onde Grandes Modelos de Linguagem (LLMs) podem respondê-las apenas através de conhecimento paramétrico.
3. Geração de Passagens: Para cada pergunta válida, subconjuntos e permutações das 5 melhores pistas de alta convergência são concatenados para formar passagens diversas. Isso resulta em 325 passagens únicas por pergunta.
4. Estratégia de Rotulagem: As passagens são rotuladas com base na respondibilidade (answerability) em vez de sobreposição lexical:
   • Rótulo 2 (Totalmente Relevante): Um LLM pode gerar corretamente a resposta usando a passagem.
   • Rótulo 1 (Parcialmente Relevante): A passagem faz referência à entidade da resposta, mas carece de informação suficiente para identificação única (ex: apontando para múltiplos candidatos).
   • Rótulo 0 (Irrelevante): A passagem não suporta a resposta.
   • Os rótulos são gerados via LLMs (Gemma 3, Qwen, LLaMA) e verificados por humanos para garantir a qualidade e resolver potenciais alucinações.
5. Estatísticas do Conjunto de Dados: O conjunto de dados Quit final compreende 7.401 perguntas e 2,4 milhões de passagens entre as divisões de treinamento, desenvolvimento e teste. Notavelmente, o conjunto de dados apresenta sobreposição lexical quase nula entre consultas e passagens (0,02) e contenção de resposta zero (0,00).

Configuração Experimental
Os autores avaliam um pipeline padrão de QA (Recuperador $\rightarrow$ Reclassificador $\rightarrow$ Leitor) no benchmark Quit:

• Recuperadores (Retrievers): BM25, DPR, ColBERT, Contriever e BGE.
• Reclassificadores (Rerankers): LiT5, MonoT5, RankGPT, RankT5 e UPR.
• Leitores (Readers): LLaMA 3.2 (1B), Gemma 3 (4B) e Qwen 3 (8B, orientado ao raciocínio).
• Construção de Contexto: Para os $k$ melhores passagens, os autores propõem dois métodos de construção de contexto para lidar com a redundância: Union$_{norm}$ (união padrão) e Union$_{freq}$ (pontuação de sentenças baseada no ranking da passagem e posição da sentença).

Principais Resultados
A avaliação revela que métodos eficazes em conjuntos de dados de QA tradicionais falham ao generalizar para o QA Inferencial:

1. Desempenho de Recuperação: Os recuperadores apresentam desempenho significativamente inferior no Quit em comparação ao MS MARCO e Wikipedia. Por exemplo, o melhor recuperador (BGE) atinge um Hit@100 de apenas 30,23% no Quit, comparado a 68,63% e 92,94% no MS MARCO e Wikipedia, respectivamente. O ajuste fino (fine-tuning) de recuperadores produz melhorias inconsistentes ou marginais.
2. Desempenho de Reclassificação: Os reclassificadores proporcionam ganhos limitados. Mesmo sob uma configuração "oráculo" (assumindo recuperação perfeita), os reclassificadores falham em ordenar as passagens de forma eficaz, com pontuações de Correspondência Exata (EM) aproximadamente metade do limite teórico superior. O ajuste fino de reclassificadores (ex: MonoT5) não melhora significativamente o desempenho e, às vezes, o degrada em comparação com modelos vanilla.
3. Desempenho do Leitor:
   • Tamanho do Modelo vs. Raciocínio: Contrário às expectativas, LLMs de propósito geral (ex: Gemma 3 4B) superam LLMs orientados ao raciocínio (ex: Qwen 3 8B) nesta tarefa, mesmo com menos parâmetros.
   • Limite Superior: Em uma configuração de oráculo ideal (recuperação e reclassificação perfeitas), as pontuações EM chegam a até 90,16%, indicando que o conjunto de dados é de alta qualidade e solucionável por LLMs se a evidência correta for fornecida.
   • Realidade Atual: Com pipelines padrão, as pontuações EM permanecem baixas (ex: ~13% para Gemma 3 4B com BGE), destacando que o gargalo reside na recuperação e no raciocínio sobre evidências indiretas, não apenas na geração.

Significância e Alegações
O artigo afirma que o QA Inferencial estabelece uma nova classe de tarefas de QA que vão além da extração em direção à compreensão genuína e ao raciocínio a partir de evidências textuais indiretas. Os autores afirmam que:

• Os pipelines de QA atuais ainda não estão prontos para o raciocínio baseado em inferência.
• A suposição de que "passagens relevantes contêm a resposta" é insuficiente para tarefas que exigem inferência.
• Os paradigmas existentes para recuperação e reclassificação são inadequados para passagens "suporte-resposta".
• O campo requer novas abordagens e paradigmas especificamente projetados para inferir respostas a partir de pistas sutis e distribuídas, em vez de depender do ajuste fino de modelos existentes.

O trabalho posiciona o QA Inferencial como um passo crítico para o desenvolvimento de sistemas de raciocínio aumentados por recuperação que se aproximam mais da compreensão inferencial humana.