Hypothesis-Conditioned Query Rewriting for Decision-Useful Retrieval

1. O Problema: A Lacuna entre Relevância Topical e Utilidade para Decisão

O artigo aborda uma limitação fundamental nos sistemas atuais de Geração Aumentada por Recuperação (RAG): a distinção entre recuperar informações que são topicalmente relevantes (relacionadas ao tema) e informações que são úteis para a decisão (necessárias para escolher a resposta correta entre opções concorrentes).

• Contexto: Em tarefas de múltipla escolha (especialmente na área médica), modelos de linguagem grandes (LLMs) muitas vezes já possuem conhecimento paramétrico suficiente para responder a muitas perguntas. A recuperação é útil apenas quando o contexto externo melhora materialmente a decisão final.
• A Falha Atual: Métodos RAG tradicionais geralmente usam uma única consulta inicial baseada na pergunta bruta. Isso tende a recuperar documentos de fundo genéricos que são tematicamente relacionados, mas não ajudam a discriminar entre as opções de resposta.
• Consequência: A presença de contexto irrelevante ou "ruido" pode distrair o modelo, degradar o raciocínio robusto e ocupar o orçamento limitado de contexto (janela de tokens), deslocando evidências cruciais. O problema não é apenas a falta de conhecimento, mas a má correspondência das evidências recuperadas.

2. Metodologia: HCQR (Hypothesis-Conditioned Query Rewriting)

Os autores propõem o HCQR, um framework de pré-recuperação training-free (sem necessidade de treinamento adicional) que reorienta a recuperação de "orientada a tópicos" para "orientada a evidências". O método opera sob um orçamento fixo de contexto final e divide-se em três componentes principais:

A. Formulador de Hipóteses (Hypothesis Formulator)

Dada a pergunta e as opções de resposta, este módulo gera um estado estruturado de trabalho contendo:

1. Hipótese de Trabalho ($\hat{y}_0$): Uma "melhor suposição" inicial sobre a resposta correta.
2. Características Discriminatórias ($f$): Pistas específicas da pergunta que separam as principais candidatas.
3. Evidência de Confirmação ($e$): Fatos ou regras que deveriam ser observados se a hipótese estiver correta.
4. Raciocínio Breve ($r$): Uma explicação concisa do porquê da escolha.

Nota: A hipótese é usada apenas para planejar a recuperação e não é passada diretamente para o gerador final, evitando o "ancoramento" da resposta.

B. Reescrevedor de Consultas (Query Rewriter)

Com base na pergunta original e no estado da hipótese, o reescrevedor gera exatamente três consultas direcionadas:

1. Consulta de Suporte ($q_1$): Busca evidências que apoiem diretamente a hipótese de trabalho.
2. Consulta de Distinção ($q_2$): Busca critérios que diferenciem a hipótese das alternativas mais fortes (focando nas características discriminatórias).
3. Consulta de Características-Chave ($q_3$): Verifica pistas salientes da própria pergunta, garantindo que evidências cruciais sejam encontradas, mesmo que a hipótese inicial esteja parcialmente errada.

C. Recuperação e Fusão

As três consultas são enviadas a um recuperador compartilhado. Os documentos recuperados (top-5 por consulta) são fundidos, deduplicados e truncados para caber no orçamento final de contexto ($B_{max}$). O gerador final então usa esse contexto refinado para produzir a resposta definitiva, podendo confirmar ou rejeitar a hipótese inicial com base nas novas evidências.

3. Contribuições Principais

1. Novo Paradigma de Recuperação: Introdução do HCQR, um método que utiliza uma hipótese intermediária para planejar consultas de recuperação, focando na utilidade da evidência para a decisão em vez de apenas na relevância superficial.
2. Análise de Utilidade de Contexto: Desenvolvimento de uma métrica de avaliação que classifica o contexto recuperado em três categorias:
   • Entailed (Entailment): O contexto sozinho prova a resposta.
   • Useful (Útil): O contexto fornece suporte forte, mas requer uma pequena ponte de raciocínio.
   • Not Useful (Não Útil): O contexto é apenas fundo ou irrelevante.
   • Definição da Taxa de Utilidade para Decisão (Decision-Useful Rate - DUR).
3. Validação Empírica Rigorosa: Demonstração de que a alinhamento da consulta com a decisão supera abordagens de reescrita simples, reranking (reclassificação) e filtragem pós-recuperação em benchmarks médicos.

4. Resultados Experimentais

Os experimentos foram conduzidos em dois benchmarks de QA médica de múltipla escolha: MedQA e MMLU-Med, utilizando quatro configurações de modelos (Llama e Qwen).

• Desempenho de Precisão:

  • O HCQR superou consistentemente todas as baselines (RAG Simples, Reescrevimento, HyDE, Rerank-RAG, MAIN-RAG) em todas as células de modelo-dataset.
  • Ganhos Médios: Melhoria de 5,9 pontos de precisão sobre o RAG Simples no MedQA e 3,6 pontos no MMLU-Med.
  • O HCQR também superou a linha de base sem recuperação (Chain-of-Thought puro) em ambos os datasets.

• Análise de Utilidade do Contexto (DUR):

  • O HCQR aumentou drasticamente a proporção de contextos julgados como "úteis para decisão".
  • No MedQA, a taxa DUR do HCQR foi de 82,1%, comparado a apenas 30,0% do RAG Simples.
  • O método reduziu significativamente a quantidade de contexto classificado como "Não Útil" (de ~60% no RAG simples para ~18% no HCQR).

• Ablação e Controles:

  • A remoção de qualquer uma das três consultas ($q_1, q_2, q_3$) degradou o desempenho, provando que os papéis são complementares.
  • A exposição das opções de resposta ao reescrevedor, sem a estrutura de hipótese, trouxe ganhos modestos, indicando que o valor principal vem do planejamento baseado em hipótese, não apenas de ver as opções.

5. Significado e Conclusão

O trabalho demonstra que, em cenários de decisão com múltiplas opções e orçamento de contexto limitado, a qualidade da construção da consulta inicial é mais crítica do que a quantidade de candidatos recuperados ou a filtragem posterior.

• Mudança de Foco: O HCQR prova que a recuperação deve ser vista como um processo de verificação de hipóteses. Ao formular uma resposta provisória e buscar evidências para apoiá-la, diferenciá-la e verificar pistas, o sistema garante que o contexto entregue ao LLM seja diretamente acionável para a tomada de decisão.
• Implicações Práticas: Para domínios de alto risco (como medicina), onde a recuperação de informações genéricas pode ser prejudicial, métodos como o HCQR oferecem uma via para melhorar a precisão sem a necessidade de treinamento complexo, utilizando apenas a capacidade de raciocínio dos LLMs existentes para planejar a busca.
• Limitações: O método depende da qualidade da hipótese intermediária e foi testado principalmente em QA médica de múltipla escolha. A generalização para tarefas abertas ou domínios onde as opções não são dadas explicitamente ainda é uma questão em aberto.

Em resumo, o HCQR estabelece que, sob um orçamento de contexto fixo, alinhamento de decisão na fase de recuperação é um fator determinante para o sucesso do RAG, superando abordagens que tratam a recuperação como um mero mecanismo de busca de similaridade lexical.