No One Size Fits All: QueryBandits for Hallucination Mitigation

Título: NO ONE SIZE FITS ALL: QUERYBANDITS PARA MITIGAÇÃO DE ALUCINAÇÕES EM LLMs

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão se tornando mais capazes em raciocínio, mas isso tem levado a um aumento na frequência e severidade de alucinações (geração de informações factualmente incorretas).

• Lacuna na Pesquisa: A maioria das soluções de mitigação foca em modelos de código aberto (open-weight), utilizando técnicas como edição de parâmetros, detecção post-hoc ou manipulação de logits. No entanto, a grande maioria das implantações institucionais utiliza modelos de código fechado (ex: GPT-4o), onde o acesso aos pesos internos é impossível.
• Limitação de Abordagens Atuais: Estratégias de reescrita de consultas (query rewriting) existentes são frequentemente estáticas e "tamanho único" (one-size-fits-all). O artigo demonstra que uma única política de reescrita não é ótima para todos os tipos de consultas; o que funciona para uma pergunta pode piorar a resposta de outra.

2. Metodologia: QueryBandits

Os autores propõem o QueryBandits, um framework de Bandito Contextual (Contextual Bandit) agnóstico ao modelo. A ideia central é aprender online uma política que selecione a estratégia de reescrita ótima para cada consulta específica, baseada em suas características linguísticas.

Componentes Principais:

1. Espaço de Ações (Rewrite Arms): O sistema seleciona entre 5 estratégias de reescrita (definidas via prompts):

   • PARAPHRASE: Introduz diversidade lexical mantendo o significado.
   • SIMPLIFY: Remove cláusulas aninhadas e sintaxe complexa.
   • DISAMBIGUATE: Resolve referências vagas (pronomes, expressões temporais).
   • EXPAND: Adiciona entidades e atributos salientes para enriquecer o contexto.
   • CLARIFY TERMS: Define jargões e termos técnicos.
   • (Inclui também uma opção de "NO-REWRITE" como baseline).

2. Contexto (Features): Para cada consulta, o sistema extrai um vetor de características linguísticas binário de 17 dimensões. Essas características capturam propriedades conhecidas por afetar a compreensão (ex: ambiguidade, polissêmia, subordinação, presença de entidades, necessidade de conhecimento especializado, etc.).

3. Função de Recompensa ($r_t$): Para guiar o aprendizado, os autores criam uma função de recompensa composta e calibrada, combinando três sinais de correção:
   $$r_t = \alpha \cdot s_{llm} + \beta \cdot s_{fuzz} + \gamma \cdot s_{bleu}$$

   • $s_{llm}$: Avaliação binária de correção feita por um LLM (LLM-as-a-judge).
   • $s_{fuzz}$: Similaridade de string difusa (RapidFuzz).
   • $s_{bleu}$: Pontuação BLEU-1 (sobreposição léxica).
   • Pesos Otimizados: Através de uma análise de fronteira de Pareto em um conjunto de validação humano, os pesos ótimos foram encontrados como $(\alpha=0.6, \beta=0.3, \gamma=0.1)$. Esta função atinge um ROC-AUC de 0.973, separando eficazmente respostas corretas de incorretas.

4. Algoritmos de Aprendizado: O framework testa várias famílias de algoritmos de bandito:

   • Contextuais: Thompson Sampling (TS), LinUCB, LinUCB+KL, FTRL.
   • Não-Contextuais (Vanilla): EXP3, FTPL.
   • O objetivo é mapear o vetor de características da consulta para a melhor estratégia de reescrita, equilibrando exploração e exploração.

3. Contribuições Chave

1. Modelagem de Recompensa para Factualidade: Introdução de uma função de recompensa híbrida e validada empiricamente que serve como um sinal de aprendizado robusto para alucinações, sem necessidade de acesso aos gradientes do modelo.
2. Vitória da Adaptação Contextual: Demonstração de que adaptar a reescrita ao "fingerprint" linguístico de cada consulta supera drasticamente políticas estáticas e heurísticas de "tamanho único".
3. Descoberta de "Não Há Tamanho Único": Evidência empírica de que a eficácia de uma estratégia de reescrita depende intrinsecamente das características semânticas da consulta. Por exemplo, a estratégia EXPAND é altamente eficaz para consultas com "Especialização de Domínio", enquanto SIMPLIFY falha nesse cenário.
4. Aplicabilidade em Modelos Fechados: O método opera puramente na camada de entrada (forward-pass), exigindo apenas a capacidade de reescrever o prompt e receber a resposta. Isso o torna ideal para modelos proprietários onde a reeducação ou edição de pesos é impossível.

4. Resultados Experimentais

Os experimentos foram conduzidos no modelo GPT-4o (condição black-box) em 13 benchmarks de QA (16 cenários, ~1.050 consultas por dataset).

• Desempenho Geral: O Contextual Thompson Sampling (TS) alcançou uma taxa de vitória de 87,5% sobre a linha base "NO-REWRITE" (sem reescrita).
• Comparação com Políticas Estáticas: O método superou políticas estáticas de zero-shot em grande margem:
  • +42,6% sobre PARAPHRASE.
  • +60,3% sobre EXPAND.
• Precisão Média Macro: A precisão média aumentou de 68,1% (Baseline) para 76,6% (Contextual TS), um ganho de +8,5 pontos percentuais.
• Regret (Arrependimento): As políticas contextuais convergiram rapidamente para as reescritas ótimas, acumulando um arrependimento cumulativo significativamente menor do que políticas estáticas ou banditos não-contextuais.
• Impacto em Modelos Fechados: No dataset TruthfulQA, o QueryBandits elevou a pontuação do GPT-4o de 81,4% para 88,8% (+7,4 pp), superando métodos de edição de representação (como DoLa e TruthX) que só funcionam em modelos abertos e de menor capacidade.

5. Significado e Conclusão

O trabalho estabelece que a mitigação de alucinações em LLMs de alto desempenho não deve depender de uma única regra fixa, mas sim de um processo de aprendizado online adaptativo baseado em características linguísticas.

• Implicação Prática: O QueryBandits oferece uma solução "plug-and-play" para instituições que utilizam modelos fechados, permitindo reduzir alucinações sem custo computacional massivo de re-treinamento ou acesso aos pesos do modelo.
• Insight Teórico: A descoberta de que certas políticas estáticas podem, na verdade, aumentar o arrependimento cumulativo (piorar as alucinações) em comparação com não fazer nada, reforça a necessidade de sistemas dinâmicos que entendam o contexto da pergunta antes de decidir como reformulá-la.

Em resumo, o artigo prova que "não existe um tamanho único" para a reescrita de consultas e que o uso de banditos contextuais é a via mais eficaz para guiar modelos de linguagem para respostas mais factuais, especialmente em ambientes de produção com modelos proprietários.