Derivation Prompting: A Logic-Based Method for Improving Retrieval-Augmented Generation

Resumo Técnico: Prompting de Derivação para Geração Aumentada por Recuperação

Declaração do Problema
Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham avançado na Resposta a Perguntas (QA), eles continuam propensos a alucinações e raciocínio errôneo, particularmente em tarefas intensivas em conhecimento e específicas de domínio. O framework de Geração Aumentada por Recuperação (RAG) tenta mitigar isso fundamentando a geração do modelo em documentos recuperados. No entanto, técnicas existentes de aprimoramento de raciocínio, como Cadeia de Pensamento (CoT) e Árvore de Pensamentos (ToT), carecem de restrições explícitas sobre como as etapas intermediárias de raciocínio são construídas. Essa ausência de metodologia sistemática permite que os modelos gerem caminhos de raciocínio descontrolados, levando a lógica falha e alucinações mesmo quando o contexto é fornecido.

Metodologia: Prompting de Derivação
Os autores propõem o Prompting de Derivação, uma técnica inovadora para a etapa de geração do framework RAG, inspirada em derivações lógicas na lógica proposicional. Em vez de gerar uma resposta de forma livre, o método constrói uma "árvore de derivação" estruturada, onde uma conclusão é inferida sistematicamente a partir de um conjunto de hipóteses iniciais (fragmentos de documentos recuperados) usando regras predefinidas.

• Mecanismo Central: O processo trata os fragmentos recuperados como um conjunto de hipóteses $\{h_1, \dots, h_n\}$. O LLM é encarregado de aplicar um conjunto de regras em linguagem natural para transformar ou combinar essas hipóteses a fim de derivar uma conclusão $c$ que responda à consulta $q$.
• Conjunto de Regras: O método utiliza um conjunto específico de regras definidas em linguagem natural, incluindo:
  • Extrair: Isolar uma parte específica de uma hipótese.
  • Concatenar: Combinar hipóteses independentes.
  • Instanciar: Generalizar uma hipótese para um caso particular.
  • Compor: Mesclar hipóteses que compartilham um elemento comum.
  • Refinar: Adaptar uma hipótese para atender à consulta sem alterar o significado semântico.
  • SemInfo: Declarar explicitamente quando as hipóteses carecem de informações necessárias.
• Execução Algorítmica: O processo é iterativo. O LLM decide qual regra aplicar, seleciona as hipóteses relevantes e gera uma nova conclusão. Se a conclusão não for a resposta final, ela é adicionada à lista de hipóteses para etapas subsequentes.
• Estratégias de Implementação: Os autores avaliaram duas abordagens de implementação:
  1. Prompt de um passo: Isolando cada aplicação de regra como uma chamada independente ao LLM.
  2. Prompt de derivação completa: Usando uma estratégia Few-Shot para guiar o LLM na construção de toda a árvore de derivação em uma única chamada de inferência.
     O estudo encontrou o prompt de derivação completa como significativamente mais eficiente computacionalmente (substituindo $n$ inferências por uma), enquanto produzia resultados comparáveis.

Estudo de Caso e Avaliação
O método foi avaliado em um domínio específico: informações administrativas da Escola de Engenharia da Universidad de la República (Uruguai).

• Conjunto de Dados: 135 consultas reais de usuários derivadas de e-mails históricos, processadas para remover dados pessoais.
• Baselines: O estudo comparou o Prompting de Derivação contra:
  • RAG Padrão (usando Cross-Encoder para recuperação).
  • Abordagens de janela de contexto longo (alimentando documentos completos diretamente ao modelo).
• Modelos: Os experimentos utilizaram a família Claude 3 da Anthropic (Haiku e Opus).
• Métrica de Avaliação: Uma avaliação automatizada usando o Claude Opus como juiz, pontuando respostas em uma escala de 1 a 5 com base em uma rubrica que distingue entre "inaceitável" (contraditória/falsa, pontuações 1–2) e "aceitável" (não contraditória, pontuações 3–5).

Resultados
Os experimentos demonstraram que o Prompting de Derivação melhora significativamente a precisão dos sistemas RAG:

• Redução de Respostas Inaceitáveis: O Prompting de Derivação com Claude Opus alcançou 89,6% de respostas aceitáveis, comparado a 77,8% para o RAG padrão e 76,3% para métodos de Contexto Longo. Isso representa uma redução substancial em alucinações e informações contraditórias.
• Precisão vs. Recall: Embora o método tenha reduzido drasticamente os erros (pontuações 1 e 2), não aumentou necessariamente o número de respostas altamente detalhadas (pontuações 4 e 5). Em muitos casos onde outros métodos falharam com alucinações, o Prompting de Derivação identificou corretamente a falta de informação (pontuação 3) via regra SemInfo.
• Dependência do Modelo: A eficácia do método está correlacionada com a capacidade do modelo. Enquanto o Claude Opus performou robustamente, o modelo menor Claude Haiku mostrou uma diminuição em respostas de alta qualidade (pontuações 4 e 5) apesar de reduzir erros, sugerindo que a construção de derivações válidas requer capacidade significativa do modelo.
• Interpretabilidade: Uma descoberta chave é que a árvore de derivação é interpretável. Quando erros ocorrem, eles podem ser rastreados até aplicações específicas de regras (por exemplo, uma alucinação durante uma etapa de Refinar), permitindo que os usuários identifiquem raciocínio falho em vez de apenas receber uma resposta errada.

Significância e Alegações
O artigo alega que o Prompting de Derivação oferece uma alternativa controlada e interpretável às técnicas de raciocínio existentes. Ao forçar o processo de geração através de uma sequência de regras lógicas predefinidas, o método restringe a liberdade do modelo de alucinar, garantindo que as respostas permaneçam fundamentadas nos documentos recuperados. Os autores enfatizam que, embora o método melhore a precisão e reduza saídas inaceitáveis, seu sucesso é contingente à capacidade do LLM subjacente de entender e aplicar a lógica baseada em regras de forma eficaz. O trabalho sugere que essa abordagem baseada em lógica pode ser generalizada para outros cenários RAG e potencialmente tarefas não-RAG, desde que conjuntos de regras apropriados sejam definidos.