Adaptive Stopping for Multi-Turn LLM Reasoning

Título: MiCP: Parada Adaptativa para Raciocínio de Múltiplas Rodadas em LLMs com Predição Conformal

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) modernos dependem cada vez mais de interações e raciocínios de múltiplas rodadas (multi-turn) para responder a perguntas complexas. Exemplos incluem:

• RAG Adaptativo (Retrieval-Augmented Generation): O modelo busca documentos iterativamente até reunir evidências suficientes.
• Agentes estilo ReAct: O modelo alterna entre raciocínio e ações (ferramentas) em um loop.

O Desafio Central: Decidir quando parar.

• Parar muito cedo pode resultar em respostas incorretas por falta de informação.
• Continuar por muitas rodadas desnecessárias aumenta a latência, o custo computacional e pode introduzir mais erros (ruído).
• Limitação Atual: As abordagens existentes usam regras heurísticas (ex: limiares de confiança fixos) ou orçamentos de rodadas fixos. Essas heurísticas não oferecem garantias formais de que a resposta final conterá a verdade. Em domínios de alto risco (saúde, finanças), isso é inaceitável.
• Limitação da Predição Conformal (CP) Existente: A CP fornece garantias de cobertura estatística, mas os métodos atuais aplicam-se apenas a saídas de "um tiro" (single-shot), não conseguindo lidar com pipelines adaptativos onde o número de rodadas varia dinamicamente.

2. Metodologia: MiCP (Multi-Turn Language Models with Conformal Prediction)

Os autores propõem o MiCP, o primeiro framework de Predição Conformal projetado especificamente para LLMs de múltiplas rodadas. O framework consiste em três componentes principais:

A. Filtragem de Recuperação (Retrieval Filtering)

• Antes do raciocínio, o sistema filtra os documentos recuperados.
• Utiliza um limiar calibrado conformalmente para reter apenas passagens relevantes, removendo evidências irrelevantes que poderiam poluir o contexto e degradar a qualidade da resposta.
• Garante que uma fração $(1 - \alpha_{ret})$ das passagens "douradas" (corretas) seja mantida.

B. Alocação de Orçamento de Erro e Parada Antecipada (Error Budget Allocation & Early Stopping)

• Decomposição do Orçamento: Em vez de usar uma taxa de erro global para todas as rodadas, o MiCP divide o orçamento total de erro ($\alpha$) entre as rodadas ($t=0, \dots, T$).
• Lógica: Rodadas iniciais recebem um orçamento menor para responder a perguntas fáceis rapidamente. Rodadas posteriores reservam mais "erro" (tolerância) para perguntas difíceis que exigem mais raciocínio.
• Métrica de Incerteza: Utiliza a Entropia Normalizada (NE) da distribuição de respostas amostradas pelo LLM como sinal de incerteza.
• Decisão de Parada: Em cada rodada, o sistema compara a pontuação de confiança (baseada na NE) com um limiar calibrado específico daquela rodada ($\hat{q}_t$). Se a confiança for suficiente, o modelo para antecipadamente.

C. Construção do Conjunto de Predição Final

• Se o modelo parar antes do limite máximo de rodadas, o conjunto de predição é construído com base nas respostas acumuladas até aquele ponto.
• Se o modelo esgotar o orçamento sem atingir confiança suficiente, o sistema pode adicionar uma etiqueta "Não Posso Responder" (Can't Answer) ao conjunto de predição, garantindo que a cobertura estatística seja mantida mesmo na recusa.
• O conjunto final satisfaz a garantia de cobertura marginal: $P(\text{resposta correta} \in \text{Conjunto}) \geq 1 - \alpha$.

D. Nova Métrica de Avaliação

• Os autores introduzem uma métrica composta ($L$) que avalia simultaneamente a validade da cobertura e a eficiência (número de rodadas). Ela recompensa respostas corretas com menos rodadas e penaliza paradas prematuras em perguntas difíceis ou rodadas desnecessárias em perguntas fáceis.

3. Contribuições Principais

1. Primeiro Framework CP para Multi-Turn: O MiCP é a primeira estrutura a fornecer garantias formais de cobertura para pipelines de raciocínio iterativo com parada adaptativa.
2. Estratégia de Alocação de Orçamento Multi-nível: Permite que o modelo decida parar ou continuar em cada rodada preservando a garantia de cobertura de ponta a ponta, mesmo sob um orçamento computacional fixo.
3. Métrica de Avaliação Unificada: Uma nova métrica que quantifica o trade-off entre confiabilidade e eficiência, superando métricas isoladas como "número médio de rodadas".
4. Validação Empírica Robusta: Demonstração de que o método funciona tanto em cenários de RAG Adaptativo quanto em agentes ReAct.

4. Resultados Experimentais

Os experimentos foram conduzidos em cinco benchmarks de Perguntas e Respostas (QA) (incluindo HotpotQA, MuSiQue, 2WikiMultiHopQA, NQ, TriviaQA) e em três modelos LLM (Gemma-2-9B, Qwen3.5-9B, GPT-4o-mini).

• Garantia de Cobertura (RQ1): O MiCP manteve consistentemente a taxa de cobertura empírica acima do nível alvo $(1 - \alpha)$ tanto na fase de recuperação de documentos quanto na construção do conjunto de respostas, mesmo com a parada antecipada ativada.
• Eficiência (RQ2):
  • Redução de Rodadas: O método reduziu significativamente o número médio de rodadas de inferência em comparação com a abordagem de "sem parada antecipada" (que executa todas as rodadas).
  • Redução de Custo: Menos rodadas implicam menos chamadas de recuperação e inferência, reduzindo custos e latência.
  • Tamanho do Conjunto de Predição: O tamanho do conjunto de respostas finais foi reduzido, pois o método evita a acumulação de respostas ruidosas de rodadas tardias desnecessárias.
• Otimização (RQ3): A busca em grade (grid search) para otimizar a alocação de orçamentos de erro por rodada melhorou a tomada de decisão, especialmente em modelos mais capazes (como Qwen e GPT-4o-mini).

5. Significado e Impacto

O trabalho do MiCP é fundamental para a aplicação segura e eficiente de LLMs em cenários complexos:

• Segurança em Alto Risco: Ao fornecer garantias matemáticas de que a resposta correta está no conjunto de saída (ou que o sistema admite incerteza), o MiCP torna os LLMs viáveis para áreas críticas como medicina e finanças.
• Eficiência Operacional: Resolve o dilema "custo vs. qualidade" em sistemas autônomos, permitindo que o modelo pare assim que tiver certeza suficiente, economizando recursos computacionais sem sacrificar a precisão.
• Generalidade: O framework é agnóstico ao modelo e aplicável a diversas arquiteturas de agentes (RAG, ReAct), estabelecendo um novo padrão para avaliação e implementação de sistemas de raciocínio iterativo.

Em resumo, o MiCP transforma o processo de raciocínio de múltiplas rodadas de uma heurística incerta em um processo estatisticamente garantido e otimizado para eficiência.