Adaptive Stopping for Multi-Turn LLM Reasoning

Resumen Técnico: MiCP - Predicción Conformal para Razonamiento de Múltiples Vueltas

1. Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLM) modernos dependen cada vez más de estrategias de razonamiento de múltiples vueltas (multi-turn), como la Generación Aumentada por Recuperación Adaptativa (Adaptive RAG) y los agentes estilo ReAct. En estos sistemas, el modelo itera entre recuperar información, razonar y actuar hasta decidir una respuesta final.

El desafío central identificado es: ¿Cuándo debe detenerse el modelo?

• Detenerse demasiado pronto: Riesgo de no recopilar suficiente evidencia, leading a respuestas incorrectas.
• Continuar demasiado tiempo: Aumento innecesario de latencia, costos computacionales y posible introducción de más errores o "alucinaciones".

Las soluciones actuales se basan en reglas heurísticas (umbrales de confianza fijos o presupuestos de vueltas estáticos) que no ofrecen garantías formales de que la predicción final contenga la respuesta correcta. Esto es crítico en dominios de alto riesgo (salud, finanzas). Aunque la Predicción Conformal (CP) ofrece garantías de cobertura formal, los métodos existentes solo se aplican a salidas de un solo paso (single-shot) y no pueden manejar pipelines adaptativos donde el número de vueltas varía dinámicamente.

2. Metodología: MiCP (Multi-Turn Language Models with Conformal Prediction)

Los autores proponen MiCP, el primer marco de Predicción Conformal diseñado específicamente para razonamiento de múltiples vueltas. El sistema consta de tres componentes principales:

A. Filtrado de Recuperación (Stage 1)

• En cada vuelta de recuperación, el modelo obtiene un conjunto de documentos. Muchos pueden ser irrelevantes.
• MiCP calibra un umbral de relevancia conformal ($\hat{q}_{ret}$) utilizando un conjunto de calibración.
• Solo se retienen los documentos cuya puntuación de relevancia supera este umbral, garantizando que se mantenga una fracción $(1 - \alpha_{ret})$ de los documentos "dorados" (correctos) necesarios para la respuesta, eliminando ruido temprano.

B. Asignación de Presupuesto de Error y Detención Adaptativa (Stage 2)

• Desafío: Un error global único desperdicia presupuesto en preguntas fáciles y no deja margen para las difíciles.
• Solución: MiCP descompone el presupuesto de error total ($\alpha$) a lo largo de las vueltas ($t = 0, \dots, T$).
• Se asigna un presupuesto de error específico por vuelta ($\alpha_t$). Las primeras vueltas tienen un umbral más estricto para detenerse rápidamente en preguntas fáciles, mientras que las vueltas posteriores reservan más presupuesto de error para preguntas complejas que requieren más razonamiento.
• Señal de Incertidumbre: Se utiliza la Entropía Normalizada (NE) de la distribución de respuestas muestreadas del LLM como señal de incertidumbre.
• Decisión de Parada: En cada vuelta, se compara la puntuación de incertidumbre con un umbral calibrado ($\hat{q}_t$). Si la confianza es suficiente, el sistema se detiene; de lo contrario, continúa a la siguiente vuelta.

C. Construcción del Conjunto de Predicción Final

• Si el modelo se detiene antes de la vuelta máxima, el conjunto de predicción se construye a partir de las respuestas acumuladas hasta ese punto.
• Si se agota el presupuesto de vueltas sin alcanzar confianza suficiente, el sistema puede agregar una etiqueta "No se puede responder" (Can't Answer) para preservar la garantía de cobertura global.
• La garantía formal asegura que:
  $$P(\text{Respuesta Correcta} \in C(x) \lor \text{"No se puede responder"} \in C(x)) \geq 1 - \alpha$$

D. Nueva Métrica de Evaluación

• Los autores introducen una métrica compuesta ($L$) que equilibra la validez de la cobertura y la eficiencia (número de vueltas). Esta métrica penaliza las vueltas innecesarias y recompensa la detención temprana en preguntas resolubles, evitando optimizar ciegamente solo por el número de vueltas.

3. Contribuciones Clave

1. MiCP: El primer marco de Predicción Conformal para LLMs de múltiples vueltas, proporcionando garantías de cobertura formal simultáneamente con la capacidad de detención temprana.
2. Estrategia de Asignación de Error: Un método novedoso para distribuir el presupuesto de error conformal a través de las vueltas, permitiendo decisiones de parada adaptativas sin violar la garantía de cobertura final.
3. Métrica Compuesta: Una nueva métrica de evaluación que cuantifica explícitamente el compromiso entre fiabilidad (cobertura) y eficiencia (costo computacional).
4. Validación Empírica: Demostración del marco en dos paradigmas distintos: Adaptive RAG y agentes ReAct.

4. Resultados Experimentales

Los experimentos se realizaron en cinco conjuntos de datos de preguntas y respuestas (QA) de un solo y múltiples saltos (Natural Questions, TriviaQA, HotpotQA, MuSiQue, 2WikiMultiHopQA) utilizando tres LLMs (Gemma-2-9B, Qwen3.5-9B, GPT-4o-mini).

• Garantía de Cobertura: MiCP logra consistentemente la tasa de cobertura objetivo ($1 - \alpha$) tanto en la etapa de filtrado de recuperación como en la construcción del conjunto de predicción final. Los modelos mantienen la cobertura por encima del umbral teórico en todos los casos.
• Eficiencia:
  • Reducción de Vueltas: MiCP reduce significativamente el número promedio de vueltas de inferencia en comparación con la línea base de "sin detención temprana" (que siempre ejecuta el máximo de vueltas).
  • Tamaño del Conjunto de Predicción: Al filtrar respuestas de vueltas tardías innecesarias (que a menudo introducen ruido), MiCP produce conjuntos de predicción más concisos.
  • Optimización: La búsqueda en cuadrícula (grid search) para optimizar la asignación de presupuestos de error ($\alpha_t$) mejora la toma de decisiones de detención, especialmente en modelos más avanzados como Qwen3.5 y GPT-4o-mini.
• Rendimiento por Modelo: Los modelos más recientes y potentes muestran mejoras más significativas en eficiencia, mientras que MiCP sigue siendo robusto en modelos más pequeños.

5. Significado e Impacto

Este trabajo es fundamental para la aplicación de LLMs en entornos de alto riesgo y producción:

• Fiabilidad Garantizada: Proporciona la primera garantía matemática de que un sistema de razonamiento iterativo no fallará más allá de un nivel de confianza especificado, incluso si se detiene antes de tiempo.
• Eficiencia de Costos: Permite ahorrar recursos computacionales y tiempo de respuesta al detenerse tan pronto como la evidencia es suficiente, sin sacrificar la precisión.
• Generalización: El marco es agnóstico al tipo de agente (RAG o ReAct), lo que lo hace aplicable a una amplia gama de sistemas de agentes autónomos.
• Gestión de la Incertidumbre: Introduce un mecanismo formal para que los modelos se abstengan de responder ("Can't Answer") cuando la incertidumbre es demasiado alta, evitando alucinaciones en escenarios críticos.

En resumen, MiCP cierra la brecha entre la necesidad de razonamiento iterativo complejo y la exigencia de garantías de seguridad y eficiencia en la implementación de LLMs.