When to Retrieve During Reasoning: Adaptive Retrieval for Large Reasoning Models

1. Declaración del Problema

El artículo aborda una desalineación temporal fundamental entre los Modelos de Razonamiento a Gran Escala (LRM) como DeepSeek-R1 y OpenAI o1, y los sistemas tradicionales de Generación Aumentada por Recuperación (RAG).

• La Incompatibilidad: El RAG estándar sigue un paradigma de "recuperar-luego-generar", inyectando contexto antes de que comience el razonamiento. Sin embargo, los LRM generan cadenas de pensamiento extendidas (12,000–25,000 tokens) que involucran inferencia multi-paso, auto-verificación y retroceso. Las brechas de conocimiento suelen surgir a mitad de la inferencia y no pueden anticiparse en la etapa de consulta.
• Limitaciones de los Métodos Iterativos Existentes: Los métodos de recuperación iterativa actuales (por ejemplo, IRCoT, FLARE) son inadecuados para los LRM debido a:
  1. Incompatibilidad de Granularidad: Desencadenan la recuperación a nivel de token o oración, mientras que los LRM operan a nivel de paso de razonamiento (unidades lógicas que abarcan múltiples oraciones).
  2. Indisponibilidad de Señales: Los métodos que dependen de probabilidades de tokens (FLARE) o estados de atención internos (DRAGIN) fallan con modelos de "solo finalización" (como o1) que no exponen estos internos.
  3. Colapso de Eficiencia: La recuperación en intervalos fijos (por ejemplo, después de cada oración) es prohibitivamente costosa para cadenas largas, añadiendo una latencia y sobrecarga de tokens significativas.

2. Metodología: ReaLM-Retrieve

Los autores proponen ReaLM-Retrieve, un marco consciente del razonamiento que integra la recuperación dinámicamente durante la cadena de inferencia. Consiste en tres componentes principales:

A. Segmentación de Pasos de Razonamiento

En lugar de una segmentación a nivel de oración, el sistema identifica pasos de razonamiento lógico.

• Mecanismo: Un clasificador ligero de transformador de 3 capas detecta los límites de los pasos basándose en marcadores discursivos ("por lo tanto", "sin embargo"), conectores lógicos, cambios de tema (mediante similitud de incrustaciones) y puntuación.
• Entrenamiento: Entrenado sobre trazas anotadas por humanos de DeepSeek-R1, alcanzando un 94.2% de F1 en la identificación de límites. Esto permite que el sistema trate la cadena de razonamiento como una secuencia de unidades lógicas discretas en lugar de un flujo de tokens.

B. Detección de Incertidumbre a Nivel de Paso (RSUS)

El sistema calcula una Puntuación de Incertidumbre del Paso de Razonamiento (RSUS) para determinar si un paso requiere conocimiento externo.

• Puntuación Compuesta: $RSUS(r_i) = \alpha \cdot U_{verb} + \beta \cdot U_{ent} + \gamma \cdot U_{cons}$
  • $U_{verb}$ (Incertidumbre Verbalizada): Se solicita al modelo que califique su confianza (0–100). Para modelos de solo finalización, un proxy MLP aprendido estima esto basándose en características superficiales y conteos de entidades.
  • $U_{ent}$ (Entropía de Entidades): Mide la ambigüedad/cobertura dispersa de entidades nombradas en el corpus recuperado. Una alta entropía indica que el modelo carece de conocimiento sobre entidades específicas.
  • $U_{cons}$ (Consistencia): Mide el acuerdo entre múltiples continuaciones muestreadas del paso actual.
• Eficiencia: Este cálculo añade solo un ~8% de sobrecarga, evitando el costo masivo de la entropía semántica o el muestreo de auto-consistencia.

C. Política de Intervención Aprendida e Integración Eficiente

• Política ($\pi$): Un modelo de banda contextual decide si recuperar, qué consulta formular y cómo integrar la evidencia. Se entrena mediante REINFORCE para maximizar la precisión de la respuesta mientras penaliza el costo de recuperación (latencia y número de llamadas).
• Formulación de Consultas: La política genera consultas específicas que apuntan a la necesidad de información (por ejemplo, "¿Cuál es la relación de [entidad] con [concepto]?") en lugar de simplemente repetir el paso actual.
• Optimizaciones de Eficiencia:
  • Compresión Implícita: Solo retiene oraciones de documentos recuperados que superan un umbral de importancia, reduciendo la expansión del contexto en un 73%.
  • Almacenamiento en Caché Especulativo: Precarga documentos para consultas probables del siguiente paso en paralelo; si la suposición es correcta (tasa de aciertos del 37%), se elimina la latencia de recuperación.
  • Preservación de Caché KV: Para modelos de peso abierto, preserva los estados clave-valor en caché para las porciones de contexto inalteradas, reduciendo el tiempo hasta el primer token en 2.1×.

3. Contribuciones Clave

1. Granularidad a Nivel de Paso: Cambia el disparador de recuperación del nivel de token/oración al nivel de paso de razonamiento, alineándose con la estructura lógica de los LRM.
2. Incertidumbre Compatible con Caja Negra: Introduce RSUS, un método que funciona en modelos de solo finalización (como o1) sin requerir acceso a probabilidades de tokens o estados de atención internos.
3. Integración Optimizada para la Eficiencia: Reduce la sobrecarga por recuperación en 3.2× en comparación con la integración ingenua mediante almacenamiento en caché especulativa y compresión de contexto, permitiendo un despliegue práctico.

4. Resultados Experimentales

Evaluado en MuSiQue, HotpotQA y 2WikiMultiHopQA utilizando modelos DeepSeek-R1 y QwQ.

• Precisión: ReaLM-Retrieve logra una mejora absoluta promedio del 10.1% en F1 sobre el RAG estándar y del 4.6% sobre el método previo más fuerte (ReARTeR).
  • En MuSiQue (razonamiento de 2–4 saltos), alcanza un 71.2% de F1 (vs. 65.4% para IRCoT).
• Eficiencia:
  • Menos Llamadas: Reduce las llamadas de recuperación en un 47% en comparación con los enfoques de intervalo fijo (1.8 llamadas vs. 3.4 llamadas para IRCoT en MuSiQue).
  • Latencia: Logra una latencia de extremo a extremo 1.33× menor que IRCoT y 1.50× menor que la intercalación ingenua.
  • Costo: Reduce los costos de tokens de salida en un 16% debido a cadenas de razonamiento más cortas (la evidencia resuelve la incertidumbre más rápido).
• Calidad de Recuperación: Mejora el Recall@5 al 81.3% (vs. 72.6% para IRCoT), demostrando que el sistema recupera evidencia mejor en el momento adecuado.
• Generalización: La política se generaliza bien a diferentes arquitecturas de modelos (por ejemplo, QwQ) y se transfiere entre benchmarks (entrenado en HotpotQA, probado en MuSiQue) con una caída mínima de rendimiento.

5. Significado

• Cambio de Paradigma: El artículo demuestra que "menos recuperaciones, mejor sincronizadas" superan a las recuperaciones frecuentes en intervalos fijos. Esto establece una nueva frontera de Pareto para el compromiso precisión-eficiencia en tareas intensivas en razonamiento.
• Escalabilidad: Al operar a nivel de paso de razonamiento y soportar modelos de solo finalización, el marco es aplicable a los LLM propietarios más capaces (como o1), que actualmente son inaccesibles para muchos esfuerzos de investigación en RAG.
• Diseño del Sistema: Proporciona un plano para integrar la recuperación en tareas de razonamiento de largo alcance, moviendo el RAG de un paso de preprocesamiento estático a un socio de razonamiento dinámico y adaptativo.

En conclusión, ReaLM-Retrieve resuelve la desincronización temporal crítica en la integración LRM-RAG, entregando precisión de vanguardia con costos computacionales significativamente reducidos.