Procedural Knowledge at Scale Improves Reasoning

Resumen Técnico: Reasoning Memory

1. El Problema

El escalado en tiempo de prueba (test-time scaling) se ha convertido en un paradigma central para mejorar el rendimiento de los modelos de lenguaje (LLMs) en tareas de razonamiento complejas (matemáticas, ciencias y programación). Sin embargo, las estrategias actuales presentan limitaciones críticas:

• Aislamiento de problemas: La mayoría de los métodos tratan cada problema de forma independiente, sin reutilizar sistemáticamente el conocimiento de trayectorias de razonamiento previas.
• Subutilización del conocimiento procedimental: Los modelos a menudo descartan el "cómo" resolver un problema (estrategias, descomposición, verificación, retroceso) y se centran solo en el "qué" (factual).
• Ineficacia del RAG estándar: La Generación Aumentada por Recuperación (RAG) tradicional, basada en documentos generales, suele fallar en tareas de razonamiento porque recupera contexto factual que no está alineado con el estado actual de pensamiento del modelo ni con los subproblemas específicos que requiere resolver. Esto puede incluso degradar el rendimiento al introducir ruido.

2. Metodología: Reasoning Memory

Los autores proponen Reasoning Memory, un marco de RAG diseñado específicamente para recuperar y reutilizar conocimiento procedimental a gran escala durante el proceso de inferencia.

A. Construcción del Almacén de Datos (Datastore)

• Fuente: Se utiliza el corpus público Nemotron V1, que contiene millones de trayectorias de razonamiento paso a paso.
• Descomposición: En lugar de indexar documentos completos, el sistema descompone cada trayectoria en pares autocontenidos de Subpregunta (SQ) y Subrutina (SR).
  • Subpregunta: Una descripción concisa de un objetivo intermedio o paso lógico (ej. "¿Cómo calcular el área de un triángulo dados sus lados?").
  • Subrutina: Un procedimiento de alto nivel y reutilizable que describe cómo abordar esa subpregunta, abstrayendo cálculos locales y detalles incidentales.
• Escala: Este proceso genera un datastore de 32 millones de entradas procedimentales compactas.

B. Recuperación Activa "In-Thought" (Dentro del Pensamiento)

• Verbalización de la Consulta: En tiempo de inferencia, se utiliza un prompt de "secuestro de pensamiento" (thought-hijacking) para obligar al modelo a verbalizar su subpregunta actual como una consulta de búsqueda concisa (ej. "Para problemas como este, debería usar la fórmula de Herón...").
• Recuperación: El sistema recupera las subrutinas más relevantes asociadas a esa subpregunta del datastore.
• Inyección de Priors: Las subrutinas recuperadas se inyectan directamente en la cadena de pensamiento del modelo como "priors procedimentales implícitos", guiando el siguiente paso del razonamiento.

C. Escalado en Tiempo de Prueba

• El método permite un escalado flexible del presupuesto de cómputo.
• Se muestrean múltiples trayectorias de razonamiento bajo diferentes subrutinas recuperadas.
• Se aplica un heurístico de incertidumbre basado en la longitud de la generación: se asume que las trayectorias más cortas (menos retroceso y bifurcación) indican mayor confianza. Se filtran y seleccionan las mejores respuestas basándose en esta métrica.

3. Contribuciones Clave

1. Cambio de Paradigma en RAG: Demuestra que para el razonamiento, la recuperación de procedimientos (estrategias) es superior a la recuperación de hechos (documentos web).
2. Datastore Procedimental a Gran Escala: La creación y validación de un repositorio de 32 millones de pares SQ-SR extraídos de trayectorias de razonamiento existentes.
3. Mecanismo de Recuperación Integrada: Un diseño que integra la recuperación directamente en el flujo de pensamiento del modelo (in-thought), alineando la recuperación con el estado cognitivo actual del modelo.
4. Estrategia de Diversidad: Evidencia de que es más efectivo explorar múltiples trayectorias bajo un conjunto diverso de subrutinas recuperadas que gastar el mismo presupuesto de cómputo bajo una sola estrategia.

4. Resultados Experimentales

El método se evaluó en seis benchmarks de vanguardia (AIME 2024/2025, MATH500, GPQA-Diamond, LiveCodeBench) utilizando modelos de razonamiento de código abierto (DeepSeek-R1, OpenThinker, Qwen3).

• Rendimiento Superior: Reasoning Memory supera consistentemente a:
  • RAG basado en documentos (CompactDS, Google).
  • RAG basado en trayectorias completas o plantillas.
  • Baselines de escalado sin recuperación (solo aumento de tokens).
• Ganancias Cuantitativas:
  • Mejora la precisión hasta en un 19.2% frente a la ausencia de recuperación.
  • Supera al baseline más fuerte con cómputo equivalente en un 7.9% en promedio.
  • En matemáticas con un presupuesto alto ($m=30$), la mejora sobre la ausencia de recuperación fue del 19.0%.
• Análisis de Escalado: El rendimiento mejora a medida que aumenta el presupuesto de inferencia, especialmente cuando se prioriza la diversidad de subrutinas recuperadas (estrategia Diversity-First).
• Robustez: Los beneficios se mantienen en diferentes tamaños de modelos y tipos de tareas (matemáticas, ciencias, código).

5. Significado e Impacto

Este trabajo es significativo porque:

• Reconecta el RAG con el Razonamiento: Resuelve el problema de la mala alineación entre los documentos recuperados y el estado de pensamiento del modelo, demostrando que el conocimiento procedimental es el "cuello de botella" en tareas difíciles, no la falta de hechos.
• Eficiencia de Recursos: Propone una forma eficiente de escalar el razonamiento sin necesidad de reentrenar modelos masivos, utilizando el conocimiento ya existente en corpora de entrenamiento como una base de conocimientos externa dinámica.
• Dirección Futura: Establece una nueva dirección para la comunidad de IA, sugiriendo que los sistemas del futuro deben acumular, recuperar y reutilizar activamente "cómo se resuelven los problemas" (procedimientos) en lugar de solo "qué se sabe" (hechos), transformando los datos de entrenamiento en recursos de inferencia en tiempo real.

En conclusión, Reasoning Memory demuestra que inyectar conocimiento procedimental estructurado y recuperado dinámicamente en el proceso de pensamiento de un LLM es una estrategia superior para mejorar el razonamiento complejo en comparación con los métodos actuales de escalado o RAG tradicional.