Resumen Técnico: InftyThink+

1. Planteamiento del Problema

Los modelos de razonamiento de gran escala (LRMs) han demostrado un rendimiento superior al escalar el razonamiento de cadena de pensamiento (CoT) en el tiempo de inferencia. Sin embargo, este paradigma enfrenta tres barreras fundamentales cuando las trazas de razonamiento se vuelven excepcionalmente largas:

1. Costo Cuadrático: El mecanismo de autoatención en los Transformers incurre en una complejidad computacional de $O(L^2)$, lo que hace que las trazas de razonamiento muy largas sean prohibitivamente costosas.
2. Límites de Contexto: El razonamiento está limitado por la ventana de contexto máxima del modelo. Si un problema requiere una cadena de pensamiento que excede este límite, la generación termina prematuramente, dejando problemas complejos sin resolver.
3. Lost-in-the-Middle (Perdido en el medio): A medida que las trazas de razonamiento crecen, los modelos sufren una degradación del rendimiento donde la información crítica temprana se vuelve inaccesible, incluso si no se excede el límite de contexto.

Las soluciones existentes, como el razonamiento iterativo con resumen periódico, intentan mitigar estos problemas. Sin embargo, los métodos actuales dependen del ajuste fino supervisado (SFT) o de heurísticas fijas para determinar cuándo resumir, qué preservar y cómo reanudar el razonamiento. Estos enfoques no logran optimizar estas decisiones secuenciales, que tienen consecuencias de largo horizonte. Un mal resumen puede condenar el razonamiento subsiguiente, mientras que las iteraciones innecesarias desperdician cómputo. El artículo argumenta que estos compromisos requieren una optimización a nivel de trayectoria que el SFT no puede proporcionar.

2. Metodología: InftyThink+

Los autores proponen InftyThink+, un marco de aprendizaje por refuerzo (RL) de extremo a extremo que optimiza toda la trayectoria de razonamiento iterativo. El método se basa en el paradigma InftyThink, que desacopla la profundidad del razonamiento de la longitud del contexto mediante la descomposición del razonamiento en múltiples rondas iterativas conectadas por resúmenes explícitos generados por el modelo.

2.1. El Paradigma InftyThink

A diferencia del paradigma "Vanilla" donde un modelo genera una única cadena de CoT continua y larga, InftyThink opera en rondas:

• Iteración $i$: El modelo se condiciona en la consulta original $q$ y el resumen $s_{i-1}$ de la iteración anterior.
• Generación: Genera un segmento de razonamiento $r_i$ y un resumen actualizado $s_i$.
• Terminación: El proceso se repite hasta que el modelo decide autónomamente generar una conclusión final $c$ en lugar de un resumen.
• Contexto Acotado: Cada iteración opera dentro de una ventana de contexto acotada (consulta + último resumen), evitando el desbordamiento de contexto y reduciendo el costo computacional por paso.

2.2. Esquema de Entrenamiento de Dos Etapas

InftyThink+ emplea un proceso de entrenamiento de dos etapas para separar la adquisición del formato de la optimización de la estrategia:

1. Arranque en Frío (Ajuste Fino Supervisado - SFT):

   • Objetivo: Enseñar al modelo el formato básico de InftyThink (generación de segmentos de razonamiento y resúmenes).
   • Transformación de Datos: Los datos de razonamiento vanilla existentes $(q, r, c)$ se transforman en instancias iterativas. La traza de razonamiento $r$ se particiona en segmentos $\{r_1, \dots, r_n\}$ basados en un límite de tokens $\eta$. Un LLM de propósito general genera resúmenes $\{s_1, \dots, s_{n-1}\}$ condicionados en el segmento actual y el resumen previo.
   • Entrenamiento: El modelo es ajustado mediante SFT en estas instancias transformadas para producir salidas iterativas sintácticamente válidas. Esta etapa no optimiza cuándo resumir o qué preservar; solo establece el formato procedimental.

2. Aprendizaje por Refuerzo (Optimización a Nivel de Trayectoria):

   • Objetivo: Optimizar las decisiones estratégicas (tiempo de compresión, contenido de los resúmenes, estrategias de continuación) mediante retroalimentación a nivel de trayectoria.
   • Rollout: Para una consulta $q$, el modelo genera una trayectoria $O_i = \{o_1, \dots, o_{n_i}\}$ que consiste en múltiples rondas de razonamiento. El rollout termina si el modelo produce una conclusión, falla en producir un formato válido o alcanza un tope máximo de iteraciones $\phi$.
   • Diseño de Recompensa:
     • Recompensa de Tarea ($R_{task}$): Recompensa binaria basada en la corrección de la respuesta final.
     • Recompensa de Eficiencia ($R_{eff}$): Una función de decaimiento cuadrático $1 - (\frac{n_i-1}{\phi})^2$ que penaliza las iteraciones excesivas, fomentando que el modelo resuelva problemas en menos pasos cuando sea posible.
     • Recompensa Total: $R(O_i) = R_{task}(O_i) \cdot R_{eff}(O_i)$. Esta formulación multiplicativa asegura que la eficiencia solo se premie para soluciones correctas.
   • Optimización de la Política: Los autores utilizan Optimización de Política Relativa de Grupo (GRPO). Crucialmente, las ventajas se calculan al nivel de la trayectoria y se comparten entre todos los tokens de una trayectoria. Esto asegura que las iteraciones tempranas (por ejemplo, un primer resumen de alta calidad) reciban señales de gradiente positivas si contribuyen a una respuesta final correcta, incluso si el resumen en sí mismo no contiene la respuesta.
   • Estabilidad: El marco emplea IcePop, una técnica de enmascaramiento de gradiente a nivel de token, para mitigar la inestabilidad del entrenamiento causada por desajustes entre los motores de inferencia y entrenamiento.

3. Contribuciones Clave

1. RL de Extremo a Extremo para Razonamiento Iterativo: El artículo introduce el primer marco que aplica el aprendizaje por refuerzo directamente al paradigma de razonamiento iterativo, permitiendo que el modelo aprenda estrategias óptimas de resumen y continuación en lugar de depender de heurísticas fijas o imitación.
2. Marco InftyThink+: Una receta de entrenamiento completa que comprende:
   • Una fase de arranque en frío para establecer el formato iterativo.
   • Optimización a nivel de trayectoria con ventajas compartidas para dar crédito a las decisiones tempranas.
   • Modelado de recompensa consciente de la eficiencia para equilibrar la precisión y el costo de inferencia.
3. Validación Empírica: Experimentos extensos demuestran que InftyThink+ supera tanto al razonamiento iterativo basado en SFT como a los baselines estándar de RL de contexto largo.

4. Resultados Experimentales

Los experimentos se realizaron en DeepSeek-R1-Distill-Qwen-1.5B y Qwen3-4B-Base.

• Mejoras en la Precisión:
  • En AIME24, InftyThink+ mejoró la precisión en un 21% en comparación con el baseline, y superó al RL de CoT largo convencional por un margen claro (una ganancia adicional del 9% sobre el RL estándar).
  • En benchmarks fuera de distribución como GPQA Diamond, logró una mejora de precisión del 5% sobre el baseline y una ganancia del 4% sobre los enfoques vanilla.
• Ganancias de Eficiencia:
  • Latencia de Inferencia: En AIME25, InftyThink+ redujo la latencia de razonamiento en un 32.8% en comparación con el enfoque vanilla.
  • Velocidad de Entrenamiento: El marco produjo una aceleración del 18.2% en el tiempo de entrenamiento de RL debido a la reducción de la carga computacional por paso.
• Generalización: El método generalizó bien a modelos más grandes (Qwen3-4B) y tareas fuera de distribución, incluyendo razonamiento científico y de código.

5. Significado y Reivindicaciones

El artículo afirma que InftyThink+ demuestra que la optimización a nivel de trayectoria es esencial para un razonamiento iterativo efectivo. La idea clave es que la efectividad del razonamiento iterativo no proviene del formato en sí, sino de la capacidad del modelo para tomar decisiones estratégicas óptimas (cuándo comprimir, qué preservar, cómo continuar) en cada paso.

Al separar el aprendizaje del formato (vía SFT) de la optimización de la estrategia (vía RL), InftyThink+ permite que los modelos aprendan comportamientos adaptativos que:

• Desacoplan la profundidad del razonamiento de la longitud del contexto: Permitiendo un razonamiento indefinido manteniendo un costo computacional acotado.
• Optimizan el compromiso precisión-eficiencia: A través de recompensas conscientes de la eficiencia, el modelo aprende a terminar el razonamiento más temprano sin sacrificar la precisión.
• Mejoran la estabilidad y velocidad de entrenamiento: Al reducir la complejidad cuadrática de la atención durante los rollouts de entrenamiento.

Los autores posicionan a InftyThink+ como un paso significativo hacia un razonamiento de largo horizonte, eficiente y efectivo en modelos de lenguaje de gran escala, yendo más allá de las limitaciones de las ventanas de contexto estáticas y la compresión basada en heurísticas.