Resumen Técnico: HMPO – Optimización de Política de Longitud de Mediana Híbrida para la Compresión de Cadena de Pensamiento (Chain-of-Thought)

1. Declaración del Problema

Los Grandes Modelos de Lenguaje (LLM) han demostrado capacidades de razonamiento notables mediante procesos extendidos de Cadena de Pensamiento (CoT, por sus siglas en inglés), como se observa en modelos como OpenAI o1, DeepSeek-R1 y Qwen-3. Sin embargo, este paradigma de "pensamiento" incurre en costos de inferencia prohibitivos, caracterizados por una alta latencia y un consumo sustancial de recursos debido a la generación de miles de tokens por consulta.

Los métodos existentes de compresión de CoT enfrentan tres limitaciones críticas:

1. Restricciones Inflexibles: Los enfoques actuales dependen de presupuestos de longitud estáticos ajustados manualmente o decisiones binarias rígidas de "pensar o saltar", lo que limita su aplicabilidad a dominios estrechos (principalmente matemáticas) y no logra adaptarse a las diversas complejidades de los problemas.
2. Costos de Entrenamiento Prohibitivos: La compresión efectiva a menudo requiere procesos de múltiples etapas computacionalmente costosos, que incluyen destilación de datos, pre-entrenamientos (SFT) supervisados o poda iterativa progresiva.
3. Escalabilidad Frágil: Las evaluaciones se restringen mayoritariamente a modelos densos pequeños (≤32B), dejando sin verificar la aplicabilidad en arquitecturas de gran escala y de Mezcla de Expertos (MoE).

2. Metodología: HMPO

Los autores proponen HMPO (Optimización de Política de Longitud de Mediana Híbrida), un marco de aprendizaje por refuerzo de etapa única y bajo costo construido sobre la Optimización de Política Relativa de Grupo (GRPO). HMPO aborda las limitaciones de trabajos previos mediante tres componentes sinérgicos:

A. Presupuesto Adaptativo Basado en la Mediana

En lugar de utilizar un presupuesto de tokens estático y definido manualmente, HMPO deriva dinámicamente un presupuesto $b$ de la longitud de la mediana de las ejecuciones exitosas (correctas) dentro de un lote de entrenamiento.

• Mecanismo: Para un grupo de $G$ ejecuciones, se identifica el subconjunto $C$ que contiene respuestas correctas. El presupuesto se calcula como $b = \text{mediana}(\{n_i \mid i \in C\})$, donde $n_i$ es la longitud de los tokens.
• Beneficio: Este enfoque aísla la señal de longitud del ruido de los intentos fallidos y crea una restricción consciente de la dificultad. Las consultas complejas generan naturalmente ejecuciones correctas más largas (relajando el presupuesto), mientras que las consultas más simples se someten a restricciones más estrictas. A medida que la política mejora, el presupuesto disminera automáticamente, formando un currículo de auto-ajuste sin intervención manual.

B. Recompensa de Token con Decaimiento de Coseno

Para penalizar la verbosidad sin degradar la precisión, HMPO aplica una preferencia de longitud exclusivamente a las trayectorias exitosas.

• Mecanismo: Se define una recompensa de token $R_{token}$ utilizando una función de decaimiento de coseno suave para las ejecuciones correctas donde la longitud $n < b$:
  $$R_{token} = \min\left(1, \cos\left(\frac{\pi n}{2b}\right) + \lambda\right)$$
  Las respuestas incorrectas o vacías reciben $R_{token} = 0$. El escalar $\lambda$ controla la magnitud de la ganancia inducida por la longitud.
• Beneficio: Esto proporciona una "aterrizaje suave" de la penalización, fomentando respuestas correctas más cortas mientras se preservan los pasos de razonamiento necesarios, evitando las penalizaciones severas de los umbrales binarios.

C. Formulación de Recompensa Multiplicativa

Para priorizar estrictamente la corrección de la respuesta y prevenir el "hackeo de recompensa" (donde el modelo genera respuestas cortas pero incorrectas para maximizar las recompensas de longitud), la recompensa final se formula de manera multiplicativa:
$$R_{final} = R_{acc} \cdot R_{token}$$

• Mecanismo: $R_{acc}$ es 1 para respuestas correctas y 0 para incorrectas.
• Benefio: Esto impone una jerarquía de "corrección primero, longitud después". Matemáticamente, cualquier respuesta incorrecta (donde $R_{acc}=0$) resulta en una recompensa final de 0, independientemente de su longitud. Esto elimina los gradientes de eficiencia para las respuestas incorrectas, inoculando el entrenamiento contra el hackeo de recompensa.

3. Contribuciones Clave

1. Innovación Metodológica: HMPO introduce presupuestos de mediana correcta adaptativos, modelado de recompensa por coseno y factorización de recompensa multiplicativa. Estos componentes resuelven conjuntamente la rigidez de los presupuestos manuales, la agresividad de las penalizaciones estáticas y la vulnerabilidad al hackeo de recompensa presentes en los métodos de compresión basados en RL previos.
2. Generalización de Dominio Cruzado: El artículo presenta una evaluación extensa en modelos densos y MoE de 9B a 122B. Crucialmente, HMPO se entrena exclusivamente con datos matemáticos, pero demuestra una robusta generalización a tareas de código, ciencia y seguimiento de instrucciones sin ajuste específico de la tarea.
3. Escalabilidad Sin Precedentes: HMPO logra la primera compresión de CoT exitosa en arquitecturas masivas de MoE (hasta 122B de parámetros). Mantiene una paridad de precisión casi perfecta mientras reduce significativamente el uso de tokens, permitiendo que estos modelos compitan con modelos de frontera de escalas activadas mucho mayores (por ejemplo, MoEs de 700B+).

4. Resultados Experimentales

Los experimentos se realizaron en la serie de modelos Qwen3.5 (9B, 35B-A3B y 122B-A10B) entrenados con 6.5K instancias de DeepMath-103K.

• Compresión vs. Precisión: HMPO logra una compresión de tokens del 19% al 46% en diferentes escalas de modelos con una degradación de precisión insignificante.
  • En Qwen3.5-9B, reduce los tokens de salida en un 46% con solo una caída de 0.02 puntos porcentuales (pp) en la precisión promedio.
  • En Qwen3.5-122B, logra una compresión del 19% con una caída de 0.10 pp en la precisión.
• Comparación con Baselines:
  • ThinkPrune: Logra una mayor compresión (64–72%) pero sufre una severa degradación de la precisión (caídas de 11–22 pp).
  • Thinkless: Exhibe un fallo catastrófico en modelos pequeños (<15% de precisión) debido al colapso de modo inducido por SFT.
  • AdaptThink: Proporciona ganancias marginales pero no logra comprimir eficazmente en modelos más grandes, llegando incluso a inflar las longitudes de los tokens.
• Eficiencia de Entrenamiento: Al eliminar las fases de destilación y SFT, HMPO reduce las horas de GPU de entrenamiento en 1.5×–2.5× en comparación con los baselines de múltiples etapas.
• Eficiencia de Tokens: En AIME 2026, los modelos entrenados con HMPO reducen el consumo de tokens en un 23% manteniendo una precisión competitiva frente a modelos de frontera significativamente más grandes (por ejemplo, Nemotron-3-Super-120B y Kimi-K2.5-1T).

5. Significado y Reivindicaciones

El artículo afirma que HMPO representa un cambio de paradigma en el razonamiento eficiente al ofrecer una estrategia de optimización de etapa única y de aplicación directa (drop-in). Su importancia radica en:

• Eliminación del Ajuste Manual: El presupuesto de mediana adaptativo elimina la necesidad de un tedioso ajuste de presupuesto de longitud específico para cada dominio.
• Robustez Matemática: La formulación de recompensa multiplicativa evita matemáticamente que el modelo aprenda a ser conciso a expensas de la corrección.
• Despliegue Práctico: Al lograr una alta compresión con una pérdida de precisión insignificante en diversas arquitecturas y dominios (a pesar del entrenamiento exclusivo en matemáticas), HMPO permite el despliegue eficiente en el mundo real de LLMs de razonamiento avanzado, reduciendo drásticamente los costos de inferencia sin requerir pipelines de entrenamiento complejos de múltiples etapas.

Los autores reconocen las limitaciones respecto al razonamiento de múltiples turnos y las tareas agénticas, señalando que el marco actual está diseñado para entornos de un solo turno y que extenderlo a escenarios interactivos o basados en herramientas sigue siendo una dirección para trabajos futuros.