Entropy Centroids as Intrinsic Rewards for Test-Time Scaling

1. Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLM) se escalan cada vez más en tiempo de prueba mediante la muestra de múltiples respuestas candidatas ($N$ trayectorias) y la selección de la mejor (por ejemplo, selección "Mejor de N"). Los métodos actuales de selección enfrentan dos desafíos principales:

• Modelos de Recompensa Externos: Confiar en modelos de recompensa externos requiere entrenar un modelo separado de alta calidad e introduce una sobrecarga computacional significativa.
• Señales Intrínsecas Ruidosas: Las señales intrínsecas existentes (por ejemplo, confianza a nivel de token, entropía o divergencia KL) suelen ser demasiado ruidosas para ser fiables. Las métricas a nivel de token no capturan la estructura temporal del razonamiento; por ejemplo, un modelo podría exhibir alta confianza en tokens de cálculo incluso mientras está fundamentalmente incierto sobre el paso de razonamiento general. Además, la agregación simple (como el promedio) ignora la dinámica temporal de exploración frente a explotación.

El artículo busca una señal de recompensa intrínseca robusta, derivada exclusivamente del propio proceso de generación del modelo, que pueda seleccionar eficazmente trayectorias de alta calidad en diversas tareas (matemáticas, código, lógica, agentes) sin supervisión externa.

2. Metodología

Los autores proponen un marco novedoso basado en la observación de que los tokens de alta entropía (que indican incertidumbre) tienden a agruparse en grupos consecutivos durante la inferencia, en lugar de aparecer aleatoriamente.

A. Fase de Alta Entropía (HEP)

Para ir más allá de las señales ruidosas a nivel de token, los autores definen una Fase de Alta Entropía (HEP) como la unidad básica de incertidumbre.

• Definición: Una HEP es un segmento de longitud variable de la trayectoria.
• Disparador: Comienza cuando la entropía de un token supera un umbral alto ($\theta_{high}$).
• Terminación: Termina solo cuando $k$ tokens consecutivos caen por debajo de un umbral bajo ($\theta_{low}$).
• Significado: Esto agrupa los tokens inciertos consecutivos en una "fase" coherente, filtrando el ruido aislado y capturando el estado de exploración o confusión del modelo como una unidad completa.

B. Centroide de Entropía

Inspirados en el concepto físico del centro de masa, los autores definen el Centroide de Entropía para codificar la posición temporal de estas fases de incertidumbre.

• Masa ($m_n$): El número de tokens en la $n$-ésima HEP.
• Posición ($p_n$): El punto medio de la $n$-ésima HEP dentro de la trayectoria total.
• Cálculo: El centroide $C$ es la posición promedio ponderada de todas las HEP a lo largo de la trayectoria, normalizada por la longitud total de la secuencia $L$:
  $$C = \frac{\sum_{n=1}^{N} m_n \cdot p_n}{L \cdot \sum_{n=1}^{N} m_n}$$
• Interpretación:
  • Centroide Bajo: Indica que la incertidumbre (exploración) ocurrió temprano en el proceso de razonamiento, seguida de una generación confiable (baja entropía). Esto se correlaciona con un razonamiento de alta calidad (explorar temprano, converger después).
  • Centroide Alto: Indica que la incertidumbre persistió o surgió tarde en la trayectoria, lo que sugiere que el modelo tuvo dificultades para resolver el problema o se confundió cerca del final.

C. Estrategia de Selección del Centroide Más Bajo

El método de selección propuesto, Centroide Más Bajo, simplemente selecciona la trayectoria con el valor de centroide de entropía más bajo entre los $N$ candidatos muestreados.

• Preprocesamiento: Un paso de filtrado de valores atípicos elimina trayectorias con terminación anormal o sin sentido antes de la selección.
• Ventaja: No requiere entrenamiento, no requiere etiquetas externas y funciona para cualquier tipo de tarea (incluidas tareas de codificación abierta y tareas de agentes donde la votación mayoritaria falla).

3. Contribuciones Clave

1. Modelado Temporal de la Incertidumbre: El artículo identifica que el patrón temporal de la incertidumbre es más informativo que la magnitud de la incertidumbre en tokens individuales. Esto se formaliza mediante la Fase de Alta Entropía (HEP).
2. Métrica del Centroide de Entropía: Introduce una métrica inspirada en la física (Centroide) que agrupa las HEP en una única señal de recompensa escalar que representa el "momento" de la incertidumbre del modelo.
3. Recompensa Intrínseca de Propósito General: Demuestra que esta señal intrínseca es efectiva en una amplia gama de escalas de modelos (de 14B a 480B) y dominios (Matemáticas, Código, Lógica, Agentes), superando las líneas base existentes sin requerir modelos de recompensa externos.
4. Robustez: Se demuestra que el método es robusto ante la elección de hiperparámetros (umbrales para la detección de HEP) y estable a medida que aumenta el tamaño del modelo.

4. Resultados Experimentales

Los autores evaluaron el método en cuatro puntos de referencia: AIME 2025/Minerva (Matemáticas), Synlogic (Lógica), BigCodeBench/LiveCodeBench (Código) y $\tau^2$-Bench (Agentes).

• Mejoras de Rendimiento: El método Centroide Más Bajo superó consistentemente a las líneas base (Pass@1, Decodificación Greedy, Auto-Certeza, Confianza de Cola, Ventana Inferior) en todas las 30 combinaciones de modelo-conjunto de datos.
  • Mejora Promedio: +5.3% sobre Pass@1.
  • Tareas de Agentes: +6.8% de mejora promedio (por ejemplo, GPT-OSS-120B vio un aumento de +10.1%).
  • Matemáticas/Lógica: Ganancias significativas, por ejemplo, +11.0% en AIME 2025 para GPT-OSS-120B.
• Comparación con Líneas Base:
  • A diferencia de "Auto-Certeza" o "Confianza de Cola", que mostraron un rendimiento inestable (a veces degradando los resultados), el Centroide Más Bajo proporcionó ganancias fiables en cada configuración.
  • Superó a la Votación Mayoritaria en tareas de respuesta corta y, crucialmente, es aplicable a tareas de formato largo (codificación, agentes) donde la Votación Mayoritaria no es aplicable.
• Comportamiento de Escalado: El método exhibe un escalado persistente sin saturación temprana. A medida que aumenta el número de trayectorias muestreadas ($N$), la precisión sigue subiendo de manera constante, mientras que otros métodos a menudo se estabilizan o fluctúan.
• Escala del Modelo: El método funciona eficazmente desde 14B hasta 480B parámetros, demostrando su generalidad.

5. Significado y Conclusión

Este trabajo proporciona un enfoque ligero, libre de anotaciones y generalizable para la escalabilidad en tiempo de prueba. Al desplazar el enfoque del ruido a nivel de token hacia la estructura temporal de la incertidumbre (mediante HEP y Centroides), los autores ofrecen una solución práctica para seleccionar rutas de razonamiento de alta calidad.

• Impacto Práctico: Elimina la necesidad de costosos modelos de recompensa externos, haciendo que la escalabilidad en tiempo de prueba sea más accesible y eficiente.
• Perspectiva Teórica: Valida la hipótesis de que el razonamiento de alta calidad sigue un patrón temporal específico: exploración temprana (alta entropía) seguida de convergencia confiable (baja entropía).
• Potencial Futuro: El Centroide de Entropía puede servir no solo como una métrica de selección, sino también como una señal de recompensa intrínseca para el entrenamiento (por ejemplo, en Aprendizaje por Refuerzo) o para diagnosticar el comportamiento del modelo en la generación de formato largo.

En resumen, el artículo demuestra con éxito que analizar el momento de la incertidumbre del modelo es una señal intrínseca poderosa para mejorar el rendimiento de los LLM en tiempo de prueba.