Resumen Técnico: Aprendizaje por Refuerzo Impulsado por Energía Libre con Moldeamiento de Ventaja Adaptativo (FREIA)

Enunciado del Problema

El aprendizaje por refuerzo (RL) no supervisado ha surgido como un paradigma crítico para habilitar la auto-mejora en Modelos de Lenguaje Grandes (LLMs) sin depender de una supervisión costosa basada en verdades fundamentales. Sin embargo, los métodos existentes de RL no supervisado sufren una desalineación fundamental con la dinámica de aprendizaje evolutiva del modelo.

Los enfoques actuales generalmente caen en dos categorías, ambas de las cuales fallan en adaptarse a las capacidades cambiantes del modelo durante el entrenamiento:

1. Métodos Intrínsecos a la Trayectoria: Estos derivan recompensas de medidas intrínsecas como la incertidumbre del modelo o la auto-información. Riesgan reforzar respuestas incorrectas pero de alta confianza, particularmente cuando la capacidad de razonamiento del modelo es limitada, lo que lleva a una discrepancia entre confianza y corrección.
2. Métodos Basados en Población: Estos dependen del consenso colectivo (por ejemplo, votación mayoritaria) para determinar la corrección. Aunque explotan el acuerdo grupal, a menudo descartan valiosas rutas de razonamiento minoritarias. Esto crea un sesgo donde mayorías incorrectas reciben recompensas máximas, y minorías correctas son penalizadas, especialmente en etapas tempranas de entrenamiento o fases de "consenso débil".

Además, los métodos existentes aplican un moldeamiento de ventaja estático independientemente de la evolución de la distribución de recompensas. A medida que el entrenamiento progresa desde una fase de "Consenso Débil" (recompensas altas dispersas) hacia una fase de "Consenso Fuerte" (mayoría dominante), la normalización estática ya sea penaliza en exceso respuestas correctas raras o recompensa excesivamente valores atípicos estocásticos, lo que lleva a una convergencia prematura o sobreajuste a señales engañosas.

Metodología: FREIA

Para abordar estas limitaciones, los autores proponen FREIA (Aprendizaje por Refuerzo Impulsado por Energía Libre con Moldeamiento de Ventaja Adaptativo), un algoritmo novedoso que integra dos innovaciones clave para alinear la optimización de la política con la dinámica de aprendizaje interna del modelo.

1. Recompensa Impulsada por Energía Libre (FER)

Fundamentado en el Principio de Energía Libre (FEP), FER reencuadra la auto-mejora como un proceso de minimización de energía libre. Descompone el objetivo de recompensa en dos componentes adaptativos:

• Alineación de Consenso: Fomenta que el modelo se alinee con la solución más probable (la moda de la distribución muestreada).
• Exploración: Incentiva el descubrimiento de rutas de razonamiento diversas cuando el modelo exhibe alta incertidumbre.

El mecanismo opera en tres pasos:

1. Agudización de Creencias: Las respuestas únicas se tratan como hipótesis. Un mecanismo de agudización no lineal (controlado por el parámetro $\alpha$) convierte las frecuencias de respuestas en pesos de creencia, distinguiendo el consenso robusto del ruido estocástico.
2. Confianza Grupal ($C_G$): Una métrica derivada de la entropía de Shannon de la distribución de creencias cuantifica el grado de consenso grupal. $C_G \to 1$ indica alta certeza, mientras que $C_G \to 0$ indica alta incertidumbre.
3. Formulación Adaptativa de Recompensa: La recompensa final $R_i$ para una ruta de razonamiento es un compromiso dinámico:
   $$R_i = C_G \cdot r_{cons}(y_i) + (1 - C_G) \cdot r_{explore}(y_i)$$
   En estados de alta confianza, el modelo prioriza el consenso. En estados de baja confianza, el modelo se incentiva a explorar rutas diversas, mitigando efectivamente la convergencia temprana a soluciones subóptimas.

2. Moldeamiento de Ventaja Adaptativo (AAS)

Reconociendo que las distribuciones de recompensa cambian continuamente durante el entrenamiento, AAS ajusta dinámicamente las señales de ventaja utilizadas para las actualizaciones de la política basándose en la asimetría (skewness) de la distribución de recompensas.

• Asimetría Positiva (Recompensas Altas Dispersas): Ocurre cuando las respuestas de alta recompensa son raras. La normalización estándar asignaría ventajas excesivamente grandes a estos valores atípicos. AAS atenúa estas ventajas positivas para evitar que el modelo se sobreajuste a señales estocásticas potencialmente engañosas.
• Asimetría Negativa (Recompensas Altas Prevalentes): Ocurre cuando la mayoría de las respuestas son de alta recompensa. La normalización estándar asignaría grandes penalizaciones a desviaciones ocasionales de baja recompensa. AAS atenúa estas ventajas negativas para evitar que el modelo se corrija en exceso basándose en variaciones raras, potencialmente inofensivas.

La ventaja final $\hat{A}_i$ se modula mediante pesos adaptativos derivados de la asimetría $S$, asegurando actualizaciones de política estables a través de diferentes fases de entrenamiento.

Contribuciones Clave

1. Identificación de Desalineación: El artículo identifica que los métodos existentes de RL no supervisado fallan en adaptarse a las capacidades de razonamiento evolutivas e ignoran las distribuciones de recompensa cambiantes, lo que lleva a una optimización de política subóptima.
2. Algoritmo FREIA: La introducción de un marco unificado que presenta:
   • FER: Un mecanismo de recompensa que equilibra consenso y exploración basado en el Principio de Energía Libre, ajustando dinámicamente los pesos mediante la Confianza Grupal.
   • AAS: Una técnica de moldeamiento de ventaja que modula las señales de aprendizaje basándose en la asimetría estadística de la distribución de recompensas.
3. Validación Empírica: Evaluación exhaustiva que demuestra que FREIA supera a las líneas base no supervisadas existentes en múltiples tareas de razonamiento.

Resultados Experimentales

Los autores evaluaron FREIA en nueve conjuntos de datos que cubren tres tareas de razonamiento: razonamiento matemático, generación de SQL y razonamiento multimodal.

• Razonamiento Matemático: Utilizando el modelo DeepSeek-R1-Distill-Qwen-1.5B, FREIA superó a otros métodos no supervisados en un promedio de 0.5 a 3.5 puntos en Pass@1 en puntos de referencia como MATH500, AIME24 y AIME25. Notablemente, FREIA logró un rendimiento comparable o superior al GRPO supervisado (Aprendizaje por Refuerzo con Recompensas Verificables) en varias métricas, a pesar de carecer de etiquetas de verdad fundamental.
• Generalización: FREIA demostró una fuerte transferibilidad a la generación de SQL (Spider, BIRD) y al razonamiento multimodal (Geometry3K), superando líneas base como TTRL, Entropy e Intuitor.
• Dinámica de Entrenamiento: El análisis de las curvas de entrenamiento mostró que FREIA equilibra efectivamente la exploración y el consenso. La puntuación de Confianza Grupal ($C_G$) aumentó con el tiempo, indicando una reducción de la incertidumbre, mientras que el componente de exploración permaneció lo suficientemente activo como para prevenir el colapso de modos.
• Estudios de Ablación: Eliminar cualquiera de los componentes de Consenso o Exploración de FER, o el módulo AAS, resultó en una degradación significativa del rendimiento, confirmando la necesidad de tanto la formulación adaptativa de recompensas como el moldeamiento dinámico de ventajas.

Significado y Afirmaciones

El artículo afirma que FREIA proporciona un nuevo paradigma para la alineación en escenarios donde no hay datos etiquetados disponibles. Al integrar el Principio de Energía Libre con un análisis estadístico adaptativo, FREIA permite que los LLMs logren una auto-mejora efectiva sin supervisión externa.

Los autores enfatizan que su enfoque:

• Mitiga el "Sesgo Mayoritario": A diferencia de los métodos de votación estática, FREIA puede identificar y recompensar rutas minoritarias correctas cuando el consenso es débil o incorrecto.
• Asegura Estabilidad: AAS previene la inestabilidad causada por recompensas de valores atípicos en el entrenamiento temprano y penalizaciones excesivas en el entrenamiento tardío.
• Escalabilidad: Aunque los experimentos actuales están limitados a modelos de hasta 3 mil millones de parámetros debido a restricciones de recursos, los autores postulan que los principios subyacentes de FREIA están diseñados para escalar a modelos fundacionales más grandes.

El trabajo concluye que minimizar la energía libre mediante el cultivo adaptativo de consenso y exploración produce capacidades de razonamiento más robustas que la supervisión basada únicamente en resultados, ofreciendo una solución principista para el razonamiento no supervisado en LLMs.