Resumen Técnico: Compute as Teacher (CaT)

Declaración del Problema

El entrenamiento posterior de modelos de lenguaje grandes (LLMs) para habilidades especializadas suele depender del Ajuste Fino Supervisado (SFT) con respuestas de referencia etiquetadas por humanos o del Aprendizaje por Refuerzo (RL) con recompensas verificables provenientes de verificadores programáticos. Aunque efectivos en dominios como las matemáticas y la programación, estos enfoques fallan en dominios no verificables (por ejemplo, orientación en salud, escritura creativa, diálogo libre) donde:

1. Existen múltiples respuestas válidas y los expertos pueden discrepar.
2. La verificación mediante reglas deterministas es poco práctica.
3. La anotación humana es costosa, difícil de escalar o no está disponible.

Las alternativas existentes, como utilizar un LLM como juez para puntuar salidas libres, sufren de inconsistencia, sesgo de verbosidad y manipulación de recompensas. El artículo pregunta: ¿Puede la computación en tiempo de inferencia sustituir la supervisión faltante?

Metodología: Compute as Teacher (CaT)

Los autores proponen Compute as Teacher (CaT), un marco que convierte la computación en tiempo de inferencia en señales de supervisión para el entrenamiento por RL sin requerir etiquetas de verdad fundamental. El marco opera en dos etapas principales, aprovechando despliegues paralelos generados por la política actual $\pi_t$.

1. Estimación de Referencia

En lugar de depender de una referencia proporcionada por un humano, CaT agrega $G$ despliegues paralelos ($o_{1:G}$) generados para un prompt $q$ en una pseudo-referencia ($s$). Esta agregación captura la incertidumbre del modelo, ya que los despliegues a menudo difieren precisamente donde el modelo no está seguro.

• Estrategias de Agregación: El marco es agnóstico al método. Explora la Síntesis, donde una política ancla congelada ($\pi_0$) se condiciona sobre el conjunto de despliegues para generar una nueva respuesta reconciliada. Esto permite al sistema combinar fragmentos correctos de diferentes despliegues (por ejemplo, pasos intermedios correctos de uno y una conclusión válida de otro).
• Alternativas: Estrategias de selección como Votación Mayoritaria o Best-of-N también son compatibles, aunque la síntesis se destaca por su capacidad para construir respuestas fuera de la distribución original de despliegues.

2. Derivación de Recompensas

La pseudo-referencia $s$ se utiliza para derivar recompensas para los despliegues individuales con el fin de actualizar la política mediante Optimización de Política Relativa por Grupos (GRPO). El mecanismo difiere según la verificabilidad del dominio:

• Dominios Verificables (por ejemplo, Matemáticas, Código): Las recompensas son binarias, basadas en si la respuesta final de un despliegue coincide con la respuesta de la pseudo-referencia.
• Dominios No Verificables (por ejemplo, Salud): El artículo introduce Rubros Auto-propuestos.
  • La política ancla $\pi_0$ genera un conjunto de criterios binarios verificables ($R = \{r_1, \dots, r_n\}$) derivados específicamente de la pseudo-referencia $s$ (por ejemplo, "recomienda consultar a un profesional médico").
  • Un modelo juez independiente ($\pi_J$) puntúa cada despliegue contra estos criterios.
  • La recompensa es la fracción de criterios satisfechos. Esto descompone juicios cualitativos difusos en verificaciones binarias específicas y auditable, mitigando la inestabilidad de la puntuación directa mediante "Modelo como Juez".

Bucle de Entrenamiento

El proceso itera: la política genera despliegues $\to$ la estimación de referencia crea $s$ $\to$ la derivación de recompensas puntúa los despliegues contra $s$ $\to$ GRPO actualiza la política. Crucialmente, el marco amortiza el costo computacional de generar múltiples despliegues y agregarlos durante el entrenamiento, permitiendo que la política final entrenada produzca salidas individuales de alta calidad en tiempo de inferencia.

Contribuciones Clave

1. Rubros Auto-propuestos: Un mecanismo de recompensa novedoso para RL no verificable que descompone el juicio en criterios binarios generados a partir de pseudo-referencias, eliminando la necesidad de rubros anotados por humanos o respuestas de referencia.
2. Marco Compute as Teacher (CaT): Un paradigma general para convertir la computación de inferencia en supervisión mediante estimación de referencia y derivación de recompensas. Demuestra que la síntesis (agregación generativa) puede superar a las líneas base basadas en selección al reconciliar información distribuida a través de despliegues.
3. Validación Empírica: Experimentos exhaustivos en tres familias de modelos (Gemma 3 4B, Qwen 3 4B, Llama 3.1 8B) en dominios tanto no verificables (HealthBench) como verificables (MATH-500).

Resultados

• Mejoras de Rendimiento: Los modelos entrenados con CaT logran hasta +30% de mejora relativa en HealthBench y +33% en MATH-500 en comparación con la política inicial no entrenada.
• Eficiencia: Los modelos entrenados igualan o superan la calidad de la agregación en tiempo de inferencia (por ejemplo, síntesis) mientras utilizan 9× menos computación en tiempo de prueba. El modelo aprende a internalizar la capacidad de agregación, requiriendo solo una pasada hacia adelante en tiempo de inferencia.
• Dominios No Verificables: Los rubros auto-propuestos rinden de manera comparable a los rubros anotados por médicos expertos en HealthBench y superan significativamente la puntuación directa de "Modelo como Juez".
• Síntesis vs. Selección: La estimación de referencia basada en síntesis supera a las líneas base de selección (Votación Mayoritaria, Best-of-N) en dominios no verificables. En casos donde la síntesis discrepa con el consenso, es correcta entre el 70–86% de las veces, corrigiendo a menudo errores presentes en todos los despliegues individuales.
• RL vs. SFT: RL con recompensas de rubro supera consistentemente al Ajuste Fino Supervisado (SFT) en referencias sintetizadas, lo que sugiere que RL generaliza mejor a partir de datos limitados y sintetizados.

Significado y Afirmaciones

El artículo afirma que CaT proporciona una solución práctica, "plug-and-play", para el entrenamiento posterior de LLMs en dominios donde las respuestas de referencia son escasas, costosas o inexistentes. Al aprovechar la computación de inferencia para generar su propia supervisión, el marco:

• Cierra la brecha entre RL verificable y no verificable, funcionando como un enfoque unificado.
• Reduce la dependencia de la anotación humana, ofreciendo un camino para dominios especializados donde el etiquetado experto es un cuello de botella.
• Amortiza los costos computacionales, trasladando el trabajo pesado de la agregación del tiempo de inferencia (repetidamente) al tiempo de entrenamiento (una vez), resultando en un despliegue más eficiente.

Los autores señalan limitaciones, incluida la dependencia de la capacidad del modelo base para generar despliegues diversos y el potencial de mesetas de rendimiento a medida que los despliegues convergen (colapso de entropía). Sin embargo, posicionan a CaT como un paso significativo hacia la habilitación del aprendizaje sin referencias en dominios cualitativos complejos.