💬 NLP

Reinforcement Learning-based Knowledge Distillation with LLM-as-a-Judge

Este artículo propone un marco de Aprendizaje por Refuerzo que utiliza a un LLM como juez para generar recompensas eficientes y sin etiquetas en grandes volúmenes de datos no etiquetados, permitiendo la destilación de conocimiento y mejorando significativamente el razonamiento matemático al combinarse con recompensas verificables.

Autores originales: Yiyang Shen, Lifu Tu, Weiran Wang

Publicado 2026-04-06

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yiyang Shen, Lifu Tu, Weiran Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que quieres enseñar a un niño (un modelo de inteligencia artificial pequeño) a resolver problemas matemáticos complejos. Normalmente, para que aprenda, necesitas un profesor humano que revise cada ejercicio, le diga si está bien o mal, y le explique el error. Esto es lento, costoso y requiere que tengas las respuestas correctas (las "etiquetas") para cada problema.

Este artículo propone una forma inteligente y más rápida de enseñar, usando una técnica llamada "Distilación de Conocimiento con Aprendizaje por Refuerzo". Aquí te lo explico con una analogía sencilla:

1. El Problema: El Profesor Humano es un Cuello de Botella

Antes, para entrenar a estos "niños" (modelos pequeños), dependíamos de respuestas correctas predefinidas. Si no tenías la respuesta exacta, no podías entrenar al modelo. Era como intentar enseñar a alguien a cocinar sin tener un libro de recetas ni un chef experto que te diga si la sal está bien puesta.

2. La Solución: El "Juez" Inteligente (LLM-as-a-Judge)

Los autores proponen usar un modelo de lenguaje gigante y muy inteligente (como un profesor universitario experto) que actúe como un Juez.

La escena: El "niño" (modelo pequeño) intenta resolver un problema matemático y escribe su razonamiento paso a paso.
El Juez: En lugar de generar la respuesta correcta él mismo (lo cual sería lento y costoso), el Juez solo lee lo que escribió el niño y dice: "Sí, esto tiene sentido" o "No, esto está mal".
El Truco: El Juez es tan rápido que no necesita escribir una respuesta larga. Solo necesita dar un "sí" o un "no" (o una probabilidad de que sea correcto). Esto convierte la evaluación en una señal de recompensa instantánea y barata.

3. El Entrenamiento: Aprender sin el Libro de Respuestas

Aquí está la magia de su método:

Sin respuestas correctas: Pueden usar miles de problemas matemáticos sin saber cuál es la respuesta correcta. El niño intenta resolverlos, y el Juez experto le da una "puntuación" basada en la calidad de su razonamiento.
Refuerzo: Si el niño acierta (según el Juez), recibe una "recompensa" (como una estrella). Si falla, recibe una señal de que debe mejorar. Con el tiempo, el niño aprende a pensar mejor, no solo a memorizar respuestas.
Mezcla de métodos: Si tienen algunos problemas con respuestas correctas (etiquetados), usan esos para asegurar que el niño no se confunda, y mezclan los problemas sin respuestas para que practique mucho más.

4. ¿Por qué es tan bueno? (Las Analogías)

El "Juez" es un termómetro, no un chef: Imagina que el Juez no cocina por ti, sino que solo mide la temperatura de tu plato. Si está caliente (correcto), te da una señal. Esto es mucho más rápido que pedirle al Juez que cocine el plato entero cada vez.
Aprendizaje en la selva: Tradicionalmente, los modelos aprendían en un "zoológico" donde todo estaba etiquetado y seguro. Este método permite que el modelo aprenda en la "selva" (datos sin etiquetar), guiado por un experto que le dice si está en el camino correcto o si se está perdiendo.
El efecto "Domino": Al usar este método, los modelos pequeños (que son rápidos y baratos de usar) aprenden a razonar casi tan bien como los modelos gigantes, pero sin necesitar que un humano revise cada ejercicio.

5. Los Resultados

En sus pruebas con problemas matemáticos:

Los modelos pequeños mejoraron mucho su capacidad de razonamiento.
Funcionaron mejor incluso en problemas que nunca habían visto antes (como si un alumno que estudió para un examen de álgebra pudiera resolver problemas de física sin haberlos estudiado).
Incluso los modelos grandes se beneficiaron un poco más, demostrando que el método escala bien.

En Resumen

Este papel nos dice que no necesitamos un libro de respuestas perfecto para enseñar a una IA a razonar. Solo necesitamos un "Juez" experto (otro modelo de IA) que nos diga si el razonamiento del alumno es bueno o malo. Es como tener un entrenador deportivo que no necesita saber la técnica perfecta, pero sí puede decirte si tu movimiento es correcto o incorrecto, permitiéndote practicar millones de veces sin costo extra.

Esto hace que la inteligencia artificial sea más accesible, más barata y capaz de aprender cosas nuevas sin depender de que los humanos le den todas las respuestas de antemano.

Título: Aprendizaje por Refuerzo basado en Distilación de Conocimiento con LLM como Juez (Reinforcement Learning-based Knowledge Distillation with LLM-as-a-Judge)

1. Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) ha demostrado mejorar significativamente las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLM), especialmente en dominios complejos como las matemáticas y la lógica. Sin embargo, los enfoques existentes (como RLVR - RL con recompensas verificables) dependen críticamente de etiquetas de verdad fundamental (ground truth) para generar señales de recompensa. Esto limita su aplicabilidad en escenarios donde:

Los datos etiquetados son escasos o prohibitivamente costosos de obtener.
Se desea realizar distilación de conocimiento de modelos grandes a modelos pequeños en grandes volúmenes de datos no etiquetados.
La supervisión basada en SFT (Fine-Tuning Supervisado) tradicional falla en capturar procesos de razonamiento subyacentes, limitándose a la imitación superficial de tokens.

El desafío principal es cómo utilizar datos no etiquetados masivos para entrenar modelos pequeños mediante RL sin depender de respuestas correctas predefinidas, utilizando en su lugar evaluadores automáticos.

2. Metodología

Los autores proponen un marco de trabajo escalable que transforma el paradigma "LLM como Juez" de una herramienta de evaluación post-hoc a un generador activo de recompensas para el entrenamiento por RL.

Configuración del Problema:
- Modelo Estudiante: Un LLM pequeño (ej. Galactica-125M, CodeGen-350M) que genera trayectorias de razonamiento (Chain-of-Thought o CoT).
- Modelo Juez: Un LLM grande y capaz que evalúa las respuestas del estudiante.
- Datos: Se utilizan grandes volúmenes de datos no etiquetados.
Diseño de Recompensas:
El sistema combina tres tipos de señales de recompensa en una función de pérdida ponderada:
1. Recompensa Verificable ( $L_{PPO}^{VR}$ ): Para datos etiquetados (ej. GSM8K), se utiliza la verificación estándar (código Python que se ejecuta correctamente y da la respuesta exacta).
2. Recompensa LLM-Juez ( $L_{PPO}^{YoN}$ ): Para datos no etiquetados, el Juez recibe el par (pregunta, respuesta) y se le instruye para responder únicamente "Yes" o "No".
  - Eficiencia: En lugar de generar una respuesta completa, el Juez solo genera un token. La recompensa se calcula directamente a partir de los logits (probabilidades) de los tokens "Yes" y "No" usando una función sigmoide escalada. Esto permite una computación de recompensa muy eficiente y continua.
3. Recompensa de Modelo de Reordenamiento ( $L_{PPO}^{Rerank}$ ): Utiliza un modelo preentrenado de reordenamiento para asignar una probabilidad de corrección como recompensa continua.
Algoritmo de Entrenamiento:
- Se utiliza PPO (Proximal Policy Optimization) como algoritmo principal, aunque se compara con GRPO (Group Relative Policy Optimization).
- El proceso comienza con un warm-up mediante SFT (Fine-Tuning Supervisado) para inicializar el modelo.
- Luego, el modelo se entrena maximizando la recompensa total, que es una combinación convexa de las tres pérdidas mencionadas:
  $L_{overall} = \lambda \cdot L_{PPO}^{VR} + \mu \cdot L_{PPO}^{YoN} + \rho \cdot L_{PPO}^{Rerank}$
- Se emplea una estrategia de distilación semi-supervisada: datos etiquetados para $L_{PPO}^{VR}$ y datos no etiquetados para las recompensas basadas en el juez.

3. Contribuciones Clave

Distilación sin Etiquetas (Label-Free): Demuestran que es posible realizar distilación de conocimiento efectiva utilizando datos no etiquetados masivos, eliminando la dependencia de la verdad fundamental para el entrenamiento por RL.
Eficiencia en la Computación de Recompensas: Al restringir al Juez a una salida de un solo token ("Yes"/"No") y calcular la recompensa a partir de los logits, se evita la latencia y el costo computacional de generar respuestas completas para evaluar, haciendo viable el RL en grandes escalas de datos.
Mejora de Modelos Pequeños: El marco permite que modelos pequeños (125M y 350M parámetros) internalicen capacidades de razonamiento latentes de modelos grandes, superando a los métodos tradicionales de SFT y al RL con solo datos etiquetados.
Robustez Fuera de Dominio: El enfoque mejora la generalización del modelo en conjuntos de datos desafiantes y fuera de distribución (OOD).

4. Resultados

Los experimentos se realizaron en tareas de razonamiento matemático (GSM8K, SVAMP, GSM-Plus, GSM-Symbolic) utilizando modelos como Galactica-125M, CodeGen-350M y Galactica-6.7B.

Modelos Pequeños (125M - 350M):
- En GSM8K, el enfoque propuesto logró mejoras de 5 a 10 puntos de precisión en comparación con el uso exclusivo de recompensas verificables (RLVR).
- La configuración óptima (combinando datos etiquetados y no etiquetados con pesos $\lambda=0.5, \mu=0.25, \rho=0.25$ ) alcanzó una precisión del 40.71% en GSM8K, superando significativamente al SFT completo (25.25%) y al RLVR solo (30.48%).
- En tareas OOD como GSM-Symbolic y SVAMP, las mejoras fueron aún más notables, demostrando una mayor robustez.
- Se observó que el uso de datos no etiquetados de alta calidad (GSM-Plus) con recompensas "ruidosas" del juez superó al uso de datos etiquetados limitados.
Modelos Grandes (6.7B):
- Incluso en modelos más grandes donde el RLVR ya estaba saturado, la adición de la recompensa del juez mejoró la precisión de 69.07% a 70.43% (y hasta 71.95% con votación mayoritaria), indicando que el método escala bien.
Comparativa de Algoritmos:
- GRPO mostró ganancias ligeramente superiores a PPO en algunos casos, pero PPO se utilizó principalmente por su mayor eficiencia computacional (GRPO requiere generar múltiples respuestas por pregunta).
Estabilidad:
- Se identificó el riesgo de "hacking de recompensas" (el modelo genera respuestas cortas o sin código para obtener una alta probabilidad de "Yes" del juez). Esto se mitigó exitosamente combinando datos etiquetados ( $\lambda > 0$ ) y aplicando máscaras de longitud mínima en el código generado.

5. Significado e Impacto

Este trabajo es significativo porque democratiza el entrenamiento por RL para modelos de razonamiento. Al permitir el uso de datos no etiquetados masivos mediante evaluadores LLM eficientes, se reduce la barrera de entrada para mejorar modelos pequeños sin necesidad de costosas anotaciones humanas o verificaciones automáticas perfectas.

La investigación sugiere que los evaluadores basados en LLM pueden producir señales de entrenamiento efectivas y ricas (continuas) que no solo imitan la respuesta correcta, sino que guían al modelo a explorar y internalizar procesos de razonamiento complejos. Esto abre nuevas vías para la compresión de modelos y la creación de agentes de razonamiento robustos en entornos con recursos limitados.