💬 NLP

MENTOR: Reinforcement Learning via Flexible Teacher-Optimized Rewards for Tool-Use Distillation

El artículo propone MENTOR, un marco de aprendizaje por refuerzo que destila las capacidades de uso de herramientas de los grandes modelos de lenguaje en modelos de lenguaje pequeños mediante el empleo de una estructura de recompensa flexible y consciente del proceso para superar las limitaciones de generalización del ajuste fino supervisado y las restricciones del emparejamiento estricto de trayectorias.

Autores originales: ChangSu Choi, Hoyun Song, Dongyeon Kim, WooHyeon Jung, Minkyung Cho, Sunjin Park, NohHyeob Bae, Seona Yu, KyungTae Lim

Publicado 2026-06-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: ChangSu Choi, Hoyun Song, Dongyeon Kim, WooHyeon Jung, Minkyung Cho, Sunjin Park, NohHyeob Bae, Seona Yu, KyungTae Lim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un brillante chef de clase mundial (el Modelo de Lenguaje Grande, o LLM) que puede cocinar platos complejos usando una cocina llena de herramientas especializadas como licuadoras, hornos y máquinas de sous-vide. Quieres enseñarle a un joven y entusiasta aprendiz (el Modelo de Lenguaje Pequeño, o SLM) cómo cocinar estos platos para que el aprendiz pueda trabajar de forma independiente en una cocina más pequeña y económica.

Aquí se presenta un nuevo método de enseñanza llamado MENTOR para resolver un problema específico: el aprendiz sigue fallando cuando el chef no está mirando, especialmente cuando la receta cambia ligeramente.

Aquí está el desgrecado del problema y la solución, utilizando analogías sencillas:

El Problema: Dos Malas Formas de Enseñar

El artículo sostiene que las dos formas estándar de enseñar al aprendiz no están funcionando lo suficientemente bien:

El Método de la "Fotocopia" (Ajuste Fino Supervisado / SFT):
- Cómo funciona: El maestro le muestra al aprendiz los pasos exactos que el chef siguió para hacer un plato. Se le dice al aprendiz que copie cada movimiento, palabra por palabra, en el mismo orden exacto.
- El defecto: Si el chef usó una licuadora primero y luego una batidora, el aprendiz debe hacer lo mismo. Si el aprendiz intenta usar la batidora primero porque tiene más sentido para su situación específica, es penalizado.
- El resultado: El aprendiz se convierte en un robot. Puede copiar la receta perfectamente cuando los ingredientes son exactamente los mismos, pero si le das un ingrediente ligeramente diferente (un escenario "fuera de dominio"), se queda paralizado. No ha aprendido cómo cocinar; solo ha memorizado los pasos.
El Método de "Adivinar y Comprobar" (Aprendizaje por Refuerzo Estándar):
- Cómo funciona: El aprendiz es lanzado a la cocina y se le dice: "Simplemente descúbrelo. Si haces el plato, recibes una estrella dorada. Si lo quemas, no recibes nada".
- El defecto: El aprendiz es demasiado pequeño e inexperto para descubrir la lógica compleja por sí solo. Podría intentar usar un martillo en lugar de un batidor porque no entiende las herramientas. Se confunde, comete errores y, eventualmente, se rinde o deja de usar herramientas por completo porque la "estrella dorada" (recompensa) es demasiado difícil de conseguir.

El Dilema

El artículo identifica un problema de "punto medio" (Goldilocks) para los modelos pequeños:

Si eres demasiado estricto (copiando al chef), el aprendiz no puede adaptarse.
Si eres demasiado permisivo (solo adivinando), el aprendiz se pierde y comete demasiados errores.

La Solución: MENTOR (El Entrenador Flexible)

MENTOR es un nuevo marco de entrenamiento que actúa como un entrenador sabio. En lugar de obligar al aprendiz a copiar cada movimiento del chef, o dejarlo solo para que adivine, utiliza un sistema de recompensa flexible.

Así es como MENTOR enseña:

La Regla de las "Herramientas Correctas" (Alineación Estratégica):
- El entrenador mira la receta del chef y dice: "Para hacer este plato, debes usar la licuadora, el horno y el temporizador".
- La Flexibilidad: Al entrenador no le importa si el aprendiz usa la licuadora antes que el horno, o el horno antes que la licuadora. Siempre que el aprendiz use el conjunto correcto de herramientas, recibe una recompensa. Esto enseña al aprendiz qué herramientas necesita sin forzar un orden rígido.
La Regla de "No Rompas la Máquina" (Validación de Herramientas):
- El entrenador observa de cerca para asegurar que el aprendiz no intente poner un plátano en la licuadora si la licuadora está rota, o intente usar una herramienta que no tiene. Si el aprendiz intenta usar una herramienta incorrectamente, recibe una penalización. Esto mantiene al aprendiz seguro y eficiente.
La Regla del "Plato Sabroso" (Correctitud Final):
- Finalmente, el plato debe saber bien. Si la respuesta final es incorrecta, no se otorgan puntos, independientemente de qué tan bien se hayan usado las herramientas.

Por qué Funciona (Los Resultados)

Los autores probaron esto en problemas matemáticos y tareas de uso de herramientas. Encontraron que:

Mejor Adaptabilidad: Debido a que el aprendiz aprendió qué herramientas usar en lugar de exactamente cuándo usarlas, pudo manejar mucho mejor problemas nuevos y no vistos.
Menos Errores: La regla "No Rompas la Máquina" detuvo al aprendiz de cometer errores tontos que podrían colapsar el sistema.
Cerrando la Brecha: El aprendiz pequeño (SLM) entrenado con MENTOR se desempeñó mucho más cerca del chef maestro (LLM) que los aprendices entrenados con los métodos antiguos de "Fotocopia" o "Adivinar y Comprobar".

Conclusión

El artículo afirma que para que los modelos de IA pequeños y eficientes sean buenos usando herramientas (como calculadoras o motores de búsqueda), no debemos forzarlos a memorizar secuencias exactas de acciones. En su lugar, debemos guiarlos con un sistema de recompensa flexible que los premie por usar una estrategia correcta (el conjunto de herramientas adecuado) mientras se asegura de que no cometan errores de ejecución. Esto les permite aprender la lógica de la tarea, no solo el guion, haciéndolos mucho más fiables en el mundo real.

Resumen Técnico: MENTOR

Declaración del Problema

La integración de Modelos de Lenguaje Extensos (LLMs) con herramientas externas (p. ej., intérpretes de código, APIs de recuperación) ha permitido capacidades de razonamiento avanzadas. Sin embargo, los altos costos de inferencia de los modelos de gran escala limitan su despliegue práctico, lo que motiva la destilación de estas capacidades de uso de herramientas en Modelos de Lenguaje Pequeños (SLMs).

Los métodos de destilación actuales dependen principalmente del Ajuste Fino Supervisado (SFT), donde los modelos estudiantes son entrenados para replicar estrictamente las trayectorias generadas por el profesor. Los autores identifican que este alineamiento rígido con distribuciones de tokens estáticas sofoca la autonomía exploratoria de los SLMs con capacidad limitada, lo que conduce a una pobre generalización fuera del dominio (OOD).

Si bien el Aprendizaje por Refuerzo (RL) ofrece una alternativa al permitir que los modelos aprendan mediante la interacción, el diseño de estructuras de recompensa para SLMs presenta un dilema severo:

Recompensas de Resultado Dispersas: Proporcionar recompensas solo por la corrección final ofrece una guía insuficiente, lo que conduce a una exploración ineficiente y a la evitación de herramientas.
Emparejamiento Estricto de Trayectorias: Imponer la replicación exacta de secuencias impone una carga de optimización excesivamente restrictiva sobre los SLMs, dificultando su capacidad para aprender la lógica estratégica subyacente y adaptarse a herramientas no vistas.

El artículo postula que los SLMs exhiben un "comportamiento de uso de herramientas frágil" caracterizado por una desconexión entre la frecuencia de invocación de herramientas y las tasas de éxito, lo que a menudo resulta en llamadas a herramientas inválidas y un desalineamiento estratégico con el profesor.

Metodología: MENTOR

Para abordar estas limitaciones, los autores proponen MENTOR (Model Enhancement by Non-rigid Teacher-Optimized Rewards), un marco de aprendizaje por refuerzo diseñado para cerrar la brecha estratégica entre el profesor y el estudiante a través de una estructura de recompensa flexible y consciente del proceso.

Marco Central

MENTOR utiliza el algoritmo de Optimización de Política Relativa de Grupo (GRPO). En lugar de tratar la trayectoria del profesor como un objetivo rígido para el emparejamiento secuencial, este sirve como una referencia estratégica para guiar el proceso exploratorio del estudiante.

Diseño de Recompensa Flexible

La innovación central radica en una señal de recompensa compuesta $R(O^{(s)}, O^{(t)})$ que equilibra tres componentes:
$R = w_c R_c + w_a R_a + w_v R_v$

Recompensa de Corrección ( $R_c$ ): Una señal binaria (1 o 0) que indica si la respuesta final del estudiante coincide con el resultado del profesor (el cual es verificado contra la verdad de referencia). Esto asegura que el modelo se mantenga orientado a la tarea.
Recompensa de Alineación con el Profesor ( $R_a$ ): A diferencia del emparejamiento estricto de secuencias, este componente emplea un enfoque de emparejamiento basado en conjuntos. Premia al estudiante si el conjunto de herramientas utilizadas coincide con el conjunto de herramientas del profesor, independientemente del orden de ejecución o el número de llamadas. Esto incentiva al estudiante a adoptar la estrategia de selección de herramientas de alto nivel del profesor mientras permite flexibilidad en la ruta de razonamiento.
Recompensa de Validación de Herramientas ( $R_v$ ): Una señal binaria que penaliza las llamadas a herramientas inválidas o malformadas. Este componente es crucial para los SLMs, que son propensos a errores de ejecución, asegurando que el modelo aprenda a generar código ejecutable.

El marco permite al estudiante explorar rutas de razonamiento alternativas válidas que utilicen las herramientas correctas, en lugar de forzar una imitación literal de token por token de la trayectoria del profesor.

Contribuciones Clave

Identificación del Dilema de la Recompensa: Los autores demuestran empíricamente que los SLMs con capacidad limitada enfrentan un cuello de botella donde las señales de resultado dispersas no logran inducir el uso de herramientas, mientras que las restricciones estrictas de trayectoria conducen a un exceso de llamadas inválidas y una pobre generalización.
El Marco MENTOR: Introducen una estructura de recompensa flexible y consciente del proceso que mitiga este dilema. Al desacoplar el alineamiento estratégico (selección de herramientas) de las restricciones secuenciales rígidas, MENTOR proporciona una guía moderada que acomoda la capacidad limitada del SLM.
Validación Empírica: Experimentos extensos a través de múltiples benchmarks muestran que MENTOR supera significativamente tanto a SFT como a los baselines de RL estricto, particularmente en escenarios OOD.

Resultados Experimentales

Los autores evaluaron MENTOR utilizando Qwen3-235B como profesor y varios modelos Qwen2.5 y Qwen3 (de 1.5B a 8B) como estudiantes.

Desempeño en el Dominio: En benchmarks de razonamiento matemático (p. ej., AIME, AMC, MATH), MENTO alcanzó consistentemente la mayor precisión entre todos los baselines, incluyendo SFT y otros variantes de RL. Por ejemplo, en el modelo de 7B, MENTOR mejoró la precisión matemática general a 28.63% comparado con el 26.64% de Strict RL y el 22.48% de SFT.
Generalización Fuera del Dominio: MENTOR demostró una superior generalización zero-shot en herramientas y dominios no vistos (BFCL-v4 y tareas de RAG). El alineamiento flexible permitió a los SLM adaptarse a nuevos patrones de llamada de herramientas de manera más efectiva que los modelos entrenados con emparejamiento de trayectoria rígido.
Análisis de Comportamiento:
- Uso de Herramientas: Los modelos entrenados con MENTOR exhibieron distribuciones de uso de herramientas estrechamente alineadas con el profesor, mientras que los modelos SFT retuvieron hábitos de invocación preexistentes y subóptimos.
- Estabilidad: MENTOR redujo la frecuencia de llamadas a herramientas inválidas y eliminó los "bucles de verificación redundantes" observados en los baselines de SFT y RL estricto, donde los modelos continuaban llamando a herramientas incluso después de derivar la respuesta correcta.
- Estudios de Ablación: Eliminar la recompensa de alineación con el profesor ( $R_a$ ) o la recompensa de validación de herramientas ( $R_v$ ) provocó caídas significativas en el desempeño, confirmando la necesidad de la estructura de recompensa compuesta.

Significancia y Reclamaciones

El artículo afirma que, dentro de entornos de uso de herramientas verificables, el alineamiento flexible de uso de herramientas es más efectivo que la replicación estricta de trayectorias para desarrollar modelos pequeños adaptables.

Aprendizaje Estratégico vs. Imitativo: Los hallazgos sugieren que los SLM no necesitan memorizar secuencias de tokens específicas para aprender el uso de herramientas; más bien, se benefician de aprender la lógica estratégica de la selección de herramientas (es decir, qué herramientas usar) mientras retienen la autonomía para determinar cómo secuenciarlas.
Cerrando la Brecha de Capacidad: MENTOR reduce efectivamente la brecha de desempeño entre los modelos de 1.5B–8B y su profesor de 235B, ofreciendo un camino viable para desplegar agentes de IA capaces en dispositivos sin depender de infraestructura costosa en la nube.
Limitaciones: Los autores señalan modestamente que su enfoque asume que el modelo estudiante tiene cierta capacidad inicial para generar llamadas a herramientas ejecutables (lo que a menudo requiere un breve calentamiento mediante SFT). También reconocen que la evaluación actual está limitada a entornos controlados de herramientas ejecutables (matemáticas y recuperación) y aún no aborda las complejidades de entornos interactivos de mundo abierto (p. ej., navegación web, seguimiento de estado de múltiples pasos).

En conclusión, MENTOR propone que el futuro de la destilación de uso de herramientas no reside en forzar a los modelos más pequeños a imitar perfectamente a los más grandes, sino en proporcionarles señales flexibles guiadas por el profesor que respeten sus limitaciones de capacidad mientras fomentan estrategias de razonamiento robustas y generalizables.