💬 NLP

On-Policy Delta Distillation for Multilingual Math Reasoning

Este artículo demuestra que la Destilación Delta On-Policy (OPD $^2$ ), que aprovecha la brecha de probabilidad entre un profesor post-entrenado y su modelo base, mejora significativamente el razonamiento matemático multilingüe en coreano y japonés al tiempo que reduce las brechas de rendimiento, aunque subraya la necesidad de datos multilingües para prevenir desplazamientos en las respuestas centrados en el inglés.

Autores originales: Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han

Publicado 2026-08-07

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras son como estudiantes brillantes y multilingües que han leído todos los libros de la biblioteca pero aún luchan por resolver un problema matemático complicado. Para ayudarlas a ser más inteligentes, los científicos utilizan una técnica llamada "entrenamiento", que es un poco como un entrenador guiando a un estudiante a través de problemas de práctica. Durante mucho tiempo, la mejor manera de entrenar a estos estudiantes de IA fue mediante el Aprendizaje por Refuerzo (RL), un método donde la computadora recibe una única calificación al final de su respuesta, como recibir una "A" o una "F" en todo un ensayo sin saber qué oraciones específicas fueron buenas o malas. Sin embargo, ha surgido un método más eficiente llamado Destilación On-Policy (OPD). En lugar de esperar a una calificación final, el OPD actúa como un maestro experto que lee la respuesta del estudiante palabra por palabra, susurrando correcciones y sugerencias mientras el estudiante escribe. Este feedback a "nivel de token" es mucho más preciso. Pero aquí está el truco: la mayor parte de esta investigación se ha realizado solo en inglés. No sabíamos si esta técnica del "maestro que susurra" funcionaba igual de bien para estudiantes que hablaban coreano, japonés u otros idiomas, o si podría ayudar a cerrar la brecha entre lo bien que la IA habla inglés frente a lo bien que habla otras lenguas.

Este artículo profundiza en esa pregunta exacta, probando una versión supercargada de la técnica llamada On-Policy Delta Distillation (OPD²) en el razonamiento matemático en inglés, coreano y japonés. Los investigadores descubrieron que este nuevo método es un cambio de juego. Al igual que un maestro chef que puede enseñar una receta a un estudiante en cualquier idioma, el OPD² ayudó a los modelos de IA a resolver problemas matemáticos significativamente mejor en los tres idiomas, con saltos particularmente enormes en coreano y japonés. El estudio sugiere que este método es incluso mejor que la versión original porque se enfoca en el "delta"—la diferencia específica entre lo que el maestro sabe y lo que el modelo base del estudiante ya sabe—aislando efectivamente las nuevas habilidades de razonamiento que se están enseñando.

Sin embargo, el artículo también reveló un efecto secundario fascinante y ligeramente truculento. Cuando los investigadores intentaron enseñar a la IA utilizando solo problemas matemáticos en inglés, el modelo sorprendentemente mejoró también en la resolución de problemas matemáticos en coreano y japonés. Era como si el estudiante aprendiera la lógica de las matemáticas en inglés y pudiera aplicarla a otros idiomas. Pero hubo un giro: aunque las respuestas eran correctas, el modelo a menudo comenzaba a escribir sus explicaciones en inglés, incluso cuando la pregunta se hacía en coreano o japonés. Esto sugiere que, si bien el "músculo del razonamiento" puede entrenarse en un idioma y transferirse a otro, mantener la "voz" de la respuesta en el idioma objetivo requiere practicar con datos en ese idioma específico.

El Descubrimiento Central: Un Mejor Maestro que Susurra

Los investigadores se propusieron ver si el OPD² (la versión avanzada del maestro que susurra) podía superar al OPD original al tratar con múltiples idiomas. Utilizaron una familia de modelos de IA llamados Qwen3 (específicamente las versiones 1.7B y 8B) y un modelo maestro masivo para guiarlos. Los resultados fueron claros y consistentes: el OPD² superó consistentemente al OPD original en todos los ámbitos.

Piénselo de esta manera: si el OPD original era un buen tutor, el OPD² era un tutor genio que sabía exactamente qué le faltaba al estudiante. En los experimentos, esta diferencia fue enorme para los idiomas que no son el inglés. Para el modelo más pequeño (Qwen3-1.7B), el OPD² mejoró la puntuación de matemáticas en coreano de 40.9 a 51.9, y la de japonés de 37.2 a 52.0. El OPD original ayudó, pero el OPD² elevó esos números aún más. Para el modelo más grande y capaz (Qwen3-8B), las mejoras fueron igual de fuertes, con el coreano saltando de 57.0 a 64.4 y el japonés de 57.1 a 65.0.

El artículo argumenta explícitamente que esto no se trata solo de copiar el estilo del maestro. Al utilizar la "señal delta" (la brecha entre el maestro y su propio modelo base), el OPD² transfirió con éxito las capacidades de razonamiento al estudiante, en lugar de simplemente imitar la salida general del maestro. Esto sugiere que el método es robusto y funciona bien independientemente del idioma o del tamaño del modelo.

Cerrando la Brecha Lingüística

Uno de los mayores objetivos de esta investigación fue ver si estos métodos de entrenamiento podían estrechar la brecha de rendimiento entre el inglés y otros idiomas. A menudo, los modelos de IA son mucho mejores en inglés que en coreano o japonés. El artículo encontró que el OPD² multilingüe generalmente ayudó a estrechar esta brecha.

En un análisis detallado de la "brecha de precisión inglés-coreano", los investigadores observaron que, si bien el modelo base favorecía al inglés por un margen amplio (a veces por más de 13 puntos en ciertas pruebas), el entrenamiento con OPD redujo esta disparidad. Por ejemplo, en el benchmark Global-MGSM, la brecha se redujo de 13.4 puntos a 8.6 puntos con el OPD estándar, y bajó aún más a 9.3 puntos con el OPD². En el benchmark HRM8K, la brecha cayó de 12.1 a 9.2 puntos.

El artículo sugiere que esto sucede porque el entrenamiento multilingüe beneficia más a los idiomas que no son el inglés que al propio inglés, elevando efectivamente a los de menor rendimiento sin arrastrar a los más fuertes. Sin embargo, los autores advierten cuidadosamente que este efecto no fue perfectamente uniforme en cada una de las pruebas; en algunos benchmarks específicos como M-MMLU, la brecha de hecho se amplió ligeramente. Por lo tanto, aunque la tendencia es positiva, no es una varita mágica que arregla cada métrica instantáneamente.

La Sorpresa del "Solo Inglés" y la Trampa del Idioma

Quizás el hallazgo más sorprendente del artículo es lo que sucedió cuando entrenaron los modelos utilizando solo datos en inglés. Uno podría pensar que si solo le enseñas a un estudiante matemáticas en inglés, fallará en las matemáticas en coreano. Pero el artículo encontró que el OPD² basado solo en inglés mejoró significamente las puntuaciones de coreano y japonés.

En el modo de no-pensamiento (non-thinking mode), el entrenamiento solo en inglés aumentó el promedio de coreano de 40.9 a 52.6 y el de japonés de 37.2 a 53.4. Estas cifras fueron casi tan buenas como las puntuaciones del entrenamiento multilingüe (que fueron 51.9 para coreano y 52.0 para japonés). Esto sugiere que la lógica del razonamiento matemático es tan universal que puede aprenderse en inglés y luego aplicarse a problemas en coreano o japonés, incluso si el modelo no vio ni un solo problema matemático en coreano durante el entrenamiento.

Sin embargo, hay un gran inconveniente. El artículo descarta explícitamente la idea de que esto signifique que el modelo ha dominado realmente el idioma. Cuando los investigadores verificaron qué idioma hablaba realmente el modelo en sus respuestas, los resultados fueron contundentes.

Entrenamiento Multilingüe: Cuando fue entrenado con idiomas mixtos, el modelo respondió en coreano el 90.5% de las veces (en modo de no-pensamiento) y en japonés el 90.9% de las veces.
Entrenamiento Solo en Inglés: Cuando fue entrenado solo en inglés, las respuestas en "coreano" del modelo cayeron al 48.3% (lo que significa que respondió en inglés la mitad de las veces), y sus respuestas en "japonés" se desplomaron al 29.6%.

Incluso en el "modo de pensamiento" (donde el modelo realiza un paso de razonamiento oculto antes de responder), la tendencia se mantuvo. El modelo entrenado solo en inglés resolvía la matemática correctamente, pero a menudo escribía la respuesta final en inglés, ignorando el hecho de que la pregunta se hacía en coreano o japonés. El artículo concluye que, si bien el entrenamiento solo en inglés puede transferir la capacidad de razonar, falla en preservar el hábito de responder en el idioma objetivo. Para lograr que el modelo hable el idioma que deseas, debes alimentarlo con datos en ese idioma.

Resumen de Hallazgos

El artículo demuestra que OPD² es un método superior para enseñar razonamiento matemático a la IA a través de los idiomas, superando consistentemente al OPD original. Logra estrechar la brecha de rendimiento entre el inglés y los idiomas como el coreano y el japonés, sugiriendo que el post-entrenamiento multilingüe es un camino viable hacia una IA más equilibrada. Sin embargo, el estudio también traza una línea clara entre la "capacidad de razonamiento" y la "generación de lenguaje". Si bien las habilidades de razonamiento pueden aprenderse en un idioma y aplicarse a otro, el modelo tenderá naturalmente hacia el inglés a menos que sea entrenado explícitamente con datos en el idioma objetivo. Los autores sugieren que la investigación futura debería centrarse en evaluar tanto la precisión de la respuesta como el idioma de la respuesta para comprender verdaderamente las capacidades de la IA multilingüe.

Resumen Técnico: Destilación Delta On-Policy para el Razonamiento Matemático Multilingüe

Planteamiento del Problema

Aunque la Destilación On-Policy (OPD) ha surgido como una alternativa prometedora y eficiente al Aprendizaje por Refuerzo (RL) para el post-entrenamiento de Modelos de Lenguaje de Gran Escala (LLM), su eficacia en entornos multilingües sigue siendo poco explorada. La investigación existente se ha centrado principalmente en benchmarks de razonamiento en inglés. Además, el desempeño específico de la OPD y su variante avanzada, la Destilación Delta On-Policy (OPD2), en lenguas de Asia Oriental (específicamente coreano y japonés) está mayormente sin investigar. Existe una necesidad crítica de comprender si estos métodos de destilación pueden transferir eficazmente las capacidades de razonamiento entre idiomas y si pueden mitigar las disparidades de rendimiento que se observan frecuentemente entre las tareas de razonamiento en inglés y en otros idiomas.

Metodología

El estudio evalúa la OPD y la OPD2 utilizando la familia de modelos Qwen3 (1.7B, 8B y 30B-A3B) para tareas de razonamiento matemático en inglés, coreano y japonés.

Mecanismos Centrales

Destilación On-Policy (OPD): A diferencia del RL, que utiliza recompensas a nivel de secuencia, la OPD emplea supervisión a nivel de token. Un modelo estudiante ( $\pi_\theta$ ) genera una respuesta, la cual es introducida en un modelo profesor ( $\pi^*$ ) para obtener las probabilidades a nivel de token. El estudiante es entrenado para minimizar la divergencia KL entre su distribución de salida y la del profesor, utilizando efectivamente la preferencia del profesor como una señal de recompensa.
Destilación Delta On-Policy (OPD2): Esta variante mejora a la OPD alterando la señal de aprendizaje. En lugar de comparar al estudiante con el profesor, la OPD2 calcula el "delta" entre el profesor ( $\pi^*$ ) y el modelo base correspondiente del profesor ( $\pi^*_{base}$ ). La recompensa se define como la brecha de log-probabilidad: $\log \pi^*(y_t | \dots) - \log \pi^*_{base}(y_t | \dots)$ . Esto aísla las capacidades adquiridas durante el post-entrenamiento (razonamiento) de las preferencias generales o patrones estilísticos inherentes al modelo base. La OPD2 también incorpora el centrado de recompensa y un criterio de condicionamiento para resolver problemas de convergencia.

Configuración Experimental

Datasets: Se construyó un conjunto de entrenamiento multilingüe de 100K problemas (proporción 1:1:1 de inglés, coreano y japonés) a partir de Nemotron-SFT-Multilingual-v2 y Nemotron-Math-v2. También se creó un conjunto de entrenamiento exclusivo de inglés de 100K problemas.
Modelos: Qwen3-1.7B y Qwen3-8B sirvieron como estudiantes; Qwen3-30B-A3B-2507 actuó como profesor.
Evaluación: Los modelos fueron probados tanto en modo de "pensamiento" (Cadena de Pensamiento o CoT) como en modo "no-pensamiento" en benchmarks que incluyen PolyMath, Global-MGSM, HRM8K y MAWPS.
Métricas: El desempeño se midió mediante la precisión en los benchmarks y la "tasa de respuesta en el idioma objetivo" (el porcentaje de salidas generadas en el idioma de la pregunta de entrada).

Contribuciones Clave y Resultados

1. Superioridad de la OPD2 en Entornos Multilingües

El estudio demuestra que la OPD2 supera consistentemente a la OPD original en todos los idiomas y tamaños de modelo.

Ganancias de Desempeño: Para Qwen3-1.7B, la OPD2 mejoró los puntajes promedio de 55.1 a 63.6 (inglés), 40.9 a 51.9 (coreano) y 37.2 a 52.0 (japonés). Se observaron tendencias similares para el modelo 8B.
Mejoras Específicas por Idioma: Las ganancias proporcionadas por la OPD2 sobre la OPD fueron particularmente pronunciadas en coreano y japonés. Para Qwen3-1.7B, la OPD2 superó a la OPD por 3.1 y 4.0 puntos en coreano y japonés, respectivamente, comparado con una ganancia de 2.1 puntos en inglés. Esto sugiere que la señal delta es altamente efectiva para transferir capacidades de razonamiento a idiomas distintos del inglés.

2. Reducción de la Brecha Lingüística

El entrenamiento multilingüe con OPD2 generalmente reduce la disparidad de desempeño entre el razonamiento en inglés y en coreano.

Reducción de la Brecha: En benchmarks como Global-MGSM y HRM8K, la brecha de precisión entre el inglés y el coreano disminuyó significativamente tras el entrenamiento con OPD2. Por ejemplo, la brecha en Global-MGSM cayó de 13.4 puntos (base) a 9.3 puntos (OPD2).
Consistencia: La OPD2 redujo la brecha inglés-coreano en seis de los siete benchmarks reportados, lo que indica que el post-entrenamiento multilingüe suele beneficiar más al razonamiento en idiomas distintos al inglés que al razonamiento en inglés, reduciendo así las disparidades translingüísticas sin sacrificar el desempeño en inglés.

3. Transferencia Translingüística vs. Generación en el Idioma Objetivo

Un hallazgo crítico concierne a la distinción entre la transferencia de la capacidad de razonamiento y la preservación del idioma.

Transferencia Solo en Inglés: Sorprendentemente, entrenar exclusivamente con datos en inglés (OPD2 solo en inglés) mejoró la precisión en los benchmarks de coreano y japonés a niveles comparables con el entrenamiento multilingüe. Esto indica que las capacidades de razonamiento aprendidas mediante la supervisión en inglés pueden generalizarse a entradas en otros idiomas.
Cambio de Idioma: Sin embargo, el entrenamiento solo en inglés provoca un cambio significativo en el idioma de respuesta. Mientras que la OPD2 multilingüe mantuvo altas tasas de respuesta en el idioma objetivo (ej., ~90% para coreano/japonés en modo no-pensamiento), la OPD2 solo en inglés causó que estas tasas cayeran drásticamente (ej., el coreano cayó a 48.3%, el japonés a 29.6% en modo no-pensamiento).
Implicación: Los modelos entrenados con datos solo en inglés pueden resolver problemas presentados en coreano o japonés, pero frecuentemente generan el proceso de razonamiento y las respuestas en inglés. Por lo tanto, los datos multilingües son esenciales no para la transferencia de la lógica de razonamiento, sino para preservar la generación en el idioma objetivo de dicha lógica.

Significancia

Este artículo establece que la Destilación Delta On-Policy (OPD2) es un método robusto para mejorar el razonamiento matemático multilingüe. Confirma que la señal delta, diseñada para aislar las capacidades de razonamiento del post-entrenamiento, es efectiva a través de diferentes idiomas y escalas de modelos.

El estudio destaca una distinción matizada en el post-entrenamiento multilingüe: si bien las capacidades de razonamiento pueden transferirse del inglés a otros idiomas incluso sin exposición directa a esos idiomas en los datos de entrenamiento, la preservación del idioma objetivo en la salida requiere un entrenamiento multilingüe explícito. En consecuencia, los autores argumentan que evaluar los modelos multilingües requiere mirar más allá de la precisión en los benchmarks para incluir métricas de idioma de respuesta, asegurando que las capacidades de razonamiento adquiridas se expresen en el idioma deseado. Estos hallazgos proporcionan una base para extender la OPD a idiomas más allá del inglés y refinar las estrategias de post-entrenamiento para el despliegue global.