💬 NLP

AdaMame: A Training Recipe for Adaptive Multilingual Reasoning

El artículo presenta AdaMame, una receta de entrenamiento de dos etapas que combina el ajuste fino supervisado con un nuevo algoritmo GRPO adaptativo (AdaMame-GRPO) para permitir que los Grandes Modelos de Razonamiento razonen en el idioma de la consulta sin sacrificar la precisión o la eficiencia de tokens, superando así el fenómeno del colapso lingüístico.

Autores originales: Dayeon Ki, Kevin Duh, Marine Carpuat

Publicado 2026-06-16

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dayeon Ki, Kevin Duh, Marine Carpuat

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a una estudiante brillante y multilingüe llamada Ada. Ada es increíblemente inteligente resolviendo problemas matemáticos, pero tiene un mal hábito: sin importar en qué idioma le hagas una pregunta (francés, telugu o tailandés), ella insiste en pensar y responder en inglés.

Este es un problema conocido como "colapso de lenguaje". Incluso si le preguntas "¿Cuántos huevos hay en una docena?" en francés, Ada podría pensar: "Bien, déjame calcular en inglés... 12 huevos", y luego simplemente traducir la respuesta. Ella no realmente piensa en el idioma en el que le preguntaste.

Los intentos existentes para solucionar esto son como un profesor estricto que dice: "¡Si no hablas francés, sacas un cero!". Esto la obliga a hablar francés, pero a menudo la pone nerviosa. Podría empezar a tartamudear (cambiando entre francés e inglés a mitad de una frase), dar respuestas incorrectas porque está demasiado concentrada en la regla del idioma, o hablar durante demasiado tiempo solo para demostrar que lo está intentando.

AdaMame es una nueva y más inteligente receta de entrenamiento diseñada para solucionar el mal hábito de Ada sin ponerla nerviosa o lenta. Así es como funciona, desglosado en pasos sencillos:

La Receta de Entrenamiento de Dos Etapas

Los autores entrenaron a Ada usando un proceso de dos pasos, como un entrenador preparando a un atleta para los Juegos Olímpicos.

Etapa 1: El "Campamento de Inmersión" (SFT)
Primero, la pusieron en un campamento donde solo interactúa con hablantes nativos de cinco idiomas diferentes (francés, portugués, japonés, coreano y tailandés).

Lo que hicieron: Le mostraron miles de problemas matemáticos donde el proceso de pensamiento (los "pensamientos") ya estaba escrito perfectamente en el idioma local.
El Resultado: Ada aprendió que es posible resolver problemas matemáticos en estos idiomas. Dejó de recurrir por defecto al inglés inmediatamente. Sin embargo, todavía era un poco inestable cuando se enfrentaba a idiomas en los que no había practicado (como el suajili o el bengalí).

Etapa 2: El "Entrenador Inteligente" (AdaMame-GRPO)
Esta es la parte mágica. En la segunda etapa, utilizaron un método de entrenamiento especial llamado AdaMame-GRPO.

El Problema con los Entrenadores Antiguos: Los métodos anteriores le daban a Ada una recompensa solo si acertaba la respuesta y hablaba el idioma correcto. Esto era como un interruptor de "todo o nada". Si acertaba la respuesta pero hablaba en inglés, no recibía ninguna recompensa. Esto la hacía tener miedo a experimentar.
La Solución de AdaMame: El nuevo entrenador utiliza una estrategia de crecimiento gradual.
- Al principio del entrenamiento: El entrenador es permisivo. "¡Oye, solo intenta resolver el problema! No importa si piensas en inglés o en francés ahora mismo, solo resuelve bien la matemática". Esto le permite a Ada explorar y encontrar la mejor manera de resolver el problema.
- Más adelante en el entrenamiento: A medida que el entrenamiento progresa, el entrenador aumenta gradualmente el volumen de la regla del idioma. "Bien, ya eres buena en matemáticas. Ahora, debes pensar en el idioma que el usuario pidió".
- La Analogía: Imagina enseñar a un niño a montar en bicicleta. Al principio, dejas que se tambalee y se caiga (explorar). Una vez que está estable, la guías suavemente para que se mantenga en el carril bici (alineación con el idioma de la consulta). No gritas "¡Mantente en el carril!" en el primer segundo, o se estrellará.

Por qué esto es importante

El artículo probó este nuevo método contra métodos anteriores y encontró tres grandes victorias:

No más "Cambio de Código": Ada dejó el molesto hábito de cambiar de idioma a mitad de una frase (por ejemplo, empezar un pensamiento en francés y terminarlo en inglés). Ahora se mantiene constante.
No más "Sobrepensar": Los métodos antiguos hacían que Ada hablara mucho tiempo solo para demostrar que lo estaba intentando. AdaMame la hizo eficiente. Utiliza menos palabras (tokens) para obtener el mismo resultado.
El "Efecto Subestimado": La mayor mejora ocurrió con los idiomas de bajos recursos (idiomas con menos datos disponibles, como el telugu o el suajili). Mientras que otros métodos tenían dificultades con estos, AdaMame ayudó a Ada a desempeñarse sorprendentemente bien, haciendo que esta tecnología sea más justa para todos, no solo para los hablantes de los idiomas principales.

La Conclusión

El artículo afirma que AdaMame crea un modelo que es:

Preciso: Resuelve la matemática correctamente.
Fiel: Piensa en el idioma que le pediste.
Eficiente: No pierde tiempo ni palabras.

Logra lo que los autores llaman "rendimiento óptimo de Pareto", que es una forma elegante de decir: "Obtuvimos el mejor equilibrio posible de estos tres objetivos sin sacrificar uno por el otro". Es como conseguir un coche que es rápido, seguro y eficiente en el consumo de combustible, mientras que los modelos anteriores solían ser rápidos pero inseguros, o seguros pero lentos.

Los autores han publicado sus datos y código para que otros puedan usar esta "receta de entrenamiento" para construir una IA multilingüe mejor, específicamente para el razonamiento matemático, sin necesidad de depender del inglés como el idioma de pensamiento por defecto.

Resumen Técnico: AdaMame – Una receta de entrenamiento para el razonamiento multilingüe adaptativo

Declaración del Problema

Los Grandes Modelos de Razonamiento (LRMs) exhiben un fuerte rendimiento en inglés, pero frecuentemente fallan al razonar en el idioma de la consulta del usuario, un fenómeno denominado colapso lingüístico. En lugar de generar trazas de razonamiento (Cadenas de Pensamiento) en el idioma de la consulta, los modelos recurren por defecto al inglés o participan en cambios de código (code-switching) a mitad de la traza.

Los intentos existentes para rectificar esto mediante Aprendizaje por Refuerzo (RL) suelen añadir una recompensa de fidelidad lingüística binaria al objetivo de precisión utilizando una relación de ponderación ajustada manualmente. Sin embargo, el artículo identifica tres limitaciones persistentes en estos enfoques:

Compromisos de Precisión: Mejorar la fidelidad lingüística suele conllevar un costo en la precisión del razonamiento.
Cambio de Código (Code-Switching): Los modelos alternan frecuentemente entre idiomas dentro de una sola traza de razonamiento.
Sobrepensamiento (Overthinking): Los modelos consumen tokens excesivos sin ganancias proporcionales en la corrección.
Además, muchos métodos previos requieren trazas de razonamiento de referencia en inglés para la supervisión y dependen de regímenes de ponderación fijos, lo que limita su escalabilidad y robustez.

Metodología: AdaMame

Los autores proponen AdaMame, una receta de entrenamiento de dos etapas diseñada para alinear adaptativamente el lenguaje de razonamiento con el idioma de la consulta, optimizando simultáneamente la precisión y la eficiencia de los tokens.

Etapa 1: Ajuste Fino Supervisado (SFT)

Objetivo: Establecer una capacidad de razonamiento multilingüe fundacional y sensibilidad a patrones específicos de cada idioma.
Datos: Un conjunto de datos de 30K trazas de razonamiento que ocurren naturalmente en cinco idiomas (francés, portugués, japonés, coreano y tailandés). Crucialmente, estas trazas no son traducidas mecánicamente desde el inglés, sino que son generadas y verificadas para ser fluidas en el idioma objetivo.
Técnica: El modelo se ajusta mediante Adaptación de Bajo Rango (LoRA) para prevenir el olvido catastrófico y mejorar la eficiencia. Los prompts fomentan explícitamente el razonamiento en el idioma de la consulta.

Etapa 2: Aprendizaje por Refuerzo (AdaMame-GRPO)

Objetivo: Generalizar las capacidades de razonamiento a idiomas fuera de dominio y forzar la alineación lingüística sin sacrificar la precisión.
Innovación Principal: Una adaptación de la Optimización de Política Relativa de Grupo (GRPO) llamada AdaMame-GRPO.
Mecanismo: En lugar de un peso de recompensa fijo, el método introduce un factor de alineación condicionado por la consulta ( $\alpha_i(t)$ $α_{i} (t)$ ) que crece progresivamente durante el entrenamiento.
- Fase de Exploración: Al principio del entrenamiento, el factor de alineación es débil, permitiendo al modelo explorar diversos idiomas de razonamiento para maximizar la precisión.
- Fase de Explotación: A medida que el entrenamiento progresa, el factor aumenta, amplificando las recompensas para las ejecuciones (rollouts) donde el idioma de razonamiento coincide con el idioma de la consulta.
- Formulación Matemática: La recompensa se escala como $r'(q, o_i, g) = \alpha_i(t) \cdot r(q, o_i, g)$ , donde $\alpha_i(t)$ sigue un esquema de crecimiento de coseno de 0.1 a 1.0.
Ventaja: Este enfoque no requiere trazas de referencia en inglés y evita el ajuste manual de los pesos de recompensa, utilizando en su lugar una estrategia de currículo de "explorar-luego-explotar".

Contribuciones Clave

Receta AdaMame: Un marco de post-entrenamiento de dos etapas (SFT + RL) que alinea adaptativamente el lenguaje de razonamiento con la consulta, resolviendo el compromiso entre precisión y fidelidad lingüística.
Liberación de Dataset: Un nuevo conjunto de datos de 30K trazas de razonamiento de alta calidad que ocurren naturalmente en cinco idiomas, apoyando la investigación del razonamiento multilingüe sin depender de datos traducidos mecánicamente del inglés.
Algoritmo AdaMame-GRPO: Una novedosa variante de RL que logra un rendimiento Pareto-óptimo en precisión de razonamiento, fidelidad lingüística y eficiencia de tokens.

Resultados Experimentales

El método fue evaluado en dos benchmarks (MGSM-Rev2 y MSVAMP) utilizando dos modelos base (DISTILL-QWEN 1.5B y QWEN3 4B) a través de 12 idiomas (5 en el dominio, 7 fuera del dominio).

Optimidad de Pareto: AdaMame-GRPO logró el mejor equilibrio de precisión, fidelidad lingüística (medida por la Tasa de Paso de Confusión Lingüística, LCPR) y eficiencia de tokens (Cómputo en Tiempo de Prueba, TTC) en comparación con todos los baselines, incluyendo Vanilla, Prompt, SFT, GRPO estándar y M-Thinker.
Generalización Fuera de Dominio: Mientras que el SFT mejoró el rendimiento en el dominio, generalizó pobremente a idiomas fuera de dominio. La etapa de RL mejoró significativamente la generalización, particularmente para idiomas de bajos recursos (por ejemplo, bengalí, suajili, telugu), donde AdaMame-GRPO mostró las mayores ganancias sobre los baselines.
Eficiencia de Tokens: A diferencia de los métodos que inducen "sobrepensamiento", AdaMame-GRPO resultó en el menor consumo de tokens entre todas las variantes probadas.
Efecto de Currículo: El análisis confirmó la dinámica de "explorar-luego-explotar": los modelos generaron inicialmente diversos idiomas antes de converger progresivamente en el idioma de la consulta a medida que el factor de alineación crecía.

Significado y Reivindicaciones

El artículo afirma que AdaMame aborda las limitaciones centrales de los enfoques actuales de razonamiento multilingüe al eliminar la necesidad de trazas de referencia en inglés y de pesos de recompensa fijos. Al implementar un currículo adaptativo, el método mitiga con éxito el colapso lingüístico y el cambio de código, manteniendo o mejorando la precisión del razonamiento.

Los autores posicionan este trabajo como un paso hacia un razonamiento multilingüe más equitativo, demostrando que es posible lograr un alto rendimiento no solo para idiomas de altos recursos, sino también para entornos de bajos recursos y fuera de dominio. Argumentan que ir más allá de los diseños de recompensa centrados en el inglés es esencial para entrenar modelos que sirvan a la diversidad total de los idiomas de los usuarios.

Limitaciones Reconocidas:

Los experimentos están limitados por el presupuesto computacional, lo que restringe el alcance a tamaños de modelos específicos y tareas de razonamiento matemático.
El método depende del detector de idiomas LINGUA, que puede tener problemas de fiabilidad con trazas con mucho cambio de código o idiomas de muy bajos recursos.
Los corpus de entrenamiento dependen de trazas generadas por GPT-5 NANO, lo que podría heredar sus sesgos lingüísticos específicos.