🤖 AI

Think in English, Answer in Korean: Efficient Adaptation of Multilingual Tool-Using Agents

Este artículo presenta LuckyStar 111B, un modelo de razonamiento híbrido desarrollado por Cohere y LG CNS que adapta eficientemente un modelo base multilingüe post-entrenado para agentes empresariales coreano-inglés mediante estrategias específicas de ajuste fino y cuantización, mejorando significativamente las capacidades de uso de herramientas como la llamada a funciones y NL2SQL mientras mantiene la calidad de seguimiento de instrucciones generales bajo restricciones de memoria.

Autores originales: Utsav Garg, Sungjin Hong, Jason Jung, Justin Lee, Shaan Desai, Joon Hee Kim, Anirudh Shrinivason, Edmond Wen, Susie Park

Publicado 2026-07-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Utsav Garg, Sungjin Hong, Jason Jung, Justin Lee, Shaan Desai, Joon Hee Kim, Anirudh Shrinivason, Edmond Wen, Susie Park

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente brillante y multilingüe llamado LuckyStar. Este asistente es enorme (111 mil millones de "células cerebrales" o parámetros) y trabaja para grandes empresas. El desafío era que las empresas necesitaban que fuera lo suficientemente inteligente como para resolver problemas matemáticos complejos, escribir código informático y hablar con bases de datos (como SQL), pero también necesitaban que fuera rápido, barato de ejecutar y capaz de hablar tanto en coreano como en inglés con fluidez sin confundirse.

Aquí está la historia de cómo los investigadores construyeron y ajustaron a LuckyStar, explicada de forma sencilla:

1. El punto de partida: Una base inteligente

En lugar de construir un cerebro nuevo desde cero (que es como enseñarle a un bebé a leer desde cero), comenzaron con un modelo muy inteligente y ya entrenado llamado Command A. Piensa en esto como contratar a un empleado sénior que ya sabe seguir instrucciones perfectamente tanto en coreano como en inglés. Solo necesitaban enseñarle algunas habilidades laborales nuevas y específicas.

2. El truco del "interruptor": Razonamiento híbrido

La mayor innovación fue darle al asistente un interruptor mental controlado por un "preámbulo" (una instrucción corta al inicio de una conversación).

Modo A (El velocista): Si haces una pregunta sencilla como "¿Qué tiempo hace?", el interruptor le dice al modelo que sea rápido y conciso.
Modo B (El detective): Si planteas un problema matemático difícil o una consulta de base de datos compleja, el interruptor le dice al modelo que "piense en voz alta", tomando muchos pasos para resolverlo antes de dar la respuesta.
Por qué es importante: No necesitaron dos robots diferentes. Un solo robot podía hacer ambos trabajos perfectamente simplemente cambiando su "mentalidad" según el prompt.

3. El rompecabezas del lenguaje: Pensar en inglés, hablar en coreano

Durante el entrenamiento, notaron un error extraño. Cuando le hacían una pregunta al modelo en coreano, este a menudo empezaba a pensar en coreano pero luego terminaba accidentalmente la respuesta en inglés. Era como un estudiante que estudia en francés pero escribe su ensayo final en español.

Para solucionar esto, utilizaron una estrategia ingeniosa:

Le enseñaron al modelo a pensar (realizar el razonamiento complejo) en inglés, porque los datos de entrenamiento para matemáticas y lógica eran mayoritariamente en inglés.
Pero castigaron estrictamente al modelo si no hablaba la respuesta final en el idioma del usuario (coreano).
El resultado: El modelo aprendió a realizar su "trabajo de detective" interno en inglés, pero siempre entregaba el informe final en el idioma que el usuario solicitó.

4. El entrenamiento de "Herramientas": Aprendiendo a usar bases de datos

Para que el asistente fuera bueno en tareas "agénticas" (usar herramientas como bases de datos SQL), tuvieron que ser muy cuidadosos.

El problema del arranque en frío: Al principio, el modelo era pésimo escribiendo consultas de bases de datos. Era como intentar enseñarle a alguien a conducir un coche de carreras cuando nunca ha sostenido un volante.
La solución: Utilizaron un método de "probar y rechazar". Generaron miles de posibles respuestas, comprobaron cuáles funcionaban realmente (eran "verificables") y solo alimentaron de vuelta al modelo con las correctas para que aprendiera de ellas. Esto construyó una base sólida antes de comenzar el entrenamiento avanzado.

5. El problema de la "charlatanería": Aprendiendo a callarse

Después de enseñarle al modelo a ser un gran detective, se volvió un poco demasiado hablador. Daba explicaciones largas y divagantes incluso cuando solo querías un "Sí" o un "No".

La solución: Utilizaron una técnica llamada Alineación de Preferencias. Le mostraron al modelo ejemplos de "Respuestas buenas y concisas" frente a "Respuestas malas y largas" y le dijeron: "Preferimos las cortas". Esto ajustó al modelo para que fuera útil sin ser molesto.

6. El truco de hardware: Meter una ballena en una bañera

El modelo es masivo (111 mil millones de parámetros). Normalmente, necesitas una supercomputadora enorme y costosa para ejecutarlo.

El truco: Utilizaron la cuantización de 4 bits. Imagina tomar una foto de alta resolución y comprimirla tanto que el tamaño del archivo es la mitad, pero aún puedes reconocer la imagen perfectamente.
El resultado: Esto permitió que el masivo modelo de 111 mil millones de parámetros se ejecutara en una sola tarjeta gráfica estándar (una GPU H100) sin perder mucha calidad. Esto hace que sea mucho más barato y fácil para las empresas utilizarlo realmente.

Resumen de resultados

El modelo final, LuckyStar 111B, es un agente práctico y bilingüe (coreano/inglés) que:

Resuelve problemas de matemáticas y lógica mejor que el modelo base original.
Puede hablar con bases de datos y usar herramientas de manera efectiva.
Habla el idioma del usuario correctamente, incluso cuando piensa en otro.
Puede ejecutarse en un solo servidor, ahorrando dinero.

El artículo concluye que, para el uso empresarial, no siempre necesitas un modelo nuevo y perfecto desde cero. En su lugar, puedes tomar un modelo existente que sea inteligente, darle un "interruptor" para diferentes tareas, enseñarle a usar herramientas cuidadosamente y comprimirlo para que funcione eficientemente.

Resumen Técnico: Adaptación Eficiente de Agentes Multilingües con Uso de Herramientas (LuckyStar 111B)

1. Planteamiento del Problema

Los asistentes empresariales que operan en entornos multilingües enfrentan un conjunto complejo de restricciones: deben razonar sobre datos privados, ejecutar llamadas a herramientas (como SQL o recuperación de información) y adherirse a presupuestos estrictos de memoria y de servicio. Surge un desafío específico en entornos bilingües coreano-inglés donde un agente debe procesar una solicitud en coreano, razonar sobre esquemas o documentación predominantemente en inglés, ejecutar herramientas y devolver una respuesta en coreano con resultados numéricamente fundamentados.

Los enfoques existentes a menudo requieren entrenar modelos desde cero o mantener modelos separados para diferentes cargas de trabajo (por ejemplo, razonamiento frente a interacción concisa), lo cual es costoso e ineficiente. Además, la adaptación de modelos multilingües post-entrenados a flujos de trabajo agénticos verificables suele derivar en modos de falla como la deriva lingüística (prompts en coreano que resultan en respuestas en inglés) y la verbosidad tras la optimización del razonamiento. El objetivo es adaptar un modelo multilingüe de gran escala, post-entrenado, para manejar el razonamiento híbrido y el uso de herramientas de manera eficiente bajo un despliegue con restricciones de memoria (por ejemplo, servicio en una sola GPU).

2. Metodología

Los autores presentan LuckyStar 111B, un modelo bilingüe de 111 mil millones de parámetros adaptado a partir del modelo totalmente post-entrenado Command A de Cohere. En lugar de realizar un preentrenamiento desde cero, el equipo empleó un pipeline de adaptación de tres etapas para añadir capacidades de razonamiento y uso de herramientas, preservando al mismo tiempo la calidad general de seguimiento de instrucciones.

2.1 Pipeline de Adaptación Híbrida

La elección de diseño central es el razonamiento híbrido mediante condicionamiento por preámbulo. El modelo soporta dos modos de operación utilizando los mismos pesos:

Modo de Razonamiento: Activado por un preámbulo específico, el cual induce un comportamiento paso a paso para matemáticas, uso de herramientas y Natural Language to SQL (NL2SQL).
Modo de No Razonamiento: Activado por un preámbulo diferente, el cual induce respuestas concisas para interacciones estándar de usuario.

El pipeline de entrenamiento consta de:

Ajuste Fino Supervisado Híbrido (SFT): El conjunto de datos comprende aproximadamente un 80% de ejemplos de razonamiento (matemáticas, código, uso de herramientas) y un 20% de ejemplos de no razonamiento para preservar el comportamiento conciso. Para el razonamiento, el modelo es entrenado para generar pasos intermedios antes de la respuesta final.
Aprendizaje por Refuerzo con Recompensas Verificables (RLVR): Esta etapa optimiza la corrección en tareas de múltiples pasos.
- Curación de Datos: Para NL2SQL, el equipo curó 100,000 pares de prompt-consulta verificables de Spider, BIRD y SynSQL, filtrando consultas ejecutables con salidas de entre 1 y 500 tokens.
- Solución de Arranque en Frío (Cold-Start): Dado que el modelo base tenía una precisión inferior al 1% en el conjunto curado de NL2SQL, el equipo utilizó muestreo de rechazo de mejor-de-N (best-of-N rejection sampling) con modelos internos y abiertos potentes para generar trazas iniciales de alta calidad para el arranque de bootstrapping del SFT.
- Funciones de Recompensa: Se asignan recompensas binarias basadas en verificadores basados en reglas o un juez de LLM (Command A) para la corrección.
Alineación de Preferencias Offline (DPO): Para contrarrestar la verbosidad introducida por RLVR, el equipo aplicó Optimización de Preferencia Directa (DPO) con una tasa de aprendizaje baja. Esta etapa utiliza pares de preferencia donde las respuestas directas son "elegidas" y las salidas verbosas son "rechazadas", refinando el comportamiento del chatbot sin degradar las capacidades de razonamiento.

2.2 Estrategia de Razonamiento Multilingüe

Experimentos tempranos revelaron que los prompts en coreano a menudo derivaban en trazas de razonamiento y respuestas finales en inglés, a pesar de que el prompt fuera en coreano.

Intento de Traducción: Traducir las trazas de razonamiento del inglés al coreano produjo una mejora mínima, probablemente debido a la degradación de la naturalidad y de las señales de aprendizaje.
Estrategia de Lenguaje Mixto: El equipo adoptó una estrategia donde el modelo razona en inglés pero produce la respuesta final en el idioma del usuario (coreano).
Penalización de Consistencia Lingüística: Durante el RLVR, se aplica una penalización ( $r_{penalty} = 0.5$ ) si el idioma de la respuesta final no coincide con el idioma del prompt, mientras que el razonamiento intermedio permanece en inglés. Esto redujo significativamente la tasa de desajuste lingüístico del 12.2% (SFT) al 0.8% (RLVR final).

2.3 Despliegue Eficiente

Para abordar las restricciones de memoria, el modelo fue cuantizado de FP8 a pesos de 4 bits. Esto redujo la huella de memoria aproximadamente en un 50%, permitiendo que el modelo de 111 mil millones de parámetros se ejecute en una única GPU H100 de 80GB.

3. Resultados Clave

El modelo adaptado LuckyStar 111B demuestra mejoras significativas en el uso de herramientas y razonamiento, manteniendo la calidad multilingüe general.

Razonamiento y Uso de Herramientas:
- Razonamiento Matemático: Mejora en la precisión Pass@1 en AIME 2024 (69.3 vs. 10.0 para Command A) y MATH 500 (93.6 vs. 76.2).
- Llamada de Funciones (Function Calling): Mejora en BFCL v3 (73.7 vs. 13.3).
- NL2SQL Empresarial: Mejora de 7.3 a 38.0 en un benchmark interno de 150 preguntas.
- Evaluación Agéntica LG: Mejora de 2.67 a 4.85 en un benchmark de negocios/finanzas de 60 preguntas que requiere recuperación y SQL.
- El modelo cuantizado a 4 bits mantuvo un rendimiento comparable al modelo FP8 en estos benchmarks.
Calidad Multilingüe General:
- El modelo preservó fuertes capacidades de seguimiento de instrucciones. En benchmarks de coreano (KMMLU, ARC-C, IFEval, MT-Bench), alcanzó puntuaciones comparables o superiores a otros modelos propietarios fuertes (ej. GPT-4o, Claude 3.7 Sonnet) y al modelo base Command A.
- El rendimiento en inglés se mantuvo robusto, con puntuaciones en MMLU (82.7) y ARC-C (93.8) igualando o superando al modelo base.

4. Significado y Reivindicaciones

El artículo afirma proporcionar una receta práctica para adaptar modelos multilingües post-entrenados a flujos de trabajo agénticos verificables bajo un despliegue con restricciones de memoria.

Razonamiento Híbrido: El uso de condicionamiento por preámbulo permite que un solo modelo cambie entre modos concisos y de razonamiento, evitando la necesidad de modelos separados para diferentes cargas de trabajo empresariales.
Análisis de Modos de Falla: Los autores identifican y abordan tres modos de falla críticos al escalar sistemas agénticos:
1. Arranque en frío de NL2SQL: Resuelto mediante SFT de muestreo de rechazo para el bootstrapping de RL.
2. Deriva Lingüística: Resuelta mediante recompensas de consistencia lingüística durante el RLVR.
3. Verbosidad: Resuelta mediante alineación de preferencia offline (DPO).
Viabilidad de Despliegue: El trabajo demuestra que un modelo de 111 mil millones de parámetros puede desplegarse efectivamente en una sola GPU H100 mediante cuantización de 4 bits con una pérdida mínima en la calidad de los benchmarks, haciendo que las capacidades agénticas avanzadas sean accesibles en entornos empresariales con hardware limitado.
Separación de Preocupaciones: Los resultados sugieren que separar el lenguaje de razonamiento interno (inglés) del lenguaje de respuesta orientado al usuario (coreano) es una estrategia práctica, aunque imperfecta, para agentes multilingües, aunque el razonamiento en el idioma nativo sigue siendo un objetivo para trabajos futuros.

Los autores enfatizan que, si bien los benchmarks públicos proporcionan comparabilidad, las evaluaciones empresariales internas son cruciales para capturar flujos de trabajo específicos, restricciones de esquemas y requisitos de precisión numérica necesarios para el despliegue en el mundo real.