💬 NLP

When the API Speaks the Wrong Language: Revisiting Post-Training for Multilingual Tool Use

Este artículo investiga el problema del "Desajuste del Lenguaje de los Argumentos" en los LLM multilingües para la llamada a API y demuestra que el ajuste fino supervisado sirve como una base sólida para garantizar la consistencia del lenguaje de los argumentos, mientras que el aprendizaje por refuerzo ofrece solo mejoras incrementales principalmente en la generalización y en los equilibrios de objetivos múltiples.

Autores originales: Siddharth Chauhan, Thomas Butler, Abhishek Singhania, Pankaj Porwal, Honey Gupta

Publicado 2026-08-13

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Siddharth Chauhan, Thomas Butler, Abhishek Singhania, Pankaj Porwal, Honey Gupta

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot superinteligente a ser un asistente personal. Este robot, conocido como un Modelo de Lenguaje Extenso (LLM), es increíblemente bueno charlando, escribiendo historias y respondiendo preguntas en muchos idiomas diferentes. Pero hay un detalle: para ser verdaderamente útil, el robot necesita hacer más que solo hablar; necesita hablar con otros programas informáticos para lograr tareas. Piensa en estos programas como una vasta biblioteca de herramientas, como una calculadora, una aplicación del clima o un sistema de reserva de vuelos. Para usarlas, el robot tiene que hablar un lenguaje muy específico y rígido llamado "llamada a la API". Es como pedir una pizza: puedes decir "Quiero una pizza" en cualquier idioma que quieras, pero la cocina solo entiende un formato de ticket específico con ingredientes y tamaños exactos.

El gran problema que este artículo aborda es qué sucede cuando el robot acierta el pedido pero arruina el ticket. Si un hablante de español le pide al robot que reserve un vuelo, el robot podría elegir correctamente la herramienta "reservar vuelo", pero luego completar el destino con la palabra en inglés "Paris" en lugar de la palabra en español "París". Para un humano, esto parece un error pequeño e inofensivo. Pero para el programa informático que espera el pedido, es un desastre. El sistema se bloquea o rechaza la solicitud porque está esperando palabras en español. El artículo llama a este fallo "Desajuste de Lenguaje de Argumentos" (ALM, por sus siglas en inglés). Es un error frustrante donde el robot entiende qué quieres, pero falla al hablar el idioma de la herramienta que intentas usar. Los investigadores querían descubrir la mejor manera de entrenar a estos robots para que dejen de cometer este error específico, especialmente cuando están lidiando con muchos idiomas diferentes a la vez.

Los autores de este artículo decidieron jugar a ser detectives con dos métodos de entrenamiento diferentes para ver cuál de los dos corrige mejor este fallo de lenguaje. El primer método es como un profesor estricto que muestra al robot miles de ejemplos perfectos de cómo rellenar los tickets. Esto se llama Ajuste Fino Supervisado (SFT). El segundo método es más parecido a un videojuego: el robot intenta rellenar el ticket, recibe una puntuación basada en qué tan bien lo hizo y aprende de sus errores mediante el ensayo y error. Esto se llama Aprendizaje por Refuerzo (RL). Los investigadores construyeron un banco de pruebas especial utilizando un conjunto de datos de llamadas a herramientas traducidas a cinco idiomas (español, francés, italiano, neerlandés e inglés) para ver qué tan bien podían aprender los robots.

Aquí está el giro sorprendente que encontraron: el método del "profesor estricto" (SFT) fue en realidad la superestrella. Cuando simplemente le mostraron al robot ejemplos de llamadas a herramientas de español a español correctas, esto solucionó la gran mayoría de los errores de desajuste de lenguaje. De hecho, para muchas tareas, el simple método del profesor funcionó tan bien como, o a veces incluso mejor que, el complejo método del videojuego. El artículo sugiere que el robot no necesitaba "pensar" su camino hacia una solución; solo necesitaba ver suficientes ejemplos para aprender el patrón de que "si el usuario habla español, el ticket de la herramienta debe estar en español".

Sin embargo, el método del videojuego (específicamente una versión llamada GRPO) tenía algunos trucos especiales bajo la manga. Aunque no siempre superaba al método del profesor en la tarea básica, era mejor en dos cosas: manejar herramientas que el robot nunca había visto antes y mantener afiladas sus habilidades generales de razonamiento. Los investigadores descubrieron que el método del videojuego era como un estudiante más flexible que podía adaptarse a nuevas situaciones sin olvidar cómo resolver problemas matemáticos. También descubrieron que la "puntuación" que el robot recibía en el videojuego importaba mucho. Si la puntuación solo decía "Buen trabajo" o "Mal trabajo", el robot no aprendía mucho. Pero si la puntuación daba una retroalimentación detallada sobre qué palabra específica estaba mal, el robot aprendía mucho más rápido.

Al final, el artículo concluye que no siempre necesitamos los métodos de entrenamiento más complicados y costosos para solucionar estos fallos de lenguaje. Un conjunto de entrenamiento cuidadoso y bien diseñado con un profesor simple puede resolver la mayor parte del problema. El elegante entrenamiento de videojuego es útil para pulir las habilidades del robot y hacerlo más robusto en situaciones complicadas, pero no es la solución mágica que podríamos haber pensado. La idea clave es que, para hacer que los robots hablen el idioma correcto con sus herramientas, a veces la forma tradicional de mostrarles los ejemplos correctos es la herramienta más poderosa en la caja.

Resumen Técnico: Cuando la API habla el idioma equivocado

Definición del Problema: Desajuste de Idioma de los Argumentos (ALM)

Los Grandes Modelos de Lenguaje (LLMs) interactúan cada vez más con sistemas externos mediante llamadas a API estructuradas. Si bien los avances recientes han mejorado las capacidades de uso de herramientas en inglés, la fiabilidad disminuye significamente en entornos multilingües. Un modo de fallo específico e insuficientemente explorado identificado en este trabajo es el Desajuste de Idioma de los Argumentos (Argument Language Mismatch - ALM).

El ALM ocurre cuando un modelo identifica correctamente la intención del usuario y selecciona la herramienta de API apropiada, pero genera valores de argumentos en un idioma inconsistente con la entrada del usuario o los requisitos del sistema. Por ejemplo, un usuario que pregunta en español podría recibir una llamada de API con argumentos en inglés. Aunque son semánticamente correctos, estos resultados son operativamente inválidos en sistemas que aplican restricciones lingüísticas estrictas, lo que conduce al fallo de la tarea. Las métricas estándar de llamada a API (por ejemplo, la coincidencia de AST) suelen tratar estos casos como errores de invocación genéricos, ocultando la causa específica del fallo.

Metodología

Construcción del Benchmark

Para estudiar el ALM, los autores construyeron una extensión multilingüe del benchmark Berkeley Function Calling (BFC).

Idiomas: El conjunto de datos cubre español (entrenamiento y evaluación), italiano, neerlandés y francés (solo evaluación).
Protocolo de Traducción: Se diseñó un protocolo de traducción basado en reglas para asegurar la coherencia entre las expresiones del usuario traducidas y los valores de los argumentos resultantes. Los identificadores canónicos y los formatos impuestos por la API permanecieron sin cambios, mientras que los argumentos de lenguaje natural proporcionados por el usuario fueron traducidos.
Divisiones de Evaluación: Se crearon dos divisiones para probar diferentes capacidades:
- Split-1 (Aprendibilidad): Solapamiento moderado de API entre los conjuntos de entrenamiento y de prueba.
- Split-2 (Generalización): Solapamiento mínimo de API, probando la transferencia a APIs y estructuras de argumentos no vistas anteriormente.

Métricas de Evaluación

Los autores proponen un marco de evaluación jerárquico para aislar el ALM de otros errores:

Detección de Invocación de Herramientas (TID): Determinar correctamente si se necesita una llamada a la API.
Precisión de Selección de Herramienta (TSA): Seleccionar la función de la API correcta.
Precisión de Completado de Argumentos (ACA): Generar todos los nombres de argumentos requeridos.
Consistencia de Idioma de Argumentos (ALC): Asegurar que los valores de texto de los argumentos coincidan con el idioma del usuario.
Coincidencia de Llamada de Función (FCM): Coincidencia exacta o semántica de la llamada a la API completa.
Estas métricas forman una jerarquía estricta ( $FCM \le ALC \le ACA \le TSA \le TID$ ), permitiendo el aislamiento de los fallos específicos de lenguaje.

Estrategias de Post-Entrenamiento

El estudio compara tres enfoques de post-entrenamiento:

Fine-Tuning Supervisado (SFT): Un enfoque de base que maximiza la verosimilitud de las salidas estructuradas de la verdad de terreno (ground-truth).
Aprendizaje por Refuerzo (RL): Específicamente Optimización de Política Próxima (PPO) y Optimización de Política Relativa de Grupo (GRPO).
- Diseño de Recompensa: Los autores diseñaron tres modelos de recompensa (RM) para probar el impacto de la granularidad de la recompensa:
  - RM-1 (Dispersa): Recompensas binarias para la ejecución perfecta frente al fallo.
  - RM-2 (Jerárquica): Recompensas intermedias basadas en la profundidad alcanzada en la jerarquía de evaluación.
  - RM-3 (Factorizada por Argumentos): Recompensas continuas a nivel de argumento que asignan puntuaciones específicas a los valores de los argumentos individuales según la calidad de la coincidencia de idioma.
- Ponderación de Tokens: Una investigación sobre el aumento de peso de los tokens de valor de argumento durante la optimización para centrar la señal de aprendizaje.
Arranque en Caliente (Warm-Start): El entrenamiento de RL se inició a partir de un modelo que pasó por un episodio de SFT para asegurar la generación de candidatos estructuralmente correctos.

Resultados Clave

1. SFT como una Base Sólida

El Fine-Tuning Supervisado por sí solo resuelve una gran fracción de los errores de ALM.

El SFT mejora sustancialmente tanto la Consistencia de Idioma de Argumentos (ALC) como la Coincidencia de Llamada de Función (FCM) de extremo a extremo en comparación con los modelos base.
Bajo condiciones controladas (selección del mejor punto de control de validación), el SFT logra un rendimiento comparable a, y en algunos casos (Split-1 FCM) supera, a los enfoques más complejos basados en RL.
Esto sugiere que gran parte del rendimiento en la fundamentación de APIs multilingües puede lograrse mediante un entrenamiento supervisado cuidadoso y la selección del modelo, sin requerir objetivos de optimización complejos.

2. Ganancias Incrementales de RL

El Aprendizaje por Refuerzo proporciona beneficios adicionales, pero incrementales, sobre el SFT.

Generalización: El RL (particularmente GRPO) muestra una mayor capacidad de generalización a APIs y lenguajes no vistos en comparación con el SFT. Parece aprender una regla abstracta ("coincidir el idioma del argumento con la localización del usuario") en lugar de memorizar formas superficiales.
Preservación del Razonamiento: Un hallazgo crítico es la compensación entre el rendimiento de la tarea y el razonamiento general. El mejor modelo SFT mostró una caída significativa en su capacidad de razonamiento en inglés (benchmark MGSM), mientras que los métodos de RL (GRPO) mantuvieron el rendimiento de razonamiento mientras alcanzaban una precisión de API competitiva.
Granularidad de la Recompensa: El rendimiento mejoró de forma monótona a medida que la granularidad de la recompensa aumentó de RM-1 a RM-3. Las recompensas factorizadas por argumentos (RM-3) fueron esenciales para la asignación de crédito fina, permitiendo al modelo distinguir entre salidas parcialmente correctas y casi perfectas.

3. Dinámicas de Optimización

GRPO vs. PPO: GRPO superó consistentemente a PPO tanto en ALC como en FCM. Los autores atribuyen esto a la normalización relativa de grupo de GRPO, que estabiliza el aprendizaje cuando las recompensas son dispersas o localizadas en tokens específicos (valores de argumentos), mientras que la normalización a nivel de lote de PPO resultó sensible a recompensas de alta varianza.
Ponderación de Tokens: El aumento de peso de los tokens de valor de argumento mejoró el rendimiento de GRPO pero desestabilizó a PPO, resaltando una interacción entre el modelado de la recompensa y los algoritmos de optimización.

Significado y Reivindicaciones

El artículo reivindica tres contribuciones primarias:

Formalización de ALM: Identifica y formaliza el Desajuste de Idioma de los Argumentos como un modo de fallo distinto y prácticamente importante en sistemas de agentes multilingües que a menudo queda oculto por las métricas estándar.
Reevaluación del Post-Entrenamiento: Desafía la suposición de que son necesarios objetivos cada vez más complejos para la generación estructurada multilingüe. Los resultados demuestan que bases supervisadas sólidas (SFT) pueden lograr la mayoría de las ganancias de rendimiento, con el RL ofreciendo mejoras incrementales y dirigidas en lugar de cambios fundamentales.
RL para Compensaciones Multiobjetivo: Aunque el SFT es suficiente para muchos casos, el artículo argumenta que el RL (específicamente con recompensas conscientes de los argumentos y GRPO) es valioso para escenarios que requieren una generalización robusta y la preservación de las capacidades de razonamiento general junto con el rendimiento de la tarea.

Los autores concluyen que, para la generación estructurada multilingüe, comprender los límites del aprendizaje supervisado es crítico. No todos los problemas de alineación requieren una optimización compleja; sin embargo, cuando se requiere la generalización a estructuras no vistas o el equilibrio multiobjetivo, el aprendizaje por refuerzo estructurado sigue siendo una herramienta de refinamiento necesaria.