Resumen Técnico: Desenredando los Roles del Lenguaje en la Ejecución de Tareas por Modelos de Lenguaje Grandes Multilingües

1. Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) multilingües se despliegan cada vez más en flujos de trabajo donde el idioma de las instrucciones, el idioma del contenido fuente y el idioma de respuesta requerido no coinciden. Si bien las evaluaciones existentes han ampliado la cobertura lingüística y la evaluación del seguimiento de instrucciones, generalmente tratan el lenguaje como una variable monolítica o no logran aislar los roles específicos de la instrucción, el contenido y la respuesta dentro de un único diseño de evaluación. En consecuencia, cuando un modelo falla, no queda claro si el error se debe a una mala comprensión de la tarea, al procesamiento del contenido, a la realización en el idioma objetivo, al seguimiento de restricciones o a las interacciones entre estos factores. Este artículo aborda la necesidad de un marco de diagnóstico controlado para evaluar la ejecución de tareas multilingües como una interacción estructurada entre tres roles lingüísticos distintos: $(L_{instr}, L_{content}, L_{resp})$.

2. Metodología: MTM-Bench

Los autores presentan MTM-Bench (Benchmark de Desajuste de Tripletes Multilingües), un benchmark controlado diseñado para desenredar estos roles.

Construcción del Benchmark

• Diseño: El benchmark emplea un diseño totalmente cruzado utilizando inglés (EN), español (ES) y chino (ZH). Enumera todos los $3^3 = 27$ tripletes lingüísticos posibles.
• Familias de Tareas: El benchmark consta de 2.430 instancias por modelo a través de tres familias de tareas distintas, cada una dirigida a un desafío de ejecución específico:
  1. Reversión Semántica (Familia A): Tareas que requieren que el modelo identifique una postura subyacente (por ejemplo, ironía, sarcasmo) que contradice la redacción superficial.
  2. Extracción del Estado Final (Familia B): Tareas que involucran textos administrativos breves con actualizaciones, requiriendo la extracción del valor válido final (por ejemplo, una hora o contacto reprogramado) mientras se adhiere a formatos de salida estrictos.
  3. Pureza Lingüística con Realización de Actualización (Familia C): Tareas que requieren que el modelo describa una actualización de estado (por ejemplo, un cambio de habitación) en el idioma objetivo, localizando estrictamente el encuadre estructural mientras permite sustantivos propios específicos permitidos (por ejemplo, "Zoom", "Teams").
• Variables Controladas: Los elementos base se reescriben en lugar de traducirse para garantizar la estabilidad semántica en todas las 27 variantes de tríplice. Los metadatos, nombres y formatos de respuesta se mantienen fijos donde definen la tarea, mientras que el material léxico se localiza según la ranura lingüística específica.

Protocolo de Evaluación

La evaluación utiliza métricas descompuestas para separar diferentes modos de fallo:

• Correctitud Semántica (SC): Mide si la salida captura el significado objetivo (por ejemplo, polaridad correcta para la reversión, valor final correcto para la extracción).
• Correctitud Lingüística (LC): Un juicio binario sobre si la respuesta se adhiere al idioma de respuesta requerido ($L_{resp}$), tratando los numerales y los nombres propios permitidos como neutrales en cuanto al idioma.
• Correctitud de Restricciones (CC): Verifica las restricciones de salida explícitas (por ejemplo, "solo salida", "oración única").
• Ratio de Contaminación (CTR): Una medida continua de material en idiomas no objetivo en la salida.
• Éxito Conjunto (JS): La métrica agregada definida como $JS = SC \times LC \times CC$, tratando los tres requisitos como conjuntamente necesarios.

La puntuación se valida mediante una auditoría humana dirigida que cubre casos límite y salidas rutinarias, con una tasa de anulación a nivel de componente del 18,2% para casos dirigidos, lo que sugiere que el pipeline automático maneja la mayoría de los casos rutinarios de manera consistente.

3. Contribuciones Clave

1. Reencuadre de la Ejecución Multilingüe: El artículo reencuadra la ejecución de tareas multilingües como un problema de evaluación basado en tripletes, variando los idiomas de instrucción, contenido y respuesta de forma independiente en lugar de tratarlos como una única variable indiferenciada.
2. Benchmark Totalmente Cruzado: Ofrece un benchmark controlado que abarca 27 tripletes lingüísticos y tres familias de tareas, puntuado con un protocolo descompuesto que aísla la correctitud semántica, la adhesión al idioma y la satisfacción de restricciones.
3. Diagnósticos Específicos por Rol: El diseño totalmente cruzado permite comparaciones marginales que los benchmarks agregados no pueden aislar, revelando que la degradación se organiza por el rol que ocupa un idioma, no meramente por la cantidad de desajustes.

4. Resultados

Los autores evaluaron 20 LLMs de vanguardia y de peso abierto (incluidas las familias Claude, GPT, Gemini, DeepSeek, Qwen y LLaMA) en el benchmark completo.

Rendimiento General

• Éxito Conjunto: Osciló entre 0,537 y 0,840 entre los modelos (media 0,745).
• Métricas de Componente: Las métricas individuales fueron más altas (media LC: 0,905, SC: 0,893, CC: 0,880), lo que indica que satisfacer los tres requisitos simultáneamente es sustancialmente más difícil que satisfacerlos de forma aislada.
• Varianza del Modelo: La clasificación general no se redujo a ninguna métrica de componente individual; los modelos que destacaban en correctitud semántica a veces fallaban en la satisfacción de restricciones, y viceversa.

Hallazgos Clave sobre los Roles del Lenguaje

• Dominio del Idioma de Respuesta: El idioma de respuesta es el eje dominante de variación. El éxito conjunto disminuyó significativamente cuando el idioma de respuesta fue español ($\Delta = -0,108$) o chino ($\Delta = -0,113$) en comparación con el inglés. Por el contrario, las variaciones en el idioma de instrucción o contenido tuvieron efectos insignificantes ($\Delta < 0,03$).
• Conteo de Desajustes vs. Posición del Rol: El artículo desafía la hipótesis de que el conteo de desajustes es un predictor monótono de la dificultad. El desajuste "solo respuesta" (un desajuste) y el "desajuste completo" (tres desajustes) arrojaron niveles de rendimiento similares (0,694 vs. 0,705). Esto sugiere que una vez que el idioma de respuesta difiere del contexto precedente, los desajustes adicionales en la instrucción o el contenido aportan poco poder explicativo a la dificultad.
• Cuellos de Botella Específicos de la Tarea:
  • Reversión Semántica: Alta correctitud semántica pero limitada por la realización en el idioma de respuesta, particularmente para respuestas en chino.
  • Extracción del Estado Final: Alta correctitud lingüística pero fallos frecuentes en la satisfacción de restricciones (por ejemplo, violar las reglas de "solo salida").
  • Pureza Lingüística: Alta satisfacción de restricciones pero menor correctitud semántica debido a dificultades para realizar actualizaciones sin omitir o distorsionar información.

5. Significado y Afirmaciones

El artículo afirma que la evaluación multilingüe debe rastrear el rol que juega cada idioma en lugar de colapsar configuraciones distintas en una sola puntuación agregada.

• Valor Diagnóstico: El diseño totalmente cruzado revela que la degradación se organiza por el rol que ocupa un idioma. El rol de idioma de respuesta es la principal fuente de variación, mientras que los roles de instrucción y contenido juegan roles más pequeños y menos consistentes.
• Dificultad No Monótona: El hallazgo de que el conteo de desajustes no es un predictor monótono de la dificultad sugiere que la carga cognitiva o arquitectónica de la ejecución multilingüe no es simplemente aditiva. La transición de un contexto monolingüe a un idioma de respuesta desajustado constituye el principal obstáculo.
• Limitaciones: Los autores notan modestamente que estos hallazgos están controlados dentro del entorno EN/ES/ZH y familias de tareas específicas (escenarios breves, administrativos y de reversión). Los resultados deben interpretarse como una sonda de diagnóstico controlada en lugar de una afirmación universal sobre toda la ejecución de tareas multilingües o el rendimiento a nivel de dominio más amplio. El benchmark está diseñado para el diagnóstico específico por rol en lugar de estimar el rendimiento a nivel de dominio amplio.

En conclusión, MTM-Bench demuestra que la ejecución exitosa de tareas multilingües requiere más que fluidez general; requiere la capacidad específica de realizar respuestas en un idioma objetivo que puede diferir tanto de la instrucción como del contenido fuente, una capacidad con la que los modelos actuales luchan de manera desproporcionada en comparación con la comprensión o el procesamiento de los otros roles lingüísticos.