Resumen Técnico: Las acciones hablan más fuerte que las palabras

Planteamiento del Problección

Las evaluaciones multilingües actuales de agentes que utilizan herramientas se centran casi exclusivamente en la corrección de la respuesta final, descartando los rastros de acción intermedios. Este enfoque asume que si un agente produce la respuesta correcta en múltiples idiomas, su comportamiento es consistente. Sin embargo, para un agente, la "ruta" (la secuencia de llamadas a herramientas y pasos intermedios) es el producto real. Las rutas divergentes conducen a diferentes costos, latencias, modos de falla y problemas de auditabilidad. Una salvaguarda validada en un rastro en inglés puede no sostenerse para un rastro en un idioma distinto si la política de acción subyacente difiere, incluso si la salida final es idéntica.

El problema central es la falta de una métrica defendible para medir la retención de la política translingüe: el grado en que un agente ejecuta la misma secuencia de acciones para tareas semánticamente idénticas en diferentes idiomas. Las mediciones de similitud estándar no son fiables debido a cinco confusiones específicas:

1. Sin línea base: Los modelos no son perfectamente autoconstantes; un modelo al que se le hace la misma pregunta dos veces en el mismo idioma suele producir rastros diferentes. Sin una línea base en el mismo idioma, las diferencias translingües no pueden aislarse.
2. Sesgo de longitud de rastro: Los rastros más cortos puntúan artificialmente más alto en las métricas de similitud.
3. Sesgo de rastro vacío: Los rastros sin acciones puntúan perfectamente (1.0) en similitud, sesgando los resultados.
4. Efecto techo: El acuerdo máximo posible está limitado por la propia reproducibilidad (autoconstancia) del modelo.
5. Suelo de azar: Los rastros no relacionados coinciden por azar más del 50% de las veces, creando una línea base no nula para la similitud.

Metodología

Los autores proponen un protocolo para medir la Retención de Política Normalizada ($\tilde{I}$) corrigiendo explícitamente las cinco confusiones enumeradas anteriormente.

• Configuración Experimental:

  • Modelos: 8 modelos ajustados por instrucciones (incluyendo Gemma-3, Sarvam-M, Qwen3, Llama-4 y GPT-OSS) que van desde 4B hasta 235B de parámetros, cubriendo arquitecturas densas y de mezcla de expertos (MoE).
  • Tareas: 6 bancos de pruebas paralelos (FLORES-200, XQuAD, XNLI, Belebele, XCOPA y una suite sintética) renderizados en 41 idiomas.
  • Escala: 2.38 millones de ejecuciones de agentes a través de 505 celdas.
  • Andamiaje: Un andamiaje de uso de herramientas simbólico fijo (Pensamiento/Acción/Finalización) con un alfabeto de 5 herramientas compartido. Los rastros se extraen mediante regex; las herramientas son simbólicas (analizadas pero no ejecutadas).

• Protocolo de Medición:

  • Réplicas: Cada par tarea-idioma se genera dos veces bajo condiciones idénticas (mismo seed, tarea, presupuesto) para establecer una línea base en el mismo idioma ($I_{within}$).
  • Comparación Translingüe: Los rastros de diferentes idiomas se comparan ($I_{cross}$).
  • Normalización: La métrica se define como $\tilde{I} = I_{cross} / I_{within}$. Esto normaliza el acuerdo translingüe frente al propio techo de autoconstancia del modelo.
  • Correcciones:
    • Igualación de longitud en ambas direcciones para eliminar el sesgo de longitud de rastro.
    • Exclusión de rastros vacíos.
    • Medición del suelo de azar mediante permutación en lugar de suposición.
    • Corrección para el efecto techo (autoconstancia).

• Intervenciones:

  • Escalera de Temperatura: Pruebas a través de temperaturas $T \in \{0, 0.3, 0.5, 0.7, 1.0\}$ para distinguir el ruido de muestreo de la divergencia estructural.
  • Ablación del Pivote en Inglés: Eliminar la herramienta Translate o mandarla como el primer paso para probar la dependencia causal del inglés.
  • Manipulación de Longitud de Rastro: Variar artificialmente las longitudes de rastro para aislar los efectos de longitud.

Resultados Clave

1. El Efecto Crece con la Corrección

Contrario a la intuición de que corregir las confusiones podría reducir el efecto observado, cada corrección aplicada (igualación de longitud, eliminación de rastros vacíos, ajuste del suelo de azar) aumentó la divergencia medida. La brecha bruta entre idiomas era un límite inferior; la brecha corregida fue significativamente mayor.

2. Convergencia en la Frontera

Bajo decodificación codiciosa (greedy decoding, $T=0$), cuatro modelos de frontera diversos (que abarcan diferentes escalas, arquitectas y mezclas de entrenamiento) convergieron en una tasa de retención de política casi idéntica: 71–73%.

• La identidad del modelo explicó solo el 5.7% de la varianza en esta métrica normalizada.
• En contraste, a $T=0.5$ (incluyendo muestreo), la identidad del modelo explicó el 74.8% de la varianza, e invirtió completamente los rankings.
• Esto sugiere que la retención de la política translingüe es una propiedad estructural de los modelos bajo decodificación codiciosa, no un artefacto del ruido de muestreo.

3. El Límite de la Regularidad

La regularidad del 71–73% se rompe para modelos por debajo de aproximadamente 10B de parámetros.

• Los modelos más pequeños (4B, 8B) mostraron alta variabilidad.
• El orden aparente de los modelos pequeños basado en métricas brutas fue en gran medida un artefacto del "suelo de azar" (rastros más cortos en modelos pequeños llevaron a puntuaciones de similitud artificialmente altas). Una vez corregido, el ranking de los modelos pequeños se invirtió.

4. El Mecanismo del Pivote en Inglés

El estudio identifica un mecanismo causal para la divergencia: Los agentes dirigen las tareas de no-inglés a través de un pivote en inglés.

• Translate fue la herramienta más utilizada en cada benchmark para modelos que cumplen con las instrucciones.
• El texto de razonamiento era ~99% ASCII incluso para escrituras no latinas.
• Prueba Causal: Eliminar la herramienta Translate redujo el acuerdo translingüe proporcionalmente a la dependencia del modelo en ella. Mandar la traducción mejoró la retención para modelos con "margen de maniobra" (bajo uso base de traducción).
• Robustez: Instruir a los modelos para que razonen en el idioma de la tarea falló (<1% de cumplimiento), indicando que el pivote en inglés es una preferencia estructural, no un defecto estilístico que pueda ser corregido mediante prompts.

5. Patología de la Medición

El documento destaca un fallo crítico de medición: un único regex de extracción de rastros hizo que un modelo competente (GPT-OSS-120B) pareciera roto.

• El modelo respondió en prosa ("Usaremos Translate") en lugar de la sintaxis requerida, resultando en un 76.4% de rastros vacíos.
• Debido a que los rastros vacíos puntúan 1.0 en similitud, el modelo parecía tener una alta invariancia pero una precisión cercana a cero.
• Añadir dos ejemplos de pocos disparos (few-shot) restauró la capacidad de análisis (parseability), aumentando la precisión medida 26 veces sin cambiar la capacidad real del modelo, solo su legibilidad.

Significancia y Reivindicaciones

El artículo sostiene que la paridad a nivel de respuesta es compatible con una divergencia de comportamiento significativa, lo que tiene implicaciones reales para el costo, la latencia y la seguridad.

• Contribución Métrica: Los autores proporcionan un estimando corregido por el techo ($\tilde{I}$) y un protocolo que cuantifica cinco confusiones específicas, dos de las cuales se establecen causalmente.
• Perspectiva Estructural: La divergencia translingüe no es ruido aleatorio, sino una propiedad estructural donde los modelos retienen aproximadamente el 71–73% de su política de acción cuando el idioma cambia, siempre que sean lo suficientemente grandes y se decodifiquen de forma codiciosa.
• Mecanismo: La dependencia de un pivote en inglés es un factor causal de carga que los modelos resisten abandonar incluso cuando se les instruye explícitamente de lo contrario.
• Validez: El estudio demuestra que la extracción de rastros estándar basada en regex puede fabricar aparentes fallos multilingües, lo que hace necesario reportar las tasas de fallo de análisis (parse-failure rates) junto con la precisión.

El trabajo cierra la brecha entre los benchmarks de agentes (que se centran en los resultados) y la evaluación translingüe (que se centra en las predicciones finales), argumentando que la política de acción misma debe ser el objeto medido para comprender verdaderamente el comportamiento de los agentes multilingües.