GAIA-v2-LILT: Multilingual Adaptation of Agent Benchmark beyond Translation

1. Planteamiento del Problema

Los benchmarks actuales de agentes (por ejemplo, GAIA) son predominantemente centrados en inglés. Cuando estos benchmarks se adaptan a idiomas no ingleses, el flujo de trabajo estándar implica Traducción Automática (TA) seguida de una edición posterior mínima. Los autores argumentan que este "flujo de trabajo mínimo" es insuficiente para tareas agénticas (tareas que requieren razonamiento multi-paso y uso de herramientas) porque introduce tres modos de fallo críticos que comprometen la validez del benchmark:

• Desalineación Funcional: La TA a menudo falla en preservar las restricciones de la tarea. Por ejemplo, traducir un código de país del COI (por ejemplo, "CUB") como un sustantivo común ("cachorro de león") o filtrar la respuesta dentro del prompt. Esto provoca que los agentes fallen no debido a errores de razonamiento, sino a una lógica de tarea rota.
• Desalineación Cultural: Las traducciones literales a menudo retienen suposiciones de la región de origen (por ejemplo, geografía de EE. UU., unidades imperiales o leyes específicas de reciclaje) que son poco naturales o irrelevantes para la población objetivo. Esto obliga a los agentes a resolver una versión "traducida" de una tarea centrada en EE. UU. o a traducir el prompt de vuelta al inglés para resolverlo, eludiendo el verdadero razonamiento multilingüe.
• Calibración de la Dificultad: La traducción puede alterar inadvertidamente la dificultad de la tarea. Por ejemplo, si la información relevante es escasa en el idioma objetivo, la tarea se vuelve más difícil; por el contrario, si una traducción simplifica un acertijo complejo, se vuelve más fácil.

2. Metodología

Los autores proponen un flujo de trabajo de adaptación refinado que va más allá de la simple traducción para garantizar la alineación funcional, la alineación cultural y la calibración de la dificultad. Este flujo de trabajo se aplicó para crear el conjunto de datos GAIA-v2-LILT.

El Conjunto de Datos GAIA-v2-LILT

• Alcance: Una extensión del benchmark GAIA que cubre cinco idiomas no ingleses: árabe, alemán, hindi, coreano y portugués (Brasil).
• Tamaño: 165 pares consulta-respuesta por idioma (conjunto de validación).
• Fuente: Basado en la versión traducida automáticamente de GAIA del paquete MAPS.

El Flujo de Trabajo de Revisión Híbrida

Para abordar las limitaciones de la TA estándar, los autores implementaron un proceso de revisión de tres etapas diseñado para mitigar el sesgo de auto-preferencia de los LLM y el sesgo de fluidez humana:

1. Filtrado Determinista (Automatizado):
   • Scripts basados en reglas verifican defectos objetivos antes de la revisión humana o por LLM.
   • Las verificaciones incluyen: identificación del idioma, detección de filtración de respuestas (asegurando que la respuesta dorada no esté en el prompt) y recuperación de marcadores de posición (asegurando que números/URLs se preserven).
2. Jueces LLM (Evaluación Descompuesta):
   • En lugar de una puntuación holística, LLMs separados evalúan ejes específicos: fluidez, adecuación, compatibilidad consulta-respuesta y adecuación cultural.
   • Este enfoque estrecho y de eje único reduce el sesgo y rastrea el juicio humano más de cerca que el análisis global.
3. Auditoría Humana (Lingüistas Bilingües):
   • Lingüistas bilingües realizan una revisión final, entrenados para priorizar la integridad funcional sobre la mera fluidez.
   • Verifican que la tarea sea resoluble, culturalmente apropiada y mantenga el nivel de dificultad original.
   • Meta-revisión: Un segundo lingüista y un investigador de ML revisan las correcciones del lingüista para garantizar la consistencia.

3. Contribuciones Clave

• Identificación de Trampas Específicas para Agentes: El artículo categoriza fallos de traducción específicos únicos para benchmarks de agentes, distinguiendo entre "sub-traducción" (localizar términos que deben permanecer en inglés) y "sobre-traducción" (localizar términos que rompen restricciones).
• Un Flujo de Trabajo de Adaptación Riguroso: Una nueva pipeline que combina filtros deterministas, juzgamiento de LLM descompuesto y auditoría humana estructurada para garantizar la resolubilidad de la tarea y la relevancia cultural.
• Conjunto de Datos GAIA-v2-LILT: Un conjunto de datos de benchmark multilingüe de alta calidad y auditado que sirve como línea base para evaluar el rendimiento de agentes no ingleses.
• Evidencia Empírica: Demostración de que los benchmarks basados en TA estándar subestiman significativamente las capacidades de los agentes debido a errores de medición introducidos por una mala alineación.

4. Resultados Experimentales

Los autores evaluaron tres modelos de vanguardia (GPT-5.4, Gemini 3.1 Pro, Claude Opus 4.6) utilizando el marco de trabajo de agente Open Deep Research tanto en los borradores brutos de TA como en el GAIA-v2-LILT auditado por humanos.

• Ganancias de Rendimiento: Corregir los problemas de alineación resultó en mejoras masivas de rendimiento. Las tasas de éxito de los agentes aumentaron entre 10.9% y 32.7% en los cinco idiomas en comparación con las versiones brutas de TA.
• Cierre de la Brecha: La auditoría redujo la brecha de rendimiento entre los idiomas no ingleses y la línea base en inglés. En los mejores casos, la brecha se redujo a dentro de 3.1% del rendimiento en inglés. Sin embargo, en algunos casos persistieron brechas significativas (por ejemplo, el árabe mostró una brecha del 30.3%), lo que indica que, aunque la alineación ayuda, otros factores (como la escasez de datos) aún existen.
• Análisis de Ediciones:
  • La Alineación Funcional tuvo la tasa de "cambio" (flip rate) más alta (67.9%), lo que significa que corregir errores funcionales (como filtración de respuestas o violaciones de formato) cambió con mayor frecuencia el resultado de un modelo de incorrecto a correcto.
  • La Fluidez tuvo la tasa de cambio más baja (40.6%), lo que sugiere que la perfección estilística es menos crítica para el éxito del agente que la corrección funcional.
  • La Alineación Cultural y la Calibración de la Dificultad también impactaron significativamente en la corrección (tasa de cambio de aproximadamente 50%).

5. Significado y Conclusión

El artículo concluye que una parte sustancial de la "brecha de rendimiento multilingüe" en los agentes de IA es en realidad un error de medición inducido por el benchmark en lugar de una verdadera falta de capacidad del modelo.

• Implicación para la Investigación: Las futuras evaluaciones de agentes multilingües no pueden depender de la traducción automática simple. Requieren alineación a nivel de tarea para garantizar que el benchmark pruebe el razonamiento, y no la capacidad del modelo para descifrar instrucciones rotas o navegar desajustes culturales.
• Asignación de Recursos: Los autores sugieren que los esfuerzos de localización deben priorizar la fidelidad funcional y cultural sobre la fluidez estilística, ya que estos factores tienen el mayor impacto en la validez de la evaluación.
• Limitaciones: El flujo de trabajo actual no incluye pruebas automatizadas de agentes (por ejemplo, verificar si las APIs de búsqueda funcionan en la región objetivo) ni la localización de archivos adjuntos (imágenes/PDFs), los cuales quedan para trabajos futuros.

En resumen, GAIA-v2-LILT demuestra que una alineación rigurosa con intervención humana es esencial para crear benchmarks válidos, justos y precisos para agentes autónomos en idiomas no ingleses.