💬 NLP

ML2B: Benchmarking LLMs on Cross-Lingual ML Pipeline Generation

Este artículo presenta ML2B, el primer benchmark para evaluar la generación de pipelines de aprendizaje automático multilingüe por parte de modelos de lenguaje de gran tamaño, el cual utiliza 490 pares de tarea-lenguaje a través de 14 idiomas para revelar que la degradación del rendimiento depende altamente de la tarea en lugar de seguir las jerarquías tradicionales de recursos.

Autores originales: Ekaterina Trofimova, Zosia Shamina, Maria Selifanova, Artem Zaitsev, Remi Savchuk, Maxim Minets, Daria Ozerova, Emil Sataev, Denis Zuenko, Andrey E. Ustyuzhanin

Publicado 2026-07-30

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ekaterina Trofimova, Zosia Shamina, Maria Selifanova, Artem Zaitsev, Remi Savchuk, Maxim Minets, Daria Ozerova, Emil Sataev, Denis Zuenko, Andrey E. Ustyuzhanin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo en el que puedes pedirle a un robot súper inteligente que construya un modelo de aprendizaje automático para ti, simplemente escribiendo una petición sencilla como: "Predice qué clientes comprarán nuestros nuevos zapatos". Durante mucho tiempo, estos robots —llamados Modelos de Lenguaje Extensos (LLM)— han sido increíblemente talentosos en esto, pero solo si les hablas en inglés. Es como tener un chef brillante que puede cocinar una comida de cinco estrellas si le das la receta en inglés, pero si le entregas una receta en francés, español o japonés, podría quedarse mirando los ingredientes y quemar la cocina.

Este es el problema que los investigadores están abordando: a medida que la IA se extiende por todo el globo, necesitamos saber si estos chefs digitales realmente pueden seguir instrucciones en cualquier idioma, no solo en aquel con el que fueron entrenados principalmente. Pero hay un truco. Si simplemente les pedimos que resuelvan acertijos que ya están en internet, los robots podrían haber memorizado las respuestas de sus datos de entrenamiento, haciéndoles parecer más inteligentes de lo que realmente son. Es como darle a un estudiante un examen de matemáticas cuyas respuestas ya ha visto; saca una A, pero no sabemos si realmente entiende el álgebra. Para obtener una imagen real, necesitamos una prueba que sea fresca, justa y hablada en muchas lenguas diferentes.

Presentamos ML2B, un nuevo "examen" creado por un equipo de investigadores para probar qué tan bien estos robots de IA pueden construir canales completos de aprendizaje automático cuando las instrucciones están en 14 idiomas diferentes. Piensa en ML2B como una enorme competencia de cocina multilingüe. En lugar de solo pedirles a los robots que escriban una sola línea de código, los investigadores les dieron 35 desafíos del mundo real —como predecir precios de viviendas, identificar razas de perros o detectar comentarios tóxicos— y tradujeron las instrucciones a idiomas que van desde el árabe y el chino hasta el kazajo y el ucraniano.

Para asegurar que los robots no pudieran hacer trampa memorizando respuestas, el equipo incluyó 10 competencias "secretas" donde las soluciones nunca se hicieron públicas. También construyeron una cocina digital especial y aislada (un contenedor aislado de la red) donde los robots tenían que cocinar su código. Si el robot intentaba meter de contrabando un plato pre-elaborado de internet o usaba una receta que mezclaba los ingredientes antes de cocinar (un problema llamado "fuga de datos"), el sistema los atraparía. Los robots tenían que seguir reglas estrictas, como separar la fase de "entrenamiento" de la fase de "predicción", tal como un chef real no probaría el plato final antes de que esté completamente cocinado.

Cuando los investigadores ejecutaron las pruebas con modelos de IA de primer nivel, encontraron algo sorprendente que desafía lo que mucha gente asumía. Esperaban que los robots tuvieran más dificultades con los idiomas de "bajos recursos" (idiomas con menos datos digitales disponibles) y funcionaran mejor con los de "altos recursos" como el inglés o el francés. Pero los resultados mostraron que el idioma en sí no era el jefe principal. En cambio, la dificultad dependía enteramente de qué se le estaba pidiendo al robot. A veces, un robot lo hacía mejor en un idioma de "bajos recursos" que en inglés, y otras veces fallaba estrepitosamente en uno de "altos recursos".

El estudio sugiere que el verdadero cuello de botella no es solo conocer las palabras; es seguir las instrucciones complejas y paso a paso para construir un modelo de aprendizaje automático. Los investigadores descubrieron que los robots a menudo fallaban no porque no entendieran el idioma, sino porque arruinaban la estructura del código —como olvidar cerrar un paréntesis o usar una herramienta que no existía en la versión del software que estaban utilizando. Un modelo, GPT-4.1-mini, era excelente generando ideas de alta calidad, pero a menudo fallaba al completar el trabajo correctamente, mientras que otro, GPT-OSS-120b, era más confiable siguiendo las reglas pero a veces producía resultados más simples.

En última instancia, ML2B revela que no podemos asumir que una IA es buena en todo solo porque habla muchos idiomas. La capacidad de construir herramientas complejas depende fuertemente de la tarea específica en cuestión, no solo del idioma utilizado para pedirla. Al abrir este nuevo estándar al público, los autores esperan ayudar a los desarrolladores a construir robots que no solo sean multilingües, sino también verdaderamente robustos y confiables, sin importar en qué idioma se les pida hablar o qué problema se les pida resolver.

Resumen Técnico: ML2B - Evaluación de LLMs en la Generación de Pipelines de ML Multilingües

Declaración del Problema

Los benchmarks actuales para la generación de código mediante Grandes Modelos de Lenguaje (LLM), como MLE-Bench y DA-Code, están limitados a descripciones de tareas en inglés. Sin embargo, la investigación en aprendizaje automático es global, lo que requiere que los modelos interpreten descripciones de problemas en diversos idiomas mientras generan código ejecutable. Los benchmarks existentes no logran medir la robustez cross-lingual en la generación de pipelines de ML de extremo a extremo. Además, muchos benchmarks sufren de fuga de datos (data leakage), donde los datos de prueba o las soluciones presentes en el benchmark también se encuentran en los corpora de entrenamiento de los LLM, lo que infla las métricas de rendimiento. Existe una falta crítica de evaluación sistemática para la generación de pipelines de ML más allá del inglés, particularmente en lo que respecta a cómo la disponibilidad de recursos (lenguas de altos vs. bajos recursos) se correlaciona con el rendimiento del modelo en tareas de ingeniería complejas y de múltiples pasos.

Metodología

Los autores presentan ML2B, un benchmark diseñado para evaluar a los LLM en la generación de pipelines de ML completos a partir de descripciones de lenguaje natural multilingües. La metodología abarca cuatro pilares clave:

Construcción del Dataset:
- Alcance: El benchmark consta de 35 competiciones de Kaggle que abarcan los dominios tabular, de texto e imagen.
- Idiomas: Las descripciones de las tareas, los dominios y las fichas de datos (data cards) fueron traducidas a 14 idiomas (árabe, bielorruso, chino, francés, italiano, japonés, kazajo, polaco, rumano, ruso, español, turco, ucraniano), produciendo 490 pares tarea-idioma.
- Calidad de la Traducción: Las traducciones fueron realizadas utilizando GPT-4o y validadas por investigadores nativos con experiencia en ML. La calidad se verificó mediante puntuaciones BLEU de retrotraducción (media >0.35) y acuerdo entre anotadores (Gwet's AC1 >0.80 para la preservación del significado).
- Competiciones Privadas: Para mitigar la fuga de datos, 10 de las 35 competiciones son "privadas", lo que significa que no tienen código de solución disponible públicamente, discusiones en foros o indexabilidad significativa en la web, reduciendo la probabilidad de inclusión en los datos de entrenamiento de los LLM.
Infraestructura de Evaluación:
- Ejecución Aislada: La evaluación ocurre en contenedores Docker aislados de la red. El tiempo de ejecución del agente tiene acceso a internet para la generación de código, pero el contenedor de calificación está restringido mediante un proxy directo a recursos esenciales de ML (HuggingFace, PyTorch, S3), bloqueando el acceso a Kaggle y GitHub para evitar la recuperación de soluciones en tiempo de ejecución.
- Formatos de Envío: A diferencia de las entregas estándar de Kaggle (un solo archivo), ML2B utiliza dos formatos:
  - MONO_PREDICT: Una única función que devuelve predicciones.
  - MODULAR_PREDICT: Un formato modular que separa las funciones train, prepare_val y predict. Esta estructura está diseñada para reducir la fuga de preprocesamiento (por ejemplo, normalizar los datos de prueba utilizando estadísticas del conjunto de prueba).
- Detección Estática de Fuga: Se emplea una herramienta de análisis estático para detectar posibles fugas de datos en el código enviado, señalando instancias donde los datos de entrenamiento y de predicción se procesan conjuntamente.
Métricas y Baselines:
- Baselines: Se establecen dos baselines para cada competición: un baseline manual asistido por LLM (usando Gemini 3 Pro para desarrollo iterativo) y un baseline algorítmico utilizando AutoGluon.
- Medición del Rendimiento: Los autores utilizan una razón de rendimiento ( $r_p$ ) que compara las tasas de error de los modelos con el baseline. Emplean la métrica de Área Bajo el Perfil (AUP), específicamente una variante ponderada ( $AUP_{-1/\ln \tau}$ ), para enfatizar la región donde los modelos alcanzan o superan ligeramente al baseline, distinguiendo a los ejecutores consistentes de aquellos con éxitos ocasionales.
Configuración Experimental:
- Modelos: Los experimentos se realizaron con GPT-4.1-mini, GPT-OSS-120b y Gemini-2.5-Flash.
- Frameworks: Los modelos fueron probados utilizando el framework AIDE y un framework ReAct modificado (para GPT-OSS-120b).
- Hardware: Las ejecuciones se llevaron a cabo en hardware de consumo (64GB de RAM, una sola GPU RTX 2080 Ti) para reflejar entornos de investigación típicos.

Contribuciones Clave

Primer Benchmark de Pipelines de ML Multilingüe: ML2B es el primer benchmark que evalúa la generación de pipelines de ML de extremo a extremo en 14 idiomas, yendo más allá de la limitación de solo inglés de trabajos anteriores.
Diseño Resistente a la Fuga: La inclusión de 10 competiciones privadas y el uso de calificación aislada de la red reducen significamente el riesgo de contaminación de datos de entrenamiento y la recuperación de soluciones en tiempo de ejecución.
Protocolo de Evaluación Modular: La introducción del formato MODULAR_PREDICT y el análisis de fuga estática proporciona un método más riguroso para evaluar la calidad del código y prevenir la fuga de preprocesamiento en comparación con los formatos de envío de un solo archivo.
Análisis Exhaustivo de Fallos: El estudio proporciona una taxonomía detallada de los modos de fallo, incluyendo errores de ejecución, violaciones de restricciones e inconsistencias de preprocesamiento.

Resultados

Los experimentos con modelos de frontera revelan varios hallazgos críticos:

Degradación Dependiente de la Tarea: La degradación del rendimiento cross-lingual es altamente dependiente de la tarea y no sigue estrictamente las jerarquías tradicionales de disponibilidad de recursos. Aunque algunos idiomas muestran brechas, otros funcionan de manera comparable o incluso mejor que el inglés en tareas específicas. La variabilidad dentro de los grupos de recursos suele ser mayor que la variabilidad entre ellos.
Predictores de Varianza: Las características de la tarea, específicamente el número de características ( $\rho=+0.50$ ) y la terminología específica del dominio ( $\rho=+0.44$ ), son predictores más fuertes de la varianza cross-lingual que la identidad del idioma o el nivel de recursos.
Compromiso entre Calidad y Robustez: Ningún modelo único domina tanto en calidad como en fiabilidad. GPT-4.1-mini logró el AUP promedio más alto (0.768) pero la tasa de paso más baja (61%), lo que indica una fuerte capacidad de clasificación pero dificultad con la generación de soluciones exactas. Por el contrario, GPT-OSS-120b (AIDE) mostró una alta tasa de paso (81%) pero un AUP menor.
Cuello de Botella Primario: El modo de fallo principal se identifica como el seguimiento de instrucciones del pipeline (por ejemplo, adherirse a las firmas de las funciones, evitar variables globales) más que la comprensión del lenguaje. Los modelos suelen fallar en el seguimiento de restricciones estructurales incluso cuando comprenden la tarea.
Prompts Estructurados: El uso de prompts estructurados en ML2B resultó en un mejor rendimiento y estabilidad en comparación con los formatos ofuscados utilizados en otros benchmarks (por ejemplo, MLE-Bench), confirmando que las descripciones claras de las tareas ayudan a la comprensión sin permitir atajos de memorización.

Significación y Reivindicaciones

El artículo sostiene que ML2B desafía las suposiciones convencionales sobre las capacidades multilingües de los modelos. Los hallazgos sugieren que la suposición de que la disponibilidad de recursos determina por sí sola el rendimiento multilingüe de un modelo es insuficiente; en su lugar, las características específicas de la tarea de ML (complejidad, terminología, patrones de datos) juegan un papel dominante.

Los autores enfatizan la necesidad de una evaluación cross-lingual sistemática para la generación de pipelines de ML para asegurar que las herramientas de IA sean robustas y fiables en contextos globales. Al proporcionar benchmarks, baselines e infraestructura de código abierto, ML2B busca facilitar la investigación reproducible sobre la robustez cross-lingual de los LLM en dominios con alta carga de ingeniería. El artículo concluye que, si bien los modelos actuales muestran promesa, la brecha entre comprender una tarea y ejecutar correctamente un pipeline de ML complejo y restringido sigue siendo un obstáculo significativo, particularmente en contextos no ingleses.