💬 NLP

ML2B: Benchmarking LLMs on Cross-Lingual ML Pipeline Generation

Este artigo apresenta o ML2B, o primeiro benchmark para avaliar a geração de pipelines de aprendizado de máquina cross-lingual por grandes modelos de linguagem, o qual utiliza 490 pares de tarefa-idioma através de 14 idiomas para revelar que a degradação de desempenho é altamente dependente da tarefa, em vez de seguir as hierarquias tradicionais de recursos.

Autores originais: Ekaterina Trofimova, Zosia Shamina, Maria Selifanova, Artem Zaitsev, Remi Savchuk, Maxim Minets, Daria Ozerova, Emil Sataev, Denis Zuenko, Andrey E. Ustyuzhanin

Publicado 2026-07-30

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ekaterina Trofimova, Zosia Shamina, Maria Selifanova, Artem Zaitsev, Remi Savchuk, Maxim Minets, Daria Ozerova, Emil Sataev, Denis Zuenko, Andrey E. Ustyuzhanin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde você pode pedir a um robô superinteligente para construir um modelo de aprendizado de máquina para você, apenas digitando um pedido simples como: "Preveja quais clientes comprarão nossos novos sapatos". Por muito tempo, esses robôs — chamados Modelos de Linguagem de Grande Escala (LLMs) — foram incrivelmente talentosos nisso, mas apenas se você falar com eles em inglês. É como ter um chef brilhante que consegue cozinhar uma refeição cinco estrelas se você lhe der a receita em inglês, mas se você entregar a ele uma receita em francês, espanhol ou japonês, ele pode apenas ficar encarando os ingredientes e queimar a cozinha.

Este é o problema que os pesquisadores estão enfrentando: à medida que a IA se espalha pelo globo, precisamos saber se esses chefs digitais conseguem realmente seguir instruções em qualquer idioma, não apenas naquele no qual foram treinados majoritariamente. Mas há um porém. Se apenas pedirmos que eles resolvam quebra-cabeças que já estão na internet, os robôs podem ter memorizado as respostas de seus dados de treinamento, fazendo-os parecer mais inteligentes do que realmente são. É como dar a um aluno uma prova de matemática cujas respostas ele já viu; ele tira um A, mas não sabemos se ele realmente entende álgebra. Para obter uma imagem real, precisamos de um teste que seja novo, justo e falado em muitas línguas diferentes.

Apresentamos o ML2B, um novo "exame" criado por uma equipe de pesquisadores para testar o quão bem esses robôs de IA conseguem construir pipelines completos de aprendizado de máquina quando as instruções estão em 14 idiomas diferentes. Pense no ML2B como uma enorme competição culinária multilíngue. Em vez de apenas pedir aos robôs que escrevam uma única linha de código, os pesquisadores deram a eles 35 desafios do mundo real — como prever preços de casas, identificar raças de cães ou detectar comentários tóxicos — e traduziram as instruções para idiomas que variam de árabe e chinês a cazaque e ucraniano.

Para garantir que os robôs não pudessem trapacear memorizando respostas, a equipe incluiu 10 competições "secretas" cujas soluções nunca foram tornadas públicas. Eles também construíram uma cozinha digital especial e isolada (um contêiner isolado de rede) onde os robôs tinham que cozinhar seu código. Se o robô tentasse contrabandear um prato pré-pronto da internet ou usasse uma receita que misturasse os ingredientes antes de cozinhar (um problema chamado "vazamento de dados"), o sistema o pegaria. Os robôs tinham que seguir regras estritas, como separar a fase de "treinamento" da fase de "predição", exatamente como um chef real não provaria o prato final antes de ele estar totalmente cozido.

Quando os pesquisadores rodaram os testes com os principais modelos de IA, descobriram algo surpreendente que desafia o que muitos das pessoas assumiam. Eles esperavam que os robôs tivessem mais dificuldade com idiomas de "baixo recurso" (idiomas com menos dados digitais disponíveis) e tivessem melhor desempenho com idiomas de "alto recurso", como o inglês ou o francês. Mas os resultados mostraram que o idioma em si não era o principal chefe. Em vez disso, a dificuldade dependia inteiramente do que o robô estava sendo solicitado a fazer. Às vezes, um robô se saía melhor em um idioma de "baixo recurso" do que no inglês, e outras vezes ele fracassava miseravelmente em um de "alto recurso".

O estudo sugere que o verdadeiro gargalo não é apenas conhecer as palavras; é seguir as instruções complexas e passo a passo de construção de um modelo de aprendizado de máquina. Os pesquisadores descobriram que os robôs frequentemente falhavam não porque não entendiam o idioma, mas porque erravam a estrutura do código — como esquecer de fechar um parêntese ou usar uma ferramenta que não existia na versão do software que estavam utilizando. Um modelo, o GPT-4.1-mini, era ótimo em propor ideias de alta qualidade, mas frequentemente falhava em concluir o trabalho corretamente, enquanto outro, o GPT-OSS-120b, era mais confiável em seguir as regras, mas às vezes produzia resultados mais simples.

Em última análise, o ML2B revela que não podemos simplesmente assumir que uma IA é boa em tudo só porque ela fala muitos idiomas. A capacidade de construir ferramentas complexas depende fortemente da tarefa específica em questão, não apenas do idioma usado para pedir. Ao abrir este benchmark para o público, os autores esperam ajudar desenvolvedores a construir robôs que sejam não apenas multilíngues, mas também verdadeiramente robustos e confiáveis, não importa em qual idioma lhes peçam para falar ou qual problema lhes peçam para resolver.

Resumo Técnico: ML2B - Avaliando LLMs na Geração de Pipelines de ML Multilíngues

Declaração do Problema

Os benchmarks atuais para geração de código por Grandes Modelos de Linguagem (LLMs), como o MLE-Bench e o DA-Code, são limitados a descrições de tarefas em inglês. No entanto, a pesquisa em aprendizado de máquina é global, exigindo que os modelos interpretem descrições de problemas em diversas línguas enquanto geram código executável. Os benchmarks existentes falham em medir a robustez translingual na geração de pipelines de ML de ponta a ponta. Além disso, muitos benchmarks sofrem de vazamento de dados (data leakage), onde dados de teste ou soluções presentes no benchmark também são encontrados nos corpora de treinamento do LLM, levando a métricas de desempenho infladas. Há uma carência crítica de avaliação sistemática para a geração de pipelines de ML além do inglês, particularmente no que diz respeito a como a disponibilidade de recursos (línguas de alto vs. baixo recurso) se correlaciona com o desempenho do modelo em tarefas de engenharia complexas e de múltiplas etapas.

Metodologia

Os autores apresentam o ML2B, um benchmark projetado para avaliar LLMs na geração de pipelines completos de ML a partir de descrições em linguagem natural multilíngue. A metodologia abrange quatro pilares principais:

Construção do Dataset:
- Escopo: O benchmark compreende 35 competições do Kaggle abrangendo domínios tabulares, de texto e de imagem.
- Línguas: As descrições das tarefas, domínios e data cards foram traduzidos para 14 idiomas (árabe, bielorrusso, chinês, francês, italiano, japonês, cazaque, polonês, romeno, russo, espanhol, turco, ucraniano), resultando em 490 pares de tarefa-idioma.
- Qualidade da Tradução: As traduções foram realizadas utilizando o GPT-4o e validadas por pesquisadores nativos com expertise em ML. A qualidade foi verificada via pontuações BLEU de retrotradução (média > 0,35) e concordância entre anotadores (Gwet's AC1 > 0,80 para preservação de significado).
- Competições Privadas: Para mitigar o vazamento de dados, 10 das 35 competições são "privadas", o que significa que não possuem código de solução publicamente disponível, discussões em fóruns ou indexabilidade significativa na web, reduzindo a probabilidade de inclusão nos dados de treinamento de LLMs.
Infraestrutura de Avaliação:
- Execução Isolada: A avaliação ocorre em contêineres Docker isolados de rede. O tempo de execução do agente possui acesso à internet para geração de código, mas o contêiner de graduação é restrito via um forward proxy a recursos essenciais de ML (HuggingFace, PyTorch, S3), bloqueando o acesso ao Kaggle e GitHub para evitar a recuperação de soluções em tempo de execução.
- Formatos de Submissão: Ao contrário das submissões padrão do Kaggle (arquivo único), o ML2B utiliza dois formatos:
  - MONO_PREDICT: Uma única função que retorna previsões.
  - MODULAR_PREDICT: Um formato modular separando as funções train, prepare_val e predict. Esta estrutura é desenhada para reduzir o vazamento de pré-processamento (ex: normalizar dados de teste usando estatísticas do conjunto de teste).
- Detecção Estática de Vazamento: Uma ferramenta de análise estática é empregada para detectar potencial vazamento de dados no código submetido, sinalizando instâncias onde os dados de treinamento e de predição são processados juntos.
Métricas e Baselines:
- Baselines: Dois baselines são estabelecidos para cada competição: um baseline manual assistido por LLM (usando Gemini 3 Pro para desenvolvimento iterativo) e um baseline algorítmico usando AutoGluon.
- Medição de Desempenho: Os autores utilizam uma razão de desempenho ( $r_p$ ) comparando as taxas de erro dos modelos aos baselines. Eles empregam a métrica de Área Sob o Perfil (AUP), especificamente uma variante ponderada ( $AUP_{-1/\ln \tau}$ ), para enfatizar a região onde os modelos atendem ou superam ligeiramente o baseline, distinguindo performers consistentes de aqueles com sucessos ocasionais.
Configuração Experimental:
- Modelos: Experimentos foram conduzidos com GPT-4.1-mini, GPT-OSS-120b e Gemini-2.5-Flash.
- Frameworks: Os modelos foram testados usando o framework AIDE e um framework ReAct modificado (para o GPT-OSS-120b).
- Hardware: As execuções foram realizadas em hardware de nível de consumo (64GB de RAM, GPU única RTX 2080 Ti) para refletir ambientes de pesquisa típicos.

Contribuições Principais

Primeiro Benchmark Multilíngue de Pipeline de ML: O ML2B é o primeiro benchmark a avaliar a geração de pipeline de ML de ponta a ponta em 14 idiomas, indo além da limitação exclusiva do inglês de trabalhos anteriores.
Design Resistente a Vazamento: A inclusção de 10 competições privadas e o uso de graduação isolada de rede reduzem significativamente o risco de contaminação de dados de treinamento e recuperação de soluções em tempo de execução.
Protocolo de Avaliação Modular: A introdução do formato MODULAR_PREDICT e da análise de vazamento estático fornece um método mais rigoroso para avaliar a qualidade do código e prevenir o vazamento de pré-processamento em comparação com formatos de submissão de arquivo único.
Análise Abrangente de Falhas: O estudo fornece uma taxonomia detalhada de modos de falha, incluindo erros de execução, violações de restrições e inconsistências de pré-processamento.

Resultados

Experimentos com modelos de fronteira revelam várias descobertas críticas:

Degradação Dependente da Tarefa: A degradação do desempenho translingual é altamente dependente da tarefa, em vez de seguir estritamente as hierarquias tradicionais de disponibilidade de recursos. Embora alguns idiomas mostrem lacunas, outros performam de forma comparável ou até melhor que o inglês em tarefas específicas. A variabilidade dentro dos grupos de recursos frequentemente excede a variabilidade entre eles.
Preditores de Variância: As características da tarefa, especificamente o número de atributos ( $\rho=+0,50$ ) e a terminologia específica do domínio ( $\rho=+0,44$ ), são preditores mais fortes da variância translingual do que a identidade do idioma ou o nível de recurso.
Trade-off Qualidade vs. Robustez: Nenhum modelo domina tanto em qualidade quanto em confiabilidade. O GPT-4.1-mini alcançou o maior AUP médio (0,768), mas a menor taxa de aprovação (61%), indicando forte capacidade de ranking, mas dificuldade com a geração de soluções exatas. Por outro lado, o GPT-OSS-120b (AIDE) mostrou uma alta taxa de aprovação (81%), mas um AUP inferior.
Gargalo Primário: O principal modo de falha identificado é o seguimento de instruções do pipeline (ex: aderir às assinaturas de funções, evitar variáveis globais) em vez da compreensão da língua. Os modelos falham em seguir restrições estruturais mesmo quando entendem a tarefa.
Prompts Estruturados: O uso de prompts estruturados no ML2B resultou em melhor desempenho e estabilidade comparado a formatos ofuscados usados em outros benchmarks (ex: MLE-Bench), confirmando que descrições de tarefas claras auxiliam a compreensão sem permitir atalhos de memorização.

Significância e Alegações

O artigo alega que o ML2B desafia suposições convencionais sobre as capacidades de modelos multilíngues. As descobertas sugerem que a suposição de que a disponibilidade de recursos sozinha determina o desempenho de modelos multilíngues é insuficiente; em vez disso, as características específicas da tarefa de ML (complexidade, terminologia, padrões de dados) desempenham um papel dominante.

Os autores enfatizam a necessidade de uma avaliação translingual sistemática para a geração de pipelines de ML para garantir que ferramentas de IA sejam robustas e confiáveis em contextos globais. Ao fornecer benchmarks, baselines e infraestrutura de código aberto, o ML2B visa facilitar a pesquisa reprodutível sobre a robustez translingual de LLMs em domínios intensivos em engenharia. O artigo conclui que, embora os modelos atuais mostrem promessa, o hiato entre entender uma tarefa e executar corretamente um pipeline de ML complexo e restrito permanece um obstáculo significativo, particularmente em contextos não ingleses.