ML2B: Benchmarking LLMs on Cross-Lingual ML Pipeline Generation
Cet article présente ML2B, le premier benchmark pour évaluer la génération de pipelines d'apprentissage automatique translinguistiques par les grands modèles de langage, qui utilise 490 paires tâche-langue à travers 14 langues pour révéler que la dégradation des performances est fortement dépendante de la tâche plutôt que de suivre les hiérarchies de ressources traditionnelles.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où vous pourriez demander à un robot super intelligent de construire pour vous un modèle d'apprentissage automatique, simplement en tapant une requête simple comme : « Prédisez quels clients achèteront nos nouvelles chaussures. » Pendant longtemps, ces robots — appelés Grands Modèles de Langage (LLM) — ont été incroyablement doués pour cela, mais seulement si vous leur parliez en anglais. C'est comme avoir un chef brillant capable de cuisiner un repas cinq étoiles si vous lui donnez la recette en anglais, mais si vous lui tendez une recette en français, en espagnol ou en japonais, il pourrait simplement fixer les ingrédients et brûler la cuisine.
C'est le problème que les chercheurs tentent de résoudre : à mesure que l'IA se répand à travers le globe, nous devons savoir si ces chefs numériques sont réellement capables de suivre des instructions dans n'importe quelle langue, et pas seulement dans celle pour laquelle ils ont été principalement entraînés. Mais il y a un piège. Si nous leur demandons simplement de résoudre des énigmes qui sont déjà sur Internet, les robots pourraient avoir mémorisé les réponses de leurs données d'entraînement, ce qui les ferait paraître plus intelligents qu'ils ne le sont réellement. C'est comme donner à un élève un test de mathématiques dont il connaît déjà les réponses ; il obtient un A, mais nous ne savons pas s'il comprend réellement l'algèbre. Pour obtenir une image fidèle, nous avons besoin d'un test qui soit frais, équitable et parlé dans de nombreuses langues différentes.
Entrez en scène ML2B, un nouvel « examen » créé par une équipe de chercheurs pour tester la capacité de ces robots d'IA à construire des pipelines complets d'apprentissage automatique lorsque les instructions sont dans 14 langues différentes. Considérez ML2B comme une immense compétition culinaire multilingue. Au lieu de simplement demander aux robots d'écrire une seule ligne de code, les chercheurs leur ont donné 35 défis du monde réel — comme prédire le prix des maisons, identifier des races de chiens ou repérer des commentaires toxiques — et ont traduit les instructions dans des langues allant de l'arabe et du chinois au kazakh et à l'ukrainien.
Pour s'assurer que les robots ne puissent pas tricher en mémorisant les réponses, l'équipe a inclus 10 compétitions « secrètes » dont les solutions n'ont jamais été rendues publiques. Ils ont également construit une cuisine numérique spéciale et isolée (un conteneur isolé du réseau) où les robots devaient cuisiner leur code. Si le robot tentait d'introduire discrètement un plat déjà préparé provenant d'Internet ou utilisait une recette qui mélangeait les ingrédients avant la cuisson (un problème appelé « fuite de données »), le système le démasquerait. Les robots devaient suivre des règles strictes, comme séparer la phase d'« entraînement » de la phase de « prédiction », tout comme un vrai chef ne goûterait pas le plat final avant qu'il ne soit complètement cuit.
Lorsque les chercheurs ont soumis les meilleurs modèles d'IA aux tests, ils ont découvert quelque chose de surprenant qui remet en question ce que beaucoup de gens supposaient. Ils s'attendaient à ce que les robots aient le plus de mal avec les langues à « faibles ressources » (langues disposant de moins de données numériques disponibles) et réussissent le mieux avec les langues à « hautes ressources » comme l'anglais ou le français. Mais les résultats ont montré que la langue elle-même n'était pas le patron principal. Au lieu de cela, la difficulté dépendait entièrement de ce que le robot était chargé de faire. Parfois, un robot réussissait mieux dans une langue à « faibles ressources » qu'en anglais, et d'autres fois, il s'effondrait et échouait lamentablement dans une langue à « hautes ressources ».
L'étude suggère que le véritable goulot d'étranglement n'est pas seulement de connaître les mots ; c'est de suivre les instructions complexes, étape par étape, pour construire un modèle d'apprentissage automatique. Les chercheurs ont constaté que les robots échouaient souvent non pas parce qu'ils ne comprenaient pas la langue, mais parce qu'ils faisaient des erreurs dans la structure du code — comme oublier de fermer une parenthèse ou utiliser un outil qui n'existait pas dans la version du logiciel qu'ils utilisaient. Un modèle, GPT-4.1-mini, était excellent pour proposer des idées de haute qualité mais échouait souvent à terminer le travail correctement, tandis qu'un autre, GPT-OSS-120b, était plus fiable pour suivre les règles mais produisait parfois des résultats plus simples.
En fin de compte, ML2B révèle que nous ne pouvons pas simplement supposer qu'une IA est bonne en tout parce qu'elle parle plusieurs langues. La capacité de construire des outils complexes dépend fortement de la tâche spécifique à accomplir, et non de la langue utilisée pour la demander. En ouvrant ce nouveau benchmark au public, les auteurs espèrent aider les développeurs à construire des robots qui soient non seulement multilingues, mais aussi véritablement robustes et fiables, peu importe la langue à laquelle on leur parle ou le problème auquel ils sont confrontés.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.