ML2B: Benchmarking LLMs on Cross-Lingual ML Pipeline Generation
Dieses Paper stellt ML2B vor, den ersten Benchmark zur Evaluierung der sprachenübergreifenden Generierung von Machine-Learning-Pipelines durch große Sprachmodelle, welcher 490 Aufgaben-Sprach-Paare über 14 Sprachen hinweg nutzt, um aufzuzeigen, dass die Leistungsdegradation stark aufgabenabhängig ist und nicht traditionellen Ressourcenhierarchien folgt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Sie einen superintelligenten Roboter bitten können, ein maschinelles Lernmodell für Sie zu bauen, indem Sie einfach eine einfache Anfrage wie „Sage voraus, welche Kunden unsere neuen Schuhe kaufen werden“ eintippen. Lange Zeit waren diese Roboter – sogenannte Large Language Models (LLMs) – unglaublich talentiert darin, aber nur, wenn man sie auf Englisch anspricht. Es ist, als hätte man einen brillanten Koch, der ein Fünf-Sterne-Menü kochen kann, wenn man ihm das Rezept auf Englisch gibt, aber wenn man ihm ein Rezept auf Französisch, Spanisch oder Japanisch reicht, starrt er vielleicht nur die Zutaten an und lässt die Küche abbrennen.
Dies ist das Problem, das Forscher angehen: Da sich KI weltweit verbreitet, müssen wir wissen, ob diese digitalen Köche tatsächlich in jeder Sprache Anweisungen befolgen können, nicht nur in der Sprache, in der sie hauptsächlich trainiert wurden. Aber es gibt einen Haken. Wenn wir sie einfach nur bitten, Rätsel zu lösen, die bereits im Internet stehen, könnten die Roboter die Antworten aus ihren Trainingsdaten auswendig gelernt haben, was sie klüger erscheinen lässt, als sie eigentlich sind. Es ist, als würde man einem Schüler einen Mathetest geben, dessen Lösungen er bereits gesehen hat; er bekommt eine Eins, aber wir wissen nicht, ob er wirklich Algebra versteht. Um ein wahres Bild zu erhalten, brauchen wir einen Test, der frisch, fair und in vielen verschiedenen Sprachen verfasst ist.
Hier kommt ML2B ins Spiel, ein neuer „Examen“, das ein Team von Forschern entwickelt hat, um zu testen, wie gut diese KI-Roboter in der Lage sind, vollständige Pipelines für maschinelles Lernen aufzubsuchen, wenn die Anweisungen in 14 verschiedenen Sprachen verfasst sind. Betrachten Sie ML2B als einen massiven, multilingualen Kochwettbewerb. Anstatt die Roboter nur zu bitten, eine einzelne Zeile Code zu schreiben, gaben die Forscher ihnen 35 reale Herausforderungen – wie etwa die Vorhersage von Hauspreisen, das Identifizieren von Hunderassen oder das Erkennen von toxischen Kommentaren – und übersetzten die Anweisungen in Sprachen, die von Arabisch und Chinesisch bis hin zu Kasachisch und Ukrainisch reichen.
Um sicherzustellen, dass die Roboter nicht durch das Auswendiglernen von Antworten schummeln konnten, nahm das Team 10 „geheime“ Wettbewerbe auf, deren Lösungen nie öffentlich gemacht wurden. Sie bauten auch eine spezielle, isolierte digitale Küche (einen netzwerkisolierten Container), in der die Roboter ihren Code kochen mussten. Wenn der Roboter versuchte, ein vorgefertigtes Gericht aus dem Internet einzuschmuggeln oder ein Rezept verwendete, das die Zutaten vor dem Kochen vermischte (ein Problem namens „Data Leakage“), würde das System ihn erwischen. Die Roboter mussten strengen Regeln folgen, wie zum Beispiel der Trennung der „Trainingsphase“ von der „Vorhersagephase“, genau wie ein echter Koch das fertige Gericht nicht probieren würde, bevor es vollständig gekocht ist.
Als die Forscher die Tests mit erstklassigen KI-Modellen durchführten, fanden sie etwas Überraschendes heraus, das viele Menschen herausfordert. Sie erwarteten, dass die Roboter am meisten mit „ressourcenarmen“ Sprachen (Sprachen mit weniger verfügbaren digitalen Daten) zu kämpfen hätten und in „ressourcenreichen“ Sprachen wie Englisch oder Französisch am besten abschneiden würden. Doch die Ergebnisse zeigten, dass die Sprache selbst nicht der Hauptgegner war. Stattdessen hing der Schwierigkeitsgrad vollständig davon ab, was der Roboter von ihm verlangte. Manchmal schnitt ein Roboter in einer „ressourcenarmen“ Sprache besser ab als in Englisch, und ein anderes Mal scheiterte er kläglich in einer „ressourcenreichen“ Sprache.
Die Studie legt nahe, dass der eigentliche Engpass nicht nur das Wissen um die Wörter ist, sondern das Befolgen der komplexen, schrittweisen Anweisungen beim Aufbau eines Modells für maschinelles Lernen. Die Forscher fanden heraus, dass die Roboter oft nicht deshalb scheiterten, weil sie die Sprache nicht verstanden, sondern weil sie die Struktur des Codes vermasselten – wie etwa das Vergessen einer schließenden Klammer oder die Verwendung eines Werkzeugs, das in der Version der verwendeten Software gar nicht existierte. Ein Modell, GPT-4.1-mini, war großartig darin, hochwertige Ideen zu entwickeln, scheiterte aber oft daran, die Aufgabe korrekt abzuschließen, während ein anderes, GPT-OSS-120b, zuverlässiger darin war, den Regeln zu folgen, aber manchmal einfachere Ergebnisse lieferte.
Letztendlich zeigt ML2B, dass wir nicht einfach davon ausgehen können, dass eine KI in allem gut ist, nur weil sie viele Sprachen spricht. Die Fähigkeit, komplexe Werkzeuge zu bauen, hängt stark von der spezifischen Aufgabe ab, nicht nur von der Sprache, in der man darum bittet. Durch die Veröffentlichung dieses neuen Benchmarks hoffen die Autoren, Entwicklern dabei zu helfen, Roboter zu bauen, die nicht nur multilingual, sondern auch wirklich robust und zuverlässig sind, unabhängig davon, in welcher Sprache sie gebeten werden oder welches Problem sie lösen sollen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.