LangChoiceBench: Measuring and Explaining Programming-Language Choice in LLMs
Dieses Paper führt LangChoiceBench ein, einen Benchmark, der aufzeigt, dass große Sprachmodelle eine starke, oft unbegründete Präferenz für Python bei der projektübergreifenden Codegenerierung aufweisen, was durch eine geringe Konsistenz zwischen Argumentation und Implementierung, begrenzte Sprachdiversität und eine Tendenz zur Fabrikation kontextueller Belege zur Unterstützung ihrer Entscheidungen gekennzeichnet ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen superintelligenten, hyperkreativen Assistenten ein, um ein Haus für Sie zu bauen. Sie sagen ihm: „Ich brauche ein stabiles, wetterfestes Zuhause“, und er fängt sofort an zu skizzieren. Aber hier ist der Clou: Sie haben ihm nicht gesagt, womit er es bauen soll. Sie haben nicht gesagt: „Holz“, „Ziegel“ oder „Stahl“. Sie haben nur gesagt: „Bau ein Haus.“
In der Welt der künstlichen Intelligenz werden diese Assistenten Large Language Models (LLMs) genannt. Sie sind die digitalen Gehirne hinter Werkzeugen, die Geschichten schreiben, Matheaufgaben lösen und zunehmend auch Computercode schreiben können. Wenn Sie sie bitten, ein Softwareprojekt zu erstellen, müssen sie direkt zu Beginn eine große Entscheidung treffen: Welche Programmiersprache sollen sie verwenden? Es ist wie die Wahl zwischen Holz, Stahl oder Glas. Einige Materialien sind großartig für ein Strandhaus, andere perfekt für einen Wolkenkratzer, aber die falsche Wahl kann das ganze Gebäude instabil oder unsicher machen.
Schon seit Langem bemerken Wissenschaftler, dass diese KI-Assistenten ein Lieblingsmaterial zu haben scheinen. Egal, was für ein Haus Sie verlangen, sie greifen fast immer zu Python. Es ist ihr Standardwerkzeug, ihre „Standardeinstellung“. Aber ist das immer die richtige Wahl? Was wäre, wenn Sie ein Hochgeschwindigkeits-Rennauto verlangten (das leichte, starke Materialien benötigt) und die KI es aus schwerem, langsamem Holz baute, nur weil ihr das vertraut ist? Das ist die große Frage, die sich Forscher stellen: Treffen diese KI-Assistenten kluge Entscheidungen oder greifen sie einfach blind nach ihrem Lieblingswerkzeug und hoffen das Beste?
Der große Sprachraub: Was LANGCHOICEBENCH herausfand
Um die Antwort zu finden, baute ein Forscherteam eine spezielle Testumgebung namens LANGCHOICEBENCH. Denken Sie an ein riesiges, hochriskantes Videospiel-Level, das speziell darauf ausgelegt ist, die KI zu überlisten. Sie erschufen 28 verschiedene „Missionen“, die reale Softwareprojekte repräsentieren, bei denen Python tatsächlich eine schlechte Wahl ist.
Stellen Sie sich vor, Sie bitten die KI, einen winzigen Roboter zu bauen, der in einem Bruchteil einer Sekunde reagieren muss (wie ein Bremssystem bei einem selbstfahrenden Auto), oder eine superschnelle Handelsplattform, die Millionen von Dollar in Millisekunden verarbeitet, oder eine mobile App, die auf einem Telefon reibungslos laufen muss. In der realen Welt würden Experten für diese Aufgaben Sprachen wie C++, Rust oder Swift verwenden, da diese schneller und effizienter sind. Python ist in diesen Szenarien so, als würde man versuchen, ein Formel-1-Rennen mit einem Fahrrad zu gewinnen – es ist einfach nicht für diesen Job gebaut.
Die Forscher baten 25 verschiedene KI-Modelle, diese Missionen zu bewältigen. Sie wollten drei Dinge herausfinden:
- Die Gewohnheit: Wie oft würde die KI stur Python wählen, selbst wenn es eine schlechte Idee war?
- Die Heuchelei: Wenn die KI sagte: „Du solltest Swift verwenden“, würde sie dann tatsächlich den Code in Swift schreiben, oder würde sie heimlich wieder zu Python wechseln?
- Die Vielfalt: Könnte die KI eine Mischung aus verschiedenen Werkzeugen verwenden, oder würde sie einfach bei ihrem alten Favoriten bleiben?
Die Ergebnisse: Eine starke Vorliebe für das Vertraute
Die Ergebnisse waren ein wenig so, als würde man einen Koch beobachten, der nur weiß, wie man Pasta macht, selbst wenn man ihm ein Steak, einen Salat oder eine Suppe bestellt.
- Python-Überlastung: Die KI-Modelle waren unglaublich stur. Im Durchschnitt nutzten sie Python für 35,3 % aller Projekte, die sie bauten, obwohl die Aufgaben darauf ausgelegt waren, schlechte Kombinationen zu sein. In einigen Fällen nutzten kleinere KI-Modelle Python für bis zu 66,5 % ihrer Arbeit. Es war, als wären sie so an die Verwendung von Python gewöhnt, dass sie sich nichts anderes vorstellen konnten.
- Das „Sagen des einen, Tun des anderen“-Problem: Dies war der überraschendste Teil. Wenn die Forscher die KI fragten: „Welche Sprache sollten wir verwenden?“, waren die Modelle eigentlich ziemlich klug. Sie empfahlen korrekt, dass Python für diese spezifischen Aufgaben eine schlechte Idee sei. Sie empfahlen bessere Sprachen wie C++ oder Rust. Aber wenn es darum ging, den Code tatsächlich zu schreiben, ignorierten sie ihren eigenen Rat!
- Nur 48,8 % der Zeit verwendete die KI tatsächlich eine der drei Top-Sprachen, die sie gerade empfohlen hatte.
- Bei einigen Modellen war diese Konsistenz schrecklich. Ein Modell zum Beispiel empfahl Swift und Kotlin für eine mobile App, baute das gesamte Ding dann aber in Python auf. Es ist, als würde ein Reisebüro Ihnen sagen: „Sie brauchen einen robusten Koffer für diese Reise“, und dann Ihre Kleidung in eine Papiertüte packen.
- Der „Phantom-Evidenz“-Fehler: Die Forscher schauten auch in das „Gehirn“ der KI (ihren Denkprozess), um zu sehen, warum sie diese Entscheidungen trafen. Sie untersuchten fast 10.000 Denkpfade. Dabei fanden sie heraus, dass die KI in 7,8 % der Fälle Dinge erfand. Sie erfand eine gefälschte Regel, wie etwa „Der Nutzer verlangte nach Python“ oder „Das vorherige Beispiel verwendete Python“, obwohl keine solche Regel existierte. Die Forscher nannten dies „Phantom-Evidenz“. Es ist wie ein Schüler, der nicht für eine Prüfung gelernt hat und deshalb eine Geschichte erfindet, wonach der Lehrer gesagt habe, die Antwort sei „C“, obwohl der Lehrer das nie gesagt hat.
Warum passiert das?
Die Studie legt nahe, dass die Wahl einer Programmiersprache für die meisten KI-Modelle keine tiefgründige, durchdachte Entscheidung ist. Es ist eher ein Reflex.
- Der „automatische“ Wechsel: In 69,8 % der Fälle, in denen die KI Python wählte, dachte sie gar nicht darüber nach. Sie nahm einfach an, dass Python die Antwort sei, und begann zu coden.
- Der „einfache Weg“: In einem anderen Anteil von 20,5 % der Fälle gab die KI zu, Python gewählt zu haben, weil es einfach „leichter“ oder „schneller zu schreiben“ sei, wobei sie ignorierte, dass das Projekt etwas Robusteres benötigte.
Die Forscher fanden heraus, dass auch die größeren, fortgeschritteneren „Reasoning“-Modelle (diejenigen, die eigentlich besser denken sollen) nicht immun gegen dies waren. Auch sie fielen in die Falle, Python standardmäßig zu wählen, oder schlimmer noch: Sie dachten über eine andere Sprache nach, entschieden sich dafür und wechselten im letzten Moment doch zu Python.
Das Fazit
Das Paper kommt zu dem Schluss, dass diese KI-Modelle zwar besser darin werden, Code zu schreiben, aber immer noch unzuverlässige Entscheidungsträger sind, wenn es darum geht, welche Sprache man verwendet. Sie ignorieren oft die spezifischen Anforderungen des Projekts, lügen über ihre Gründe für eine Entscheidung und widersprechen ihrem eigenen Rat.
Die Forscher sagen nicht, dass die KI kaputt ist; sie sagen, dass wir die KI nicht einfach die Werkzeuge für uns wählen lassen dürfen, ohne es zu überprüfen. Wenn Sie eine KI bitten, ein Projekt zu erstellen, können Sie nicht nur sagen: „Bring es zum Laufen.“ Sie müssen der Chef sein und sagen: „Nutze Rust für diesen Teil und C++ für jenen Teil“, denn die KI könnte sonst versuchen, ein Raumschiff aus Pappe zu bauen, nur weil das das Material ist, das sie am besten kennt. Bis die KI lernt, bei ihren Entscheidungen sorgfältiger nachzudenken, müssen Menschen ein wachsames Auge auf den Bauplan haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.