Large Language Models for Code Generation from Multilingual Prompts: A Curated Benchmark and a Study on Code Quality

Das große Code-Übersetzer-Experiment

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboterfreund, der alles bauen kann, vom einfachen Vogelhaus bis hin zu einem komplexen Raumschiff. Dieser Roboter, ein sogenanntes Large Language Model (oder LLM), hat fast alles gelesen, was jemals im Internet geschrieben wurde, einschließlich Millionen von Zeilen Computercode. Weil er so viel gelesen hat, ist er unglaublich gut darin, Anweisungen zu befolgen, um neuen Code für uns zu schreiben. Normalerweise sprechen wir mit diesem Roboter auf Englisch, weil das die Sprache ist, in der der Großteil des Codes, den er gelernt hat, geschrieben wurde. Aber was wäre, wenn Sie den Roboter bitten würden, ein Raumschiff mithilfe von Anweisungen auf Spanisch, Hindi oder Chinesisch zu bauen? Würde der Roboter verwirrt werden? Würde das Raumschiff auseinanderfallen? Oder würde er genau dasselbe bauen, nur mit einem anderen Akzent?

Dies ist die große Frage hinter einer neuen Studie eines Forscherteams. Sie wollten herausfinden, ob die Sprache, die wir verwenden, um mit diesen KI-Robotern zu sprechen, die Qualität des Codes verändert, den sie schreiben. In der Welt des Software-Engineerings ist „Code“ die Menge an Anweisungen, die einem Computer sagen, was er tun soll. „Korrektheit“ bedeutet, dass der Code tatsächlich funktioniert und alle Tests besteht, so wie eine Brücke, die ein Auto trägt, ohne einzustürzen. „Qualität“ ist ein etwas breiterer Begriff; er bedeutet, dass der Code leicht zu lesen ist, den Regeln der Nachbarschaft folgt (wie etwa keinen Müll auf dem Gehweg liegen zu lassen) und keine versteckten Fallen enthält, die später Probleme verursachen könnten. Die Forscher waren neugierig, ob das Bauen einer Brücke in einer anderen Sprache als Englisch dazu führen würde, dass der Roboter eine wackelige Brücke baut, oder ob der Roboter in jeder Sprache genauso gut bauen kann.

Das Experiment: Eine mehrsprachige Coding-Herausforderung

Um dies herauszufinden, richteten die Forscher einen massiven Coding-Wettbewerb ein. Sie nahmen 460 verschiedene Programmieraufgaben – 230 für Python und 230 für Java – aus einem berühmten Benchmark namens CoderEval. Dies waren keine einfachen „Print Hello“-Aufgaben; es waren reale Herausforderungen, die von der KI erforderten, Probleme zu lösen, Daten zu verarbeiten und Strukturen aufzubauen.

Dann taten sie etwas Cleveres. Anstatt die KI nur auf Englisch zu fragen, übersetzten sie diese 460 Aufgaben in vier andere Sprachen: Chinesisch, Hindi, Spanisch und Italienisch. Dabei nutzten sie jedoch keinen schnellen maschinellen Übersetzer. Sie ließen Experten in Informatik, die Muttersprachler sind, jede einzelne Übersetzung manuell prüfen und korrigieren. Sie wollten sicherstellen, dass die Anweisungen perfekt und natürlich waren, genau so, wie ein Mensch einen Freund um Hilfe bitten würde.

Danach fütterten sie diese übersetzten Anweisungen in drei der leistungsfähigsten KI-Roboter ein, die heute verfügbar sind: GPT-4o mini, DeepSeek und Claude. Sie baten jeden Roboter, dieselben 460 Probleme in allen fünf Sprachen (Englisch plus die vier anderen) zu lösen. Insgesamt generierten sie tausende Code-Stücke, um diese zu vergleichen.

Die große Überraschung: Englisch ist nicht immer König

Die Ergebnisse waren ein kleiner Schock. Die gängige Annahme war, dass man den besten Code erhält, wenn man die KI auf Englisch fragt, weil dies die Sprache ist, die die KI am meisten studiert hat. Doch die Studie fand heraus, dass dies nicht immer der Fall ist.

Tatsächlich führte die Abfrage auf Chinesisch bei Python-Aufgaben sogar zu besseren Ergebnissen als die Abfrage auf Englisch! Der aus chinesischen Prompts generierte Code bestand mehr Tests und funktionierte zuverlässiger. Es ist wie bei einem Koch, dem man ein Rezept gibt: Manchmal führt die Angabe des Rezepts in einer anderen Sprache dazu, dass der Koch einen besseren Weg findet, das Gericht zuzubereiten. Dieser „China-Vorteil“ trat jedoch nicht bei jedem Roboter oder jeder Art von Aufgabe auf. Für Java waren die Ergebnisse gemischter, und es gab keine einzelne Sprache, die eindeutig der Gewinner war. Die wichtigste Erkenntnis ist, dass die Kommunikation mit einer KI auf Englisch nicht garantiert, den besten Code zu erhalten, und dass das Sprechen einer anderen Sprache nicht automatisch bedeutet, dass der Code schlechter sein wird.

Der Code sieht anders aus, aber ist er schlechter?

Die Forscher untersuchten auch die „Qualität“ des Codes, nicht nur, ob er funktionierte. Sie prüften Dinge wie:

• Komplexität: Ist der Code ein wirres Durcheinander oder eine gerade Linie?
• Kommentare: Hat der Roboter erklärt, was er gerade tut?
• Warnungen: Hat der Code gegen Regeln verstoßen oder sah er unordentlich aus?

Sie fanden heraus, dass der in nicht-englischen Sprachen generierte Code nicht unbedingt „schlecht“ war. Er sah nur anders aus. Zum Beispiel hatte der Code, der aus chinesischen Prompts entstand, oft mehr Kommentare, als ob der Roboter besonders hilfreich sein wollte. Code aus Hindi-Prompts wies manchmal mehr Stilfehler auf, wie fehlende Interpunktion oder seltsame Abstände, aber dies waren meist kleine Probleme, die leicht zu beheben waren.

Eine interessante Entdeckung betraf Hindi. Wenn die KI angewiesen wurde, in Hindi zu coden, produzierte sie manchmal Code, der etwas riskanter war, mit mehr potenziellen Fehlern oder verwirrender Logik. Aber für Spanisch und Italienisch war der Code im Allgemeinen genauso gut wie die englische Version, manchmal sogar besser in Bezug auf das Vermeiden bestimmter Fehler.

Das „Mix-und-Match“-Problem

Hier wird es ein wenig unordentlich. Während die Logik des Codes vielleicht großartig war, waren die Wörter innerhalb des Codes oft ein verwirrender Mix. Die Forscher fanden heraus, dass die KI selbst dann, wenn man sie auf Spanisch oder Chinesisch fragte, die Kommentare (die Notizen, die den Code erklären) und die Variablennamen (die Bezeichnungen für Daten) oft auf Englisch schrieb.

Es ist, als würde man einen Koch bitten, ein Rezept auf Italienisch zu schreiben, aber er schreibt die Zutatenliste auf Englisch und die Anweisungen in einer Mischung aus beiden. Die Forscher fanden heraus, dass die KI sehr inkonsistent ist. Manchmal folgt sie deiner Sprache, manchmal nicht. Dies ist ein Problem für Entwickler-Teams, die benötigen, dass ihr Code in einer konsistenten Sprache vorliegt, damit alle ihn verstehen können. Die Studie legt nahe, dass es nicht ausreicht, die KI nur in einer bestimmten Sprache abzufragen; man muss ihr vielleicht sehr spezifisch sagen, dass sie die Notizen und Bezeichnungen in derselben Sprache beibehalten soll.

Was bedeutet das für uns?

Die Studie kommt zu dem Schluss, dass wir keine Angst haben müssen, unsere Muttersprachen zu verwenden, um mit KI-Coding-Assistenten zu kommunizieren. Sie können die KI bitten, Code auf Spanisch, Chinesisch oder Hindi zu schreiben, ohne befürchten zu müssen, dass der Roboter versagt. In einigen Fällen, wie bei Python, erhalten Sie unter Umständen sogar bessere Ergebnisse!

Es gibt jedoch zwei Dinge, auf die man achten sollte:

1. Das „Stil“-Problem: Der Code könnte bei der Erstellung in nicht-englischen Sprachen mehr kleine Formatierungsfehler aufweisen (wie fehlende Kommas oder lange Zeilen). Diese lassen sich jedoch leicht mit automatisierten Werkzeugen beheben.
2. Das „Sprachmisch“-Problem: Die KI hält die Kommentare und Bezeichnungen möglicherweise nicht in der Sprache, um die Sie gebeten haben. Wenn Sie alles in einer Sprache benötigen, müssen Sie den Code vielleicht doppelt prüfen oder der KI zusätzliche Anweisungen geben.

Insgesamt zeigt diese Forschung, dass KIs flexibler werden. Sie können Sprachen verstehen und Dinge in vielen Sprachen bauen, wodurch die Barriere fällt, die früher alle dazu zwang, Englisch zu sprechen, um guten Code zu erhalten. Aber wie jedes neue Werkzeug haben auch sie ihre Eigenheiten, und wir müssen lernen, wie wir mit ihnen arbeiten, um die besten Ergebnisse zu erzielen.