From LLMs to Agents in Programming: The Impact of Providing an LLM with a Compiler
Diese Arbeit zeigt auf, dass die Ausstattung von Large Language Models mit einem Compiler sie in effektive iterative Agenten verwandelt, die den Erfolg der Code-Kompilierung signifikant verbessern und Syntaxfehler über verschiedene Modellgrößen hinweg reduzieren, was darauf hindeutet, dass der Zugriff auf Entwicklungswerkzeuge die Leistung steigern kann, während er potenziell den Bedarf an massiven, energieintensiven Modellen verringert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen sehr talentierten, aber unerfahrenen Lehrlingskoch ein, der auf Basis eines schriftlichen Rezepts eine Mahlzeit zubereiten soll.
Das Problem: Der „Einmal-Versuch“-Koch
In der Vergangenheit war es, wenn man ein Large Language Model (eine KI) bat, Computer-Code zu schreiben, so, als würde man diesen Lehrlingskoch bitten, das Gericht in einem einzigen Versuch zuzubereiten. Er würde sich das Rezept ansehen, die Zutaten erraten und das Gericht servieren. Wenn er ein Gewürz vergaß, die falsche Pfanne benutzte oder den Toast anbrennen ließ, würden Sie es erst merken, wenn Sie probieren wollten. Wenn das Gericht ungenießbar war (der Code nicht funktionierte), hatte der Koch keine Möglichkeit, es zu korrigieren, da die Küche bereits geschlossen war. Er musste einfach hoffen, dass er es beim ersten Mal richtig machte.
Die Lösung: Der „selbstkorrigierende“ Koch mit einem Geschmackstester
Dieses Paper stellt die Frage: Was passiert, wenn wir diesem Lehrlingskoch einen Geschmackstester (einen Compiler) geben, der ihm sofort sagen kann: „Hey, du hast das Salz vergessen“ oder „Du hast den Kuchen in den Ofen geschoben, bevor der Teig gemischt wurde“?
Die Forscher führten ein Experiment durch, bei dem sie 16 verschiedenen KI-„Köchen“ (von winzigen, energieeffizienten bis hin zu massiven, hochkomplexen Modellen) eine Liste von 699 Koch-Herausforderungen (Programmieraufgaben in der Sprache C) gaben.
- Die Baseline-Gruppe: Diese Köche mussten das Gericht kochen und sofort servieren. Keine zweite Chance.
- Die Agent-Gruppe: Diesen Köchen wurde erlaubt zu kochen, eine Kritik vom Geschmackstester (dem Compiler) zu erhalten, den Fehler zu beheben und es erneut zu versuchen. Sie konnten dies bis zu fünfmal tun, bis das Gericht perfekt war.
Die köstlichen Ergebnisse
Die Erfolgsquote schoss in die Höhe:
Den Köchen einen Geschmackstester zu geben, machte einen riesigen Unterschied. Die Anzahl der erfolgreichen Gerichte stieg um anywhere von 5 % bis zu fast 8 %, abhängig vom jeweiligen Koch.- Die Überraschung: Die größten Gewinner waren nicht unbedingt die größten, teuersten Köche. Ein mittelgroßer Koch namens Qwen 3 (mit 4 Milliarden „Gehirnzellen“) verbesserte sich von einem der schlechtesten Köche (nur 18 % Erfolg) zu einem der besten (97 % Erfolg), nur indem er einen Compiler zur Hilfe hatte. Er übertraf in einigen Fällen sogar die gigantischen 70-Milliarden-Parameter-Köche.
Der Geschmack änderte sich nicht (Das Essen blieb dasselbe):
Man könnte befürchten, dass ein Koch, wenn er ein Gericht immer wieder korrigiert, das Rezept komplett ändern könnte. Aber die Forscher überprüften das „Geschmacksprofil“ (die Bedeutung und Logik des Codes). Sie fanden heraus, dass die Köche das Rezept nicht änderten; sie korrigierten lediglich die Fehler. Das fertige Gericht war immer noch exakt das, was der Kunde bestellt hatte, nur ohne die verbrannten Kanten oder fehlenden Zutaten.Welche Arten von Fehlern wurden behoben?
Der Geschmackstester war unglaublich gut darin, spezifische, klare Fehler zu erkennen:- Syntaxfehler: Wie das Vergessen eines Kommas oder Semikolons. Der Compiler sagte: „Du hast hier einen Punkt vergessen“, und der Koch korrigierte es. Diese Fehler sanken um 75 %.
- Fehlende Zutaten: Wie der Aufruf einer Funktion, die nicht existiert. Der Compiler sagte: „Du hast nach ‚Magischem Staub‘ gefragt, aber wir haben keinen davon“, und der Koch korrigierte es. Diese Fehler sanken um 87 %.
Dennoch hatten die Köche weiterhin Schwierigkeiten, wenn der Fehler verwirrend war, wie zum Beispiel, wenn der Koch das Rezept in einer anderen Sprache schrieb (Python statt C) oder wenn die Ausgabe nur ein Textabsatz ohne Code war. Das Feedback des Compilers zu diesen Fehlern war manchmal zu vage, damit der Koch es verstehen konnte.
Das Wichtigste in Kürze
Die Hauptlektion dieses Papers ist, dass man nicht immer einen riesigen, teuren, energiehungrigen Supercomputer braucht, um guten Code zu schreiben. Wenn man einer kleineren, günstigeren KI ein Werkzeug gibt, um ihre Arbeit zu prüfen (einen Compiler), und ihr erlaubt, aus ihren Fehlern zu lernen, kann sie genauso effektiv sein wie die Giganten.
Es ist, als würde man erkennen, dass ein kluger Lehrling mit einem guten Lehrer oft besser ist als ein Genie, dem es nie erlaubt wird, seine Arbeit zu überprüfen. Dieser Ansatz spart Energie und Rechenleistung, während er dennoch die Aufgabe korrekt erledigt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.