Are Large Language Models Robust in Understanding Code Against Semantics-Preserving Mutations?

Dieser Beitrag bewertet die Robustheit modernster Large Language Models beim Verständnis von Code durch die Anwendung semantikerhaltender Mutationen und zeigt, dass diese Modelle trotz hoher Vorhersagegenauigkeit häufig auf fehlerhaftes Schlussfolgern zurückgreifen und bei syntaktischen Variationen erhebliche Instabilität aufweisen.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr fortschrittlichen Roboterassistenten, der Computercode lesen und Ihnen sagen kann, was der Code tun wird. Sie fragen ihn: „Wenn ich dieses Programm mit diesen Zahlen ausführe, was wird dann passieren?" Der Roboter gibt Ihnen eine Antwort, und sie ist meist richtig. Doch hier ist die große Frage: Versteht der Roboter den Code tatsächlich, oder ist er nur sehr gut darin, basierend darauf, wie der Code aussieht, zu raten?

Diese Arbeit der University of Oxford stellt genau diese Frage. Die Forscher wollten wissen, ob diese KI-Modelle (Large Language Models, oder LLMs) die Logik der Programmierung wirklich verstehen oder ob sie lediglich Muster auswendig lernen, wie ein Papagei, der Wörter wiederholt, ohne ihre Bedeutung zu kennen.

Der „Zauberkunststück"-Test

Um dies herauszufinden, spielten die Forscher ein Spiel des „Unterschiede-Entdeckens" mit der KI. Sie nahmen ein Stück Code und führten kleine Änderungen vor, die nicht veränderten, was der Code tatsächlich tat, aber wie er aussah, änderten.

Stellen Sie es sich so vor: Stellen Sie sich ein Rezept für einen Kuchen vor.

• Original: „Mischen Sie Mehl, Zucker und Eier."
• Die Änderung: „Mischen Sie Zucker, Mehl und Eier." (Die Reihenfolge ist anders, aber der Kuchen ist derselbe.)
• Eine weitere Änderung: „Vermischen Sie zuerst die trockenen Zutaten, dann fügen Sie die feuchten hinzu." (Die Schritte sind neu angeordnet, aber das Ergebnis ist identisch.)

Wenn ein Koch das Kochen wirklich versteht, sollte er wissen, dass der Kuchen auf die gleiche Weise gelingt, egal wie Sie das Rezept schreiben. Aber wenn er nur die spezifischen Wörter „Mischen Sie Mehl, Zucker und Eier" auswendig gelernt hat, könnte die Änderung der Reihenfolge ihn verwirren.

Die Forscher führten dies mit fünf spezifischen „Zauberkunststücken" am Code durch:

1. Umbenennen von Variablen: Ändern von my_list zu x7z9. (Wie das Ändern von „Mehl" zu „Pulver" im Rezept).
2. Spiegeln von Vergleichen: Ändern von if x > 5 zu if 5 < x. (Das Gleiche im Umkehrschluss sagen).
3. Tauschen der Logik: Wechseln von „Wenn dies, dann tue A" zu „Wenn nicht dies, dann tue B".
4. Schleifen-Konvertierung: Ändern einer „for-Schleife" (Schritte zählen) in eine „while-Schleife" (weitermachen, bis eine Bedingung erfüllt ist).
5. Auflösen von Schleifen: Anstatt zu sagen „wiederhole dies 10 Mal", schreibt der Code die Aktion explizit 10 Mal aus.

Was passierte?

Die Ergebnisse waren überraschend und für jeden, der sich auf diese KI-Tools verlässt, ein wenig beunruhigend.

1. Das Problem „Richtige Antwort, falscher Grund"
Selbst wenn die KI die richtige Antwort erhielt, kam sie oft aus den falschen Gründen dazu.

• Die Analogie: Stellen Sie sich einen Schüler vor, der eine Mathearbeit schreibt. Er erhält die Antwort „5" richtig, aber seine Arbeit zeigt, dass er 2 + 2 addiert hat und dann die letzte Ziffer geraten hat. Er hat den Punkt erhalten, aber er versteht Mathe nicht wirklich.
• Das Ergebnis: Die Forscher stellten fest, dass in 10 % bis 50 % der Fälle die KI das korrekte Ergebnis auf Basis „fehlerhafter Schlussfolgerungen" lieferte. Sie riet im Wesentlichen oder folgte einem Muster, das zufällig funktionierte, anstatt den Code logisch nachzuvollziehen.

2. Die „zerbrechlichen" Super-Modelle
Die leistungsstärksten und teuersten KI-Modelle (wie GPT-5.2 und Gemini-3) waren am besten darin, bei dem ursprünglichen Code die richtige Antwort zu finden. Sie waren wie die besten Schüler der Klasse.

• Jedoch: Als die Forscher die „Zauberkunststücke" (die Code-Modifikationen) anwendeten, brachen diese Top-Modelle zusammen. Ihre Leistung sank um bis zu 70 %.
• Die Analogie: Es ist wie ein Schüler, der einen Test bestehen kann, wenn die Fragen in einer bestimmten Schriftart und Reihenfolge geschrieben sind. Aber wenn Sie die Schriftart ändern oder die Sätze mischen, scheitert er plötzlich, obwohl die Fragen genau gleich sind. Dies zeigt, dass sie die Bedeutung nicht wirklich verstehen; sie reagieren nur auf das Aussehen.

3. Die Empfindlichkeit gegenüber „Variablennamen"
Eine der interessantesten Erkenntnisse war, wie sehr sich die KI um Variablennamen sorgte.

• Die Analogie: Wenn Sie einem Menschen sagen: „Nimm den roten Ball und leg ihn in die Box", versteht er. Wenn Sie sagen: „Nimm den Zog und leg ihn in die Box", könnte er kurz innehalten, aber er wird es herausfinden.
• Das Ergebnis: Die KI-Modelle wurden durch das bloße Umbenennen von Variablen (z. B. Änderung von total zu eAJMfVcq) erheblich verwirrt. Obwohl der Code exakt das Gleiche tat, sanken das Vertrauen und die Genauigkeit der KI. Dies deutet darauf hin, dass sie sehr empfindlich auf die spezifischen „Wörter" im Code reagieren, anstatt auf die dahinterliegende Logik.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass diese KI-Modelle zwar unglaublich gut im Mustererkennen sind (das Nachahmen dessen, wie Code aussieht), aber noch nicht robust genug sind, um die Semantik (was Code bedeutet) wirklich zu verstehen.

• Sie sind zerbrechlich: Kleine, harmlose Änderungen am Code können ihr Verständnis zerstören.
• Sie raten: Sie gelangen oft durch fehlerhafte Logik zur richtigen Antwort.
• Sie sind noch nicht reif für den Einsatz im Hauptbetrieb: Sich ohne Überprüfung ihrer Schlussfolgerungen auf sie für kritische Softwareaufgaben zu verlassen, ist riskant, da sie stillschweigend versagen könnten, wenn der Code etwas anders aussieht als das, was sie zuvor gesehen haben.

Die Forscher schlagen vor, um diese Tools wirklich zuverlässig zu machen, sie mit strengeren, formalen Logikprüfungen zu kombinieren – wie ein Sicherheitsnetz, das sicherstellt, dass die KI nicht nur rät, sondern tatsächlich die Regeln des Spiels versteht.

Technische Zusammenfassung

Technische Zusammenfassung: Sind Large Language Models robust im Verständnis von Code gegenüber semantikerhaltenden Mutationen?

Problemstellung

Die weit verbreitete Einführung von Large Language Models (LLMs) in der Softwareentwicklung, insbesondere für „Vibe Coding", hat kritische Bedenken hinsichtlich ihres tatsächlichen Verständnisses von Code-Semantik aufgeworfen. Während neuere Studien die Fähigkeit von LLMs bewerten, Programmausgaben vorherzusagen, konzentrieren sie sich oft ausschließlich auf die Genauigkeit und vernachlässigen die zugrunde liegenden Denkprozesse. Evidenz aus Aufgaben des mathematischen Denkens legt nahe, dass LLMs durch fehlerhafte Logik zu korrekten Antworten gelangen können, ein Phänomen, das auch das Code-Verständnis beeinträchtigen könnte. Das Kernproblem, das adressiert wird, besteht darin, ob State-of-the-Art-LLMs Programmsemantik tatsächlich durchdenken oder sich lediglich auf Mustererkennung und syntaktische Hinweise verlassen, was zu einer brüchigen Leistung führt, wenn sie mit semantisch äquivalentem, aber syntaktisch verändertem Code konfrontiert werden.

Methodik

Die Autoren bewerten neun State-of-the-Art-LLMs (sechs Open-Source-Modelle, zwei geschlossene Modelle und ein allgemeines Modell) an zwei Benchmarks: LIVECODEBENCH und CRUXEVAL. Der Evaluierungsrahmen besteht aus zwei Hauptkomponenten:

1. Analyse des Experten-Denkens:

   • Die Autoren führen eine manuelle, blinde Expertenbewertung an LIVECODEBENCH durch, um korrekte Vorhersagen zu kategorisieren.
   • Vorhersagen werden klassifiziert als: (a) Solide semantische Begründung (korrekte Ausgabe mit präziser Beschreibung von Kontroll- und Datenfluss), (b) Fehlerhafte Begründung (korrekte Ausgabe, die aus fehlerhafter Logik abgeleitet wurde) oder (c) Raten (korrekte Ausgabe ohne logische Rechtfertigung).
   • Eine iterative Abfragemethode wird angewendet: Wenn eine initiale Vorhersage falsch ist, wird ein Feedback-Prompt generiert, um das Modell zu einer überarbeiteten Antwort zu führen, wodurch die Fähigkeit des Modells zur Verfeinerung seiner Begründung bewertet wird.

2. Robustheit durch semantikerhaltende Mutationen:

   • Die Studie wendet fünf spezifische Code-Transformationen an, die die Syntax ändern, aber das Laufzeitverhalten (Semantik) erhalten:
     1. Umbenennung von Variablen: Ersetzen von Bezeichnern durch frische, nicht-konfliktbehaftete Namen.
     2. Spiegelung von Vergleichsausdrücken: Vertauschen der Operanden und Anwenden logisch äquivalenter inverser Operatoren (z. B. a == b zu b == a).
     3. Vertauschen von If-Else-Zweigen: Invertieren der Bedingungen und Tauschen der entsprechenden Codeblöcke.
     4. Konvertierung von For- zu While-Schleifen: Umschreiben von for-Schleifen in semantisch äquivalente while-Schleifen.
     5. Partielles Schleifen-Aufrollen (Loop Unrolling): Extrahieren und Duplizieren der letzten Iterationen einer Schleife außerhalb der Schleifenstruktur.
   • Die Stabilität der Vorhersagen der Modelle wird durch den Vergleich der Leistung auf ursprünglichem Code gegenüber mutiertem Code gemessen.

Hauptbeiträge

• Expertenbewertung des Denkens: Das Papier führt eine manuelle Expertenanalyse ein, um zwischen korrekten Vorhersagen auf Basis solider semantischer Begründung und solchen auf Basis fehlerhafter Logik oder Raten zu unterscheiden.
• Systematische Robustheitsbewertung: Die Autoren bewerten die Stabilität von LLMs über fünf verschiedene semantikerhaltende Mutationen hinweg an zwei wichtigen Benchmarks.
• Empirische Evidenz für Fragilität: Die Studie zeigt, dass LLMs ihre Vorhersagen häufig ändern, wenn sie benignen syntaktischen Änderungen unterzogen werden, was auf ein Fehlen stabiler, semantisch fundierter Begründungen hindeutet.
• Hybride Forschungsrichtungen: Das Papier diskutiert das Potenzial der Integration formaler Methoden mit maschinellem Lernen, um semantikbewusste Code-Modelle zu schaffen, die eine bessere Robustheit und Sicherheit gegenüber adversariellen Mutationen bieten.

Ergebnisse

Qualität und Genauigkeit der Begründung

• Proprietäre Modelle: GPT-5.2 und GEMINI-3 erzielten die höchste Vorhersagegenauigkeit (97,5 % bzw. 100,0 % auf LIVECODEBENCH) und den höchsten Anteil an solider Begründung (91,2 % bzw. 99,8 % der korrekten Vorhersagen basierten in einer einzigen Iteration auf solider Begründung).
• Open-Source-Modelle: Die Leistung variierte erheblich. QWEN3-CODER zeigte eine starke Begründungsqualität (95,4 % solide Begründung), aber eine geringere Gesamtgenauigkeit (50,5 %). Modelle wie LLAMA3.2, MISTRAL und CODEGEMMA wiesen hohe Raten an „korrektem Raten" auf, wobei 43 % bis 55 % ihrer korrekten Vorhersagen auf fehlerhafter Begründung basierten.
• Interaktive Abfragen: Iteratives Feedback verbesserte die Begründungsqualität bei einigen Modellen. So erhöhte LLAMA3.2 seine Rate solider Begründungen nach der Verfeinerung um 18,9 %, während GEMINI-3 keine messbare Verbesserung zeigte, was mit seiner nahezu perfekten Anfangsgenauigkeit konsistent ist.

Robustheit gegenüber Mutationen

• Empfindlichkeit gegenüber Syntax: Selbst Modelle mit nahezu perfekter Baseline-Genauigkeit erlitten unter semantikerhaltenden Mutationen erhebliche Leistungseinbußen.
  • Schleifen-Aufrollen (Loop Unrolling): Diese Mutation verursachte die schwerwiegendste Verschlechterung. GPT-5.2 fiel um 68,1 % und GEMINI-3 um 70,4 % auf LIVECODEBENCH.
  • Umbenennung von Variablen: Interessanterweise verbesserte diese Mutation die Genauigkeit für die meisten Open-Source-Modelle (z. B. verbesserte sich QWEN2.5-CODER um 14,0 %), führte jedoch zu einem signifikanten Rückgang bei GEMINI-3 (von 100,0 % auf 68,1 %).
• Instabilität der Vorhersagen: Ein signifikanter Teil der Programme, bei denen die Modelle in der ursprünglichen Version versagten, wurde nach der Mutation korrekt gelöst. Beispielsweise gewann SEMCODER durch Mutationen eine zusätzliche Abdeckung von 36,5 % auf LIVECODEBENCH, während GPT-5.2 und GEMINI-3 nur minimale Gewinne zeigten (2,7 % bzw. 0,0 %), was darauf hindeutet, dass ihre Fehler nicht systematisch durch syntaktische Variationen behoben wurden.
• Fazit zur Robustheit: Die Studie kommt zu dem Schluss, dass aktuelle LLMs keine stabile, semantisch fundierte Begründung aufweisen. Eine hohe Genauigkeit bei Standard-Benchmarks impliziert keine Robustheit gegenüber semantikerhaltenden Transformationen.

Bedeutung und Behauptungen

Das Papier behauptet, dass Genauigkeit allein kein zuverlässiger Proxy für echtes Code-Verständnis ist. Die Ergebnisse zeigen Folgendes:

1. Fehlerhafte Begründung ist weit verbreitet: LLMs, die für Code trainiert wurden, liefern in zwischen 10 % und 50 % der Fälle korrekte Vorhersagen auf Basis fehlerhafter Begründung (bei allgemeinen Modellen bis zu 55 %).
2. Brüchigkeit datengetriebener Begründung: Semantikerhaltende Perturbationen legen die Brüchigkeit rein datengetriebener Begründung offen. Die Abhängigkeit der Modelle von oberflächlichen syntaktischen Hinweisen (wie Variablennamen oder Schleifenstrukturen) anstelle von invarianter Programmssemantik begrenzt ihre Zuverlässigkeit.
3. Grenzen des Skalierens: Die Autoren argumentieren, dass das bloße Skalieren von Modellen oder das Training mit mehr Code diese Probleme nicht lösen wird, da der Fehler im Fehlen formaler semantischer Zwänge begründet liegt.
4. Notwendigkeit formaler Integration: Das Papier vertritt die Position, dass eine zuverlässige Begründung über Code formale Garantien erfordert, die aktuelle LLMs nicht bieten können, und schlägt eine zukünftige Richtung vor, die formale Methoden mit maschinellem Lernen integriert, um Robustheit und Sicherheit zu erhöhen.

Hinweis: Die Autoren warnen davor, dass die überlegene Leistung von GPT-5.2, GEMINI-3 und QWEN3-CODER teilweise auf potenzielle Datenkontamination zurückzuführen sein könnte, da diese Modelle nach oder kurz nach der Veröffentlichung des LIVECODEBENCH-Benchmarks (2024) herausgebracht wurden, während die meisten Open-Source-Modelle zuvor veröffentlicht wurden.