Technische Zusammenfassung: Generierung komplexer Code-Analysatoren aus natürlichen Sprachfragen

Problemstellung

Die Softwareentwicklung umfasst häufig, dass Entwickler analytische Fragen zu Codebasen stellen, um globale Strukturen, Semantik und potenzielle Fehler zu verstehen. Das Beantworten dieser Fragen in großskaligen Systemen (Millionen von Codezeilen über Tausende von Dateien hinweg) stellt jedoch erhebliche Herausforderungen dar:

1. Einschränkungen herkömmlicher Tools: Werkzeuge wie grep oder IDE-Suchfunktionen beschränken sich auf syntaktisches oder lokales Muster-Matching und können keine interprozedurale Reasoning oder semantische Analyse durchführen, die für komplexe Abfragen erforderlich ist (z. B. das Finden von Methoden, die überschreibbare Methoden innerhalb von Konstruktoren aufrufen).
2. Einschränkungen von Large Language Models (LLMs): Obwohl LLMs eine natürliche Schnittstelle bieten, haben sie Schwierigkeiten mit großen Codebasen aufgrund von Kontextfensterbeschränkungen, Ressourcenlimits und dem Fehlen einer strukturierten, persistenten Sicht auf den Code. Die direkte Eingabe von Prompts an LLMs führt häufig zu inkonsistenten Ausgaben, Halluzinationen oder leeren Ergebnissen. Darüber hinaus ist die Generierung komplexer Programmanalyse-Abfragen (insbesondere in CodeQL) schwierig aufgrund der Knappheit an Trainingsdaten und der „heiklen" Semantik der Sprache, bei der geringfügige Variationen zu syntaktisch ungültigen oder semantisch degenerierten Abfragen führen können.

Methodik: Das Merlin-System

Die Autoren stellen Merlin vor, ein System, das Large Language Models mit CodeQL, einem deklarativen Programmanalyse-Framework, integriert. Merlin übersetzt natürliche Sprachfragen in ausführbare CodeQL-Abfragen und verankert die Antworten in den Ergebnissen der statischen Analyse anstatt in der internen Textrepräsentation des LLM.

Das System arbeitet durch einen Workflow, der aus drei Hauptkomponenten besteht:

1. Vorverarbeitung der Frage

Vor der Abfragegenerierung bereitet Merlin zwei wichtige Artefakte vor:

• Generierung von Selbsttests: Das LLM wird aufgefordert, konkrete Codebeispiele (Testfälle) zu generieren, die das Ziel des Benutzers erfüllen oder nicht erfüllen sollten. Diese dienen als „Läuftest", um degenerierte Abfragen (solche, die trotz syntaktischer Korrektheit leere Ergebnisse liefern) zu erkennen, bevor sie auf die gesamte Codebasis angewendet werden.
• Iterative Dokumentationsabfrage: Anstatt das LLM zu bitten, notwendige CodeQL-Konstrukte direkt aufzulisten (was zu Halluzinationen führt), verwendet Merlin eine iterative RAG-basierte Schleife. Es extrahiert zunächst Schlüsselwörter aus der Frage des Benutzers und fordert dann das LLM auf, diese CodeQL-Konstrukten zuzuordnen. Das System validiert diese Konstrukte gegen die offizielle CodeQL-Dokumentation, liefert Feedback zu nicht existierenden Konstrukten und iteriert, bis ein gültiger Satz etabliert ist.

2. RAG-basiertes Debugging von Abfragen

Das LLM generiert eine initiale CodeQL-Abfrage basierend auf dem Ziel des Benutzers, dem Ausgabeschema, den Selbsttests und der abgerufenen Dokumentation. Diese Abfrage wird mit dem CodeQL-Compiler kompiliert.

• Wenn der Compiler Syntaxfehler zurückgibt, extrahiert Merlin die Fehlermeldungen, ruft relevante Dokumentation für die beteiligten spezifischen Konstrukte ab und fordert das LLM auf, die Abfrage zu überarbeiten.
• Diese Schleife wird fortgesetzt, bis eine syntaktisch gültige Abfrage erzeugt wird.

3. Semantische Verifikation durch unterstützende Abfragen

Selbst syntaktisch gültige Abfragen können versagen, die beabsichtigte Semantik zu erfassen (z. B. durch zu starke Selektivität und Rückgabe leerer Ergebnisse). Um dies zu adressieren, setzt Merlin unterstützende Abfragen (Assistive Queries) ein:

• Wenn eine Abfrage den Selbsttest nicht besteht (leere Ergebnisse zurückgibt), fordert das System das LLM auf, eine auxiliary „unterstützende" Abfrage zu generieren.
• Diese Abfragen sind so konzipiert, dass sie großzügig sind (z. B. das Ausdrucken von Typen oder Zwischeneigenschaften), um aufzudecken, warum die ursprüngliche Abfrage gescheitert ist.
• Die Ergebnisse der unterstützenden Abfrage werden dem LLM zurückgespeist, um den semantischen Fehler zu diagnostizieren und die ursprüngliche Abfrage zu verfeinern.
• Diese „Kompilieren-Testen-Unterstützen"-Schleife wiederholt sich, bis die Abfrage bei den Selbsttests nicht-leere Ergebnisse liefert.

Schließlich wird die validierte Abfrage über die gesamte Codebasis ausgeführt, und die Ergebnisse werden dem Benutzer in tabellarischer Form präsentiert, begleitet von der generierten CodeQL-Abfrage als Begründung.

Hauptbeiträge

1. Merlin-System: Eine neuartige Architektur, die LLMs mit Programmanalysatoren (CodeQL) integriert, um zuverlässig freie natürliche Sprachfragen zu großen Codebasen zu beantworten.
2. Neuartige Debugging-Techniken:
   • Ein RAG-basiertes iteratives Verfahren zur Generierung syntaktisch korrekter Abfragen trotz der Knappheit an CodeQL-Trainingsdaten.
   • Eine Selbsttest-Technik mit automatisch generierten Codebeispielen zum Erkennen degenerierter Abfragen.
   • Unterstützende Abfragen, die wie diagnostische Druckanweisungen fungieren, um semantische Fehler in Kandidatenabfragen aufzudecken und zu erklären.
3. Empirische Evaluation: Eine umfassende Evaluation, einschließlich Benchmarks, einer Umfrage und einer Benutzerstudie, die die Wirksamkeit des Systems demonstriert.

Ergebnisse

Experimentelle Evaluation (Benchmarks)

Die Autoren evaluierten Merlin gegen 182 natürliche Sprachfragen, die von SpotBugs (142 Detektoren) und dem GitHub Security Lab (40 Abfragen) abgeleitet wurden, über 13 große Codebasen hinweg.

• Recall: Merlin übertraf Baseline-Ansätze (direkte LLM-Antwort, LLM-zu-CodeQL-Generierung ohne Debugging) erheblich. Merlin erreichte einen makro-Recall von 0,62 und einen mikro-Recall von 0,64, verglichen mit Baselines, die oft Probleme mit dem Recall hatten (z. B. hatte GPT-4o/CQL einen mikro-Recall von 0,08).
• Präzision und Entdeckung: Während Baselines häufig Probleme übersehen, reproduzierte Merlin nicht nur die Ergebnisse von Referenzanalysatoren, sondern identifizierte auch bisher unbekannte Stellen. Eine Benutzerbefragung bestätigte, dass viele dieser „neuen" Funde tatsächlich relevante Codeausschnitte waren, die andere Tools übersehen hatten, was darauf hindeutet, dass Merlin bei menschlichem Urteil als Ground Truth eine höhere Präzision und einen höheren Recall als die Referenzwerkzeuge erreicht.
• Ressourceneffizienz: Im Gegensatz zu Baselines, die das Hochladen ganzer Codebasen zu LLMs erfordern (was Dateilimits und Kontextfenster erreicht), synthetisiert Merlin Abfragen unabhängig von der Codebasis, was zu deutlich kürzeren Prompt-Längen und geringeren Rechenkosten führt.

Benutzerstudie

Eine Within-Subject-Studie mit 18 Teilnehmern (13 Studenten, 5 Fachkräfte), die damit beauftragt waren, Verstöße gegen SEI CERT-Codierungsstandards zu finden und zu beheben, ergab:

• Genauigkeit: Der Zugang zu Merlin erhöhte die Aufgabenpräzision im Durchschnitt um das 3,8-fache. Die Verbesserung war am ausgeprägtesten für komplexe Aufgaben (Aufgabe T1: 5,6-fach; Aufgabe T3: 4,9-fach) und geringer für Aufgaben, die durch einfaches grep lösbar waren (Aufgabe T2: 1,6-fach).
• Effizienz: Teilnehmer, die Merlin verwendeten, schlossen Aufgaben im Durchschnitt 31 % schneller ab.
• Verhaltensänderung: Merlin verlagerte Benutzerstrategien von arbeitsintensivem Muster-Matching (Regex, Stichwortsuche) hin zu übergeordnetem Reasoning. Es reduzierte auch die Abhängigkeit von externer KI für die „Findungs"-Phase, obwohl die Autoren ein Risiko der übermäßigen Vertrauensstellung der Benutzer in Merlin-Ausgaben feststellen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Merlin die Lücke zwischen der natürlichen Schnittstelle von LLMs und dem rigorosen, strukturierten Reasoning von Programmanalysatoren erfolgreich schließt. Durch die Bewältigung der spezifischen Herausforderungen bei der Generierung komplexer, ressourcenarmer Analyseabfragen (CodeQL) durch iteratives Debugging und Selbsttests ermöglicht Merlin Entwicklern, exhaustive, überprüfbare und wiederholbare Analysen an großen Codebasen durchzuführen.

Die Autoren betonen, dass Merlin nicht lediglich ein Chatbot ist, sondern ein System, das zertifizierbare Ausgaben (die generierte CodeQL-Abfrage) produziert, sodass Entwickler die Logik hinter den Ergebnissen verifizieren können. Dieser Ansatz überwindet die Unzuverlässigkeit rein auf LLM basierenden Reasonings und die Starrheit traditioneller statischer Analysetools und bietet eine praktische Lösung für moderne Softwareentwicklungsaufgaben, die ein tiefes semantisches Verständnis von Code erfordern.

Die Arbeit bleibt hinsichtlich ihres Umfangs bescheiden und erkennt an, dass sie sich derzeit auf die Fehlerfindung und analytische Fragen konzentriert und dass zukünftige Arbeiten erforderlich sind, um breitere Entwickler-Workflows, interaktives Debugging und nicht-analytische Fragen zu unterstützen.