Less Is More: Measuring How LLM Involvement affects Chatbot Accuracy in Static Analysis
Die Studie zeigt, dass die Verwendung einer schema-konformen JSON-Zwischendarstellung zur Übersetzung natürlicher Sprache in Joern-Abfragen bei großen Sprachmodellen die Genauigkeit im Vergleich zu direkter Generierung oder agenticen Ansätzen signifikant verbessert, während bei kleinen Modellen die Schema-Konformität zum Engpass wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Der Übersetzer und die komplizierte Sprache
Stell dir vor, du hast einen sehr klugen, aber etwas chaotischen Dolmetscher (das ist die KI/LLM). Du möchtest ihm eine Aufgabe geben: „Finde heraus, wie eine Hacker-Attacke in diesem Programm funktioniert."
Das Problem ist: Der Computer, der die Antwort geben soll, spricht eine extrem strenge, mathematische Geheimsprache (das ist CPGQL, eine spezielle Abfragesprache für Code). Wenn der Dolmetscher versucht, deine Frage direkt in diese Geheimsprache zu übersetzen, macht er oft Fehler. Er kennt die Grammatik nicht perfekt und erfindet manchmal Dinge, die sich gut anhören, aber falsch sind.
Die Forscher haben sich gefragt: Wie viel Freiheit sollten wir dem Dolmetscher lassen? Sollen wir ihn alles selbst übersetzen lassen, oder sollen wir ihm eine Bauanleitung geben?
Sie haben drei verschiedene Methoden getestet:
Methode 1: Der „Freie Künstler" (Direkte Übersetzung)
Wie es funktioniert: Du sagst dem KI-Dolmetscher: „Schreib mir den Code, der die Antwort findet."
Das Problem: Der Dolmetscher muss sich die komplizierte Grammatik der Geheimsprache aus dem Kopf merken. Er ist wie ein Maler, der versucht, eine technische Bauplanung zu zeichnen, ohne die Werkzeuge zu kennen.
Ergebnis: Es funktioniert manchmal, aber oft entstehen unsinnige Zeichnungen, die der Computer nicht versteht oder die falsche Antwort liefern.
Methode 2: Der „Baukasten mit Schablone" (Strukturierte Zwischenstufe) – DER GEWINNER
Wie es funktioniert: Hier geben wir dem Dolmetscher keine Freiheit. Wir sagen ihm: „Du darfst den Code nicht schreiben! Fülle stattdessen dieses Formular aus."
Das Formular ist ein einfaches JSON-Objekt mit festen Feldern wie: „Quelle der Daten", „Ziel der Daten", „Welche Spalten zeigen?".
Sobald das Formular ausgefüllt ist, übernimmt ein Roboter (ein deterministischer Computercode). Der Roboter nimmt das Formular und baut daraus perfekt den komplizierten Code.
Die Analogie: Stell dir vor, du willst ein Haus bauen.
- Bei Methode 1 sagst du dem Architekten: „Bau mir ein Haus." (Er baut vielleicht ein Haus mit dem Dach auf dem Boden).
- Bei Methode 2 sagst du ihm: „Kreuze hier an: 3 Schlafzimmer, 2 Bäder, 1 Garage." Ein erfahrener Bauleiter (der Roboter) baut dann das Haus exakt nach diesen Vorgaben.
Ergebnis: Dies war die beste Methode. Besonders bei großen, klugen KIs funktionierte es fantastisch. Die KI muss nur das Formular ausfüllen (was sie gut kann), und der Roboter sorgt für die perfekte Grammatik.
Methode 3: Der „Ratlose Detektiv" (Agentischer Ansatz)
Wie es funktioniert: Hier bekommt der Dolmetscher eine Liste von Werkzeugen (z. B. „Suche Methode", „Verfolge Datenfluss"). Er muss selbst entscheiden: „Okay, zuerst nehme ich Werkzeug A, dann schaue ich das Ergebnis an, dann vielleicht Werkzeug B..."
Das Problem: Der Dolmetscher muss den ganzen Plan selbst machen. Wenn er bei Schritt 1 einen kleinen Fehler macht, ist Schritt 2 schon falsch, und am Ende ist das ganze Ergebnis Müll.
Die Analogie: Stell dir vor, du schickst einen Detektiv in ein Labyrinth. Er muss selbst entscheiden, welche Abzweigung er nimmt. Wenn er sich einmal verirrt, kommt er nie ans Ziel. Zudem braucht er viel mehr Zeit und Energie (Token), um herumzulaufen.
Ergebnis: Dies war die schlechteste Methode. Sie war teuer (brauchte 8-mal mehr Rechenleistung), dauerte länger und lieferte am wenigsten richtige Antworten.
Die wichtigsten Erkenntnisse (in einfachen Worten)
- Weniger ist mehr (Less is More): Je mehr man der KI vorschreibt (durch das Formular), desto besser wird das Ergebnis. Man sollte der KI nicht erlauben, die komplizierte Sprache selbst zu erfinden.
- Größe zählt, aber nur bis zu einem Punkt:
- Bei großen, klugen KIs (wie einem Genie) funktioniert das Formular-System perfekt. Sie füllen das Formular fast immer richtig aus.
- Bei kleineren KIs (wie einem begabten Schüler) scheitern sie oft schon daran, das Formular korrekt auszufüllen (z. B. vergessen sie ein Komma oder schreiben eine Zahl falsch). Hier wird das Formular zur Falle.
- Der „Detektiv" ist ineffizient: Der Ansatz, bei dem die KI selbst Werkzeuge auswählt und Schritt für Schritt denkt, funktioniert in dieser strengen Umgebung gar nicht gut. Er ist zu fehleranfällig und zu teuer.
- Nicht alles, was zählt, ist sichtbar: Manchmal sieht der Code der KI anders aus als der perfekte Code, liefert aber das gleiche Ergebnis. Man muss also das Ergebnis prüfen, nicht nur den Code selbst.
Fazit für den Alltag
Wenn du eine KI nutzen willst, um komplexe, technische Aufgaben zu lösen (wie das Durchsuchen von Code), solltest du ihr keine freie Hand geben, die Sprache selbst zu schreiben.
Gib ihr stattdessen ein klares Formular oder eine Checkliste. Lass die KI die „Was"-Frage beantworten (Was soll gesucht werden?), und lass einen starren Computer die „Wie"-Frage beantworten (Wie schreibt man das in der Geheimsprache?).
Kurz gesagt: Gib der KI die Schablone, nicht den Pinsel. Das führt zu weniger Fehlern und besseren Ergebnissen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.