Hallucination to Consensus: Multi-Agent LLMs for End-to-End JUnit Test Generation
Die Arbeit stellt CANDOR vor, ein Prompt-Engineering-Framework für Multi-Agenten-LLMs, das durch konsensbasierte Orakelgenerierung und einen dualen LLM-Pipeline-Ansatz präzise JUnit-Tests für Java erzeugt und dabei sowohl EvoSuite als auch feinabgestimmte SOTA-Modelle in Bezug auf Code-Abdeckung und Orakelkorrektheit übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
🤖 CANDOR: Der Team-Sport unter den KI-Testern
Stellen Sie sich vor, Sie haben einen neuen, komplexen Automaten gebaut (ein Computerprogramm). Bevor Sie ihn an die Kunden verkaufen, müssen Sie sicherstellen, dass er nicht verrückt spielt. Dafür braucht man Tests.
Früher haben Menschen diese Tests mühsam von Hand geschrieben. Später kamen Roboter (Algorithmen), die wie wilde Affen herumkletterten: Sie warfen zufällig Daten an den Automaten, um zu sehen, ob er kaputtgeht. Das war gut, um zu sehen, wo der Roboter hinkommt (Code-Abdeckung), aber sie verstanden nicht wirklich, was der Automat tun sollte. Sie sagten oft: „Der Automat macht genau das, was er gerade tut – also ist das richtig!" Das ist wie ein Dieb, der sagt: „Ich habe die Tür nicht aufgebrochen, ich habe sie nur so benutzt, wie sie war."
Jetzt haben wir Künstliche Intelligenz (KI), die wie ein sehr kluger, aber manchmal etwas verwirrter Assistent ist. Sie kann Texte lesen und verstehen, was der Automat tun sollte. Aber diese KI hat zwei große Probleme:
- Sie halluziniert: Sie erfindet Dinge, die nicht stimmen.
- Sie überdenkt alles: Sie schreibt ganze Romane, wenn ein kurzer Satz reicht, und vergisst dabei den Punkt.
Das Team um Qinghua Xu hat eine Lösung namens CANDOR entwickelt. Es ist kein einzelner Roboter, sondern ein ganzer Arbeitskreis aus spezialisierten KI-Agenten, die wie ein gut organisiertes Team in einer Werkstatt zusammenarbeiten.
🛠️ Wie funktioniert CANDOR? (Die Werkstatt-Metapher)
Stellen Sie sich CANDOR als eine hochmoderne Werkstatt vor, in der vier verschiedene Meister arbeiten, um einen perfekten Test zu erstellen:
1. Der Bauleiter (Initializer & Planner)
Zuerst kommt der Bauleiter. Er schaut sich die Baupläne (den Quellcode) an und sagt: „Okay, wir brauchen hier einen Test für leere Listen und dort einen für große Zahlen." Er plant, welche Ecken des Gebäudes noch nicht beleuchtet sind.
- Der Trick: Früher haben KIs versucht, alles auf einmal zu machen und dabei Fehler gemacht (z. B. falsche Syntax wie in Python statt Java). CANDOR teilt die Arbeit auf: Erst planen, dann bauen.
2. Der Handwerker (Tester)
Der Handwerker nimmt die Pläne und baut die eigentlichen Tests. Er schreibt den Code, der den Automaten bedient.
- Das Problem: Manchmal baut er etwas falsch, weil er den Code nicht perfekt versteht oder die Import-Befehle vergisst.
3. Der Qualitätskontrolleur (Inspector)
Der Kontrolleur prüft sofort, ob das Gebaute steht. Wenn der Handwerker einen Fehler macht (z. B. eine fehlende Import-Datei), schickt er den Plan zurück: „Hey, das hält nicht! Hier fehlt ein Schraube." Der Handwerker repariert es und versucht es erneut.
4. Der Weisheitsrat (Die Panel-Diskussion) – Das Herzstück!
Hier passiert das Magische. Bisher haben alle Tests nur auf den aktuellen Code geschaut. Wenn der Code aber einen Fehler hat (ein Bug), dann ist der Test auch falsch, weil er den Fehler bestätigt.
CANDOR nutzt jetzt einen Weisheitsrat (inspiriert von einem alten Spruch: „Die Wahrheit entsteht im Gespräch unter Freunden").
- Die Situation: Der Handwerker hat einen Test geschrieben, der sagt: „Das Ergebnis ist 27." Aber eigentlich müsste es 147 sein, weil der Code einen Fehler hat.
- Die Lösung: CANDOR schickt diesen Test zu drei verschiedenen Denkern (spezialisierte KIs).
- Denker A sagt: „Nein, das ist falsch! Laut der Beschreibung müsste es 147 sein."
- Denker B sagt: „Warte, lass mich nachrechnen... Ja, 27 ist falsch, weil hier eine Zahl falsch potenziert wurde."
- Denker C stimmt zu: „Richtig, 147 ist das Ziel."
- Der Kurator: Ein vierter KI-Agent (der Kurator) hört sich diese Diskussion an. Er fasst zusammen: „Zwei von drei sagen, es ist falsch. Die Logik ist klar. Wir korrigieren den Test auf 147."
Durch diese Diskussion werden die Halluzinationen (die falschen Erfindungen) herausgefiltert. Wenn eine KI etwas erfindet, stimmen die anderen nicht zu. Der Konsens (die Übereinstimmung) führt zum richtigen Ergebnis.
5. Der Übersetzer (Interpreter) – Gegen das „Überdenken"
Die Denkenden KIs (Reasoning LLMs) neigen dazu, sich selbst zu hinterfragen: „Ich denke, es ist 147. Aber Moment, vielleicht habe ich mich geirrt? Nein, doch 147. Aber warte..." Das dauert ewig und erzeugt riesige Textmengen.
CANDOR nutzt einen Übersetzer. Dieser Agent liest den langen, verwirrten Gedankengang des Denkers und extrahiert nur das Wichtigste: „Ergebnis: 147. Begründung: X." So wird die KI schnell und präzise.
🏆 Was hat das Team erreicht?
Das Team hat CANDOR an zwei großen Testfeldern ausprobiert (einem Standard-Set und einem schwierigen Set von Programmier-Rätseln).
- Bessere Tests als die alten Roboter: CANDOR findet fast genauso viele Fehler wie der beste alte Roboter (EvoSuite), aber seine Tests sind intelligenter und finden mehr versteckte Fehler (Mutation Score).
- Besser als die „gelernte" KI: Es gab eine andere KI (TOGLL), die extra für diesen Job „ausgebildet" (fine-tuned) wurde. CANDOR hat diese KI ohne extra Ausbildung geschlagen!
- Warum? Weil TOGLL starr auf alte Daten trainiert war und bei neuen Java-Versionen versagte. CANDOR ist flexibel wie ein erfahrener Handwerker, der einfach den Plan liest und weiß, was zu tun ist.
- Wahrheit statt Lüge: Durch den Weisheitsrat (Panel Discussion) sind die Tests viel genauer. CANDOR ist um 21 % besser darin, die richtigen Erwartungen (Orakel) zu formulieren als der aktuelle Spitzenreiter.
💡 Fazit
CANDOR ist wie ein Schwarm intelligenter Kollegen, die nicht alle auf einmal schreien, sondern sich in geordneten Schritten absprechen.
- Sie planen zusammen.
- Sie bauen zusammen.
- Sie streiten sich (diskutieren) über die Ergebnisse, um die Wahrheit zu finden.
- Und sie fassen die Ergebnisse kurz und bündig zusammen.
Das Ergebnis: Ein System, das automatisch hochwertige Tests für Software schreibt, ohne dass Menschen stundenlang tippen müssen, und das sogar Fehler im Code findet, die andere Systeme übersehen. Es ist ein großer Schritt von der „zufälligen Suche" hin zum „verstandenen Konsens".
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.