Iterative Audit Convergence in LLM-Managed Multi-Agent Systems: A Case Study in Prompt Engineering Quality Assurance
Dieser Beitrag stellt eine Fallstudie eines iterativen, agentengesteuerten Auditierungsprozesses vor, der auf das Multi-Agenten-System AEGIS angewendet wurde und neun sequenzielle Runden LLM-basierter Inspektionen nutzte, um 51 Mängel in den Prompt-Spezifikationen zu identifizieren, eine neue Defekt-Taxonomie zu etablieren und eine nicht-monotone Konvergenz in einer Produktionsumgebung nachzuweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Bild: Das „Orchester"-Problem
Stellen Sie sich ein riesiges Orchester namens AEGIS vor. Dies ist kein normales Orchester mit Violinen und Trommeln; es ist ein Team aus sieben KI-„Musikern" (Agenten), die zusammenarbeiten, um eine riesige Liste von Aufgaben zu verwalten (wie eine To-Do-Liste für ein Unternehmen).
Jeder Musiker hat seine eigene Partitur (ein Dokument namens PROMPT.md), die ihm genau sagt, was er zu spielen hat, wann er es spielen soll und wie er mit den anderen Musikern sprechen muss. Es gibt auch eine Hauptregel (den „Ticket Contract"), auf die sich alle einigen.
Das Problem? Diese Partitur-Dokumente sind in natürlicher Sprache (wie Englisch) geschrieben, nicht in Computercode. Sie sind lang (insgesamt etwa 7.150 Zeilen), ändern sich häufig und hängen voneinander ab. Wenn der erste Musiker eine Note in seiner Partitur ändert, könnte der zweite Musiker verwirrt sein, weil seine Partitur noch die alte Note enthält.
Dieses Papier ist eine Geschichte darüber, wie das Team versuchte, diese Partitur-Dokumente zu korrigieren, um sicherzustellen, dass das Orchester kein Desaster spielt.
Das Experiment: Das „selbstprüfende" Orchester
Normalerweise, wenn Sie ein langes Dokument schreiben, bitten Sie vielleicht einen Freund, es einmal zu lesen, um Tippfehler zu finden. Aber in diesem Fall stellten die Autoren fest, dass ein einmaliges schnelles Lesen die tückischen Fehler nicht aufdecken würde, bei denen sich die Anweisungen eines Musikers mit denen eines anderen überschneiden.
Also richteten sie einen wiederholten Prüfprozess ein:
- Der Prüfer: Sie nutzten eine KI (ein „Claude"-Sub-Agent), um als Auditor zu fungieren.
- Die Checkliste: Der Auditor hatte eine spezifische Checkliste, um nach Dingen zu suchen wie: „Stimmen die Dateinamen überein?" „Sind die Regeln für den 7. Musiker enthalten?" „Sind die Kontaktinformationen für den Chef (Jira) aktuell?"
- Die Schleife: Der Auditor fand Fehler, das Team korrigierte sie, und dann kam der Auditor zurück und prüfte erneut. Sie taten dies neun Mal hintereinander.
Was sie fanden (Die „Defekte")
Nach neun Runden des Prüfens und Korrigierens fanden sie 51 spezifische Fehler in den Partituren. Dies waren keine Computerviren oder Code-Abstürze; es waren „Logik-Glitches" in den Anweisungen.
Hier sind die Arten von Fehlern, die sie fanden, erklärt mit Analogien:
- Veraltete Referenzen (Das „alte Telefonbuch"): 23 % der Fehler waren wie eine Telefonnummer in den Anweisungen, die nicht mehr funktionierte, weil die Person umgezogen war. (z. B. der Verweis auf einen Aufgaben-Ticket, der gelöscht worden war).
- Versionsdrift (Die „veraltete Karte"): Einige Anweisungen sagten: „Wir haben 7 Musiker", aber das Dokument wurde geschrieben, als es nur 6 waren.
- Querschnitts-Mismatches (Der „falsche Übergabepunkt"): Dies war die gefährlichste Art. Musiker #3 wurde angewiesen, eine Notiz mit der Beschriftung „Prioritätsscore" an Musiker #4 zu übergeben, aber Musiker #4 erwartete eine Notiz mit der Beschriftung „Fix-Priorität". Wenn sie gespielt hätten, hätte Musiker #4 die Notiz ignoriert, und die Aufgabe wäre stillschweigend gescheitert.
- Fehlende Abdeckung (Das „neue Instrument"): Als sie einen neuen Musiker (Lane 7) zum Orchester hinzufügten, erwähnten die alten Regelbücher nicht, wie man mit ihnen spricht.
Das überraschende Ergebnis: Es wurde „schlechter", bevor es besser wurde
Man könnte erwarten, dass nach Runde 1 die Anzahl der Fehler stetig abnimmt. Aber das tat sie nicht.
- Runde 1: 15 Fehler gefunden.
- Runde 2: 8 Fehler gefunden.
- Runde 3: 12 Fehler gefunden (mehr als in Runde 2!).
Warum? Die Autoren erklären dies mit einer „Zwiebel schälen"-Analogie.
In den ersten paar Runden korrigierten sie die offensichtlichen, oberflächlichen Fehler (wie Tippfehler oder fehlende Namen). Aber indem sie diese korrigierten, enthüllten sie versehentlich tiefere, versteckte Probleme, die zuvor maskiert waren. Es ist wie das Reparieren eines Lecks in einer Rohrleitung, nur um festzustellen, dass der Wasserdruck tatsächlich einen Riss in der dahinterliegenden Wand verursacht hat. Der „Umfang" der Prüfung wurde mit fortschreitender Zeit größer und intelligenter und fand schwerer zu erkennende Probleme.
Die wichtigsten Erkenntnisse
- Ein Blick reicht nicht: Wenn Sie nur ein Dokument nach dem anderen lesen, werden Sie die Probleme übersehen, bei denen zwei Dokumente nicht übereinstimmen. Sie müssen das gesamte System gemeinsam betrachten.
- Iteratives Auditing funktioniert: Sie können es nicht einfach einmal reparieren und dann fertig sein. Sie müssen prüfen, reparieren und erneut prüfen. In diesem Fall dauerte es neun Runden, um auf null Fehler zu kommen.
- KI auditiert KI: Dieselbe Familie von KI-Modellen schrieb die Anweisungen und auditierte sie dann. Das Papier gibt zu, dass dies ein wenig riskant ist (wie einen Schüler zu bitten, seine eigene Hausarbeit zu benoten), aber es funktionierte gut genug, um diese 51 spezifischen Fehler zu finden.
- Der „stille Killer": Die gefährlichsten Fehler waren diejenigen, bei denen zwei Teile des Systems nicht übereinstimmten. Diese würden keinen lauten Absturz verursachen; sie würden einfach dazu führen, dass die Arbeit leise aufhört, was schwerer zu erkennen ist.
Was dieses Papier NICHT sagt
- Es sagt nicht, dass diese Methode für jedes KI-System der Welt funktioniert. Es wurde nur dieses eine spezifische System (AEGIS) getestet.
- Es behauptet nicht, dass KI-Auditoren perfekt sind. Sie nutzten dieselbe KI-Familie zum Schreiben und Prüfen, was Dinge übersehen haben könnte, die ein Mensch oder eine andere KI gesehen hätte.
- Es verspricht nicht, dass Sie alle KI-Probleme auf einmal beheben können. Die Hauptbotschaft ist, dass Sie weiterhin prüfen und erneut prüfen müssen.
In Kürze
Dieses Papier ist eine Fallstudie, die zeigt, dass bei einem komplexen Team von KI-Agenten deren Anweisungsmanuals sehr schnell unübersichtlich und widersprüchlich werden. Um sie zu beheben, reicht eine einmalige Prüfung nicht aus. Sie benötigen einen wiederholten, sich entwickelnden Prüfprozess, bei dem der Auditor mit jeder Runde intelligenter wird und Schichten der Zwiebel abträgt, bis die Anweisungen perfekt aufeinander abgestimmt sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.