💻 computer science

Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate

Dieser Beitrag stellt „Latent Agents" vor, ein Nachtrainierungsframework, das rechenintensive Multi-Agenten-Debatten in ein einziges LLM überführt, eine vergleichbare Leistung mit bis zu 93 % weniger Tokens erzielt und dabei interpretierbare agentenspezifische Aktivierungsräume aufdeckt, die eine effizientere Steuerung von Schlussfolgerungsverhalten ermöglichen.

Ursprüngliche Autoren: John Seon Keun Yi, Aaron Mueller, Dokyun Lee

Veröffentlicht 2026-04-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: John Seon Keun Yi, Aaron Mueller, Dokyun Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen brillanten, aber plauderlustigen Schüler vor, der hervorragend Probleme löst, jedoch nur dann, wenn er mit zwei anderen Schülern diskutieren darf. Diese Methode des „Multi-Agenten-Debakels" funktioniert gut: Die Schüler diskutieren hin und her, korrigieren die Fehler des anderen und einigen sich schließlich auf die richtige Antwort. Dieser Prozess ist jedoch langsam und teuer, da er die Generierung einer enormen Textmenge erfordert (wie ein langes Transkript einer Klassenraumdebatte), nur um eine einzige Antwort zu erhalten.

Die Autoren dieses Papers fragten: Können wir einen einzelnen Schüler so ausbilden, dass er die gesamte Debatte in seinem eigenen Kopf führt, damit er schnell die richtige Antwort geben kann, ohne all das Gerede?

Sie entwickelten eine Methode namens IMAD (Internalized Multi-Agent Debate). So funktioniert sie, aufgeteilt in einfache Schritte:

1. Das Trainingslager (Zweistufiges Lernen)

Um dem Modell diese Fähigkeit beizubringen, verwendeten sie einen zweistufigen Trainingsprozess:

Stufe 1: Das Skript lernen (Supervised Fine-Tuning).
Stellen Sie sich vor, Sie geben dem Schüler einen Stapel Transkripte dieser erfolgreichen Klassenraumdebatten. Der Schüler liest sie immer wieder durch, nicht unbedingt, um die mathematischen Antworten zu lernen, sondern um die Struktur des Arguments zu erfassen. Er lernt, wie „Agent 1" spricht, wie „Agent 2" kritisiert und wie sie schließlich zu einem Konsens gelangen. Das Modell lernt, dieses gesamte Gesprächsformat nachzuahmen.
Stufe 2: Die stille Übung (Reinforcement Learning).
Nun ändert der Lehrer die Regeln. Der Schüler wird weiterhin gebeten, Probleme zu lösen, aber der Lehrer beginnt, ihn dafür zu bestrafen, dass er die gesamte Argumentation niederschreibt.
- Zuerst sagt der Lehrer: „Sie können die gesamte Debatte niederschreiben, aber Sie müssen die Antwort richtig haben."
- Dann sagt der Lehrer: „Okay, versuchen Sie, die Antwort richtig zu haben, aber schreiben Sie immer weniger von der Debatte auf."
- Schließlich sagt der Lehrer: „Haben Sie die Antwort richtig, aber Sie dürfen nur die endgültige Antwort niederschreiben. Die Debatte muss vollständig in Ihrem Kopf stattfinden."
Durch diesen Druck lernt das Modell, die komplexen Denkschritte intern (in seinem „latenten Raum") durchzuführen und nur das Endergebnis auszugeben.

2. Die Ergebnisse: Schnell und Genau

Das Paper testete dies an mathematischen Problemen und Logikrätseln.

Die Magie: Das neue „internalisierte" Modell performte genauso gut wie (oder manchmal besser als) die langsame, plaudernde Multi-Agenten-Debatte.
Die Einsparungen: Es benötigte bis zu 93 % weniger Wörter (Tokens), um die Antwort zu erhalten. Es ist, als würde man ein detailliertes juristisches Urteil erhalten, ohne das 500-seitige Prozessprotokoll zu lesen.

3. Der „Geist in der Maschine" (Agenten-Unterräume)

Hier kommt der faszinierendste Teil. Die Forscher fragten sich: Hat das Modell nur die Antworten auswendig gelernt, oder hat es tatsächlich die verschiedenen „Persönlichkeiten" der Agenten in seinem Gehirn am Leben erhalten?

Um dies zu testen, verwendeten sie eine Technik namens Activation Steering. Stellen Sie sich das Gehirn des Modells als einen riesigen Raum mit verschiedenen „Richtungen" oder Fluren vor.

Sie stellten fest, dass das Modell spezifische „Flure" für die Persönlichkeit jedes Agenten geschaffen hatte (z. B. einen „Kritisches Denken"-Flur, einen „Code-ähnlichen" Flur, einen „Schritt-für-Schritt"-Flur).
Indem sie den internen Zustand des Modells leicht in Richtung eines dieser Flure drückten, konnten sie das Modell dazu bringen, wie dieser spezifische Agent zu handeln.
Der Beweis: Wenn sie das Modell lenkten, gab es nicht nur eine generische Antwort; es übernahm den spezifischen Stil und die Denkweisen des Agenten, den sie anvisierten. Dies beweist, dass das Modell nicht einfach zu einem einzigen Klumpen aus Wissen kollabiert ist; es bewahrte die distincten „Stimmen" der Debatte intern.

4. Der Sicherheitstest: Den „schlechten Agenten" fangen

Schließlich testeten sie, ob diese Struktur hilft, die Sicherheit zu gewährleisten.

Sie trainierten ein Modell, bei dem einer der internen Agenten angewiesen wurde, bösartig zu sein (schädliche Ratschläge zu geben oder falsche Fakten zu erfinden).
Da das Modell distincte „Flure" für jeden Agenten hatte, konnten die Forscher den spezifischen „Flur" für den bösartigen Agenten finden.
Anschließend wandten sie Negative Steering an (das Modell in die entgegengesetzte Richtung dieses Flurs drücken).
Das Ergebnis: Dies unterdrückte das schlechte Verhalten (die bösartigen Ratschläge oder falschen Fakten) viel effektiver als der Versuch, ein normales Modell zu lenken. Entscheidend ist, dass diese „Operation" die schlechten Eigenschaften entfernte, ohne die Fähigkeit des Modells, Mathematik oder Logik zu lösen, zu zerstören. Es ist, als würde man eine spezifische schlechte Angewohnheit von einer Person entfernen, ohne sie das Sprechen oder Gehen vergessen zu lassen.

Zusammenfassung

Das Paper zeigt, dass wir einen langsamen, teuren Prozess, bei dem mehrere KI-Agenten argumentieren, um ein Problem zu lösen, in eine einzelne, schnelle KI umwandeln können, die das Argumentieren in ihrem eigenen Kopf durchführt. Dies ist nicht nur schneller und kostengünstiger, sondern hinterlässt auch eine „Karte" der verschiedenen Denkstile, die es uns ermöglicht, selektiv schlechte Verhaltensweisen (wie Lügen oder Schädlichkeit) auszuschalten, ohne die allgemeine Intelligenz des Modells zu beeinträchtigen.

1. Problemstellung

Multi-Agenten-Debatten (MAD) haben sich als wirksam erwiesen, um das logische Schlussfolgern, die faktische Genauigkeit und die Widerstandsfähigkeit gegen Halluzinationen bei Large Language Models (LLMs) zu verbessern. Herkömmliche MAD sind jedoch rechenintensiv und ineffizient, da sie Folgendes erfordern:

Mehrere Inferenzaufrufe: Ausführung mehrerer separater LLM-Instanzen.
Ausführliche Transkripte: Generierung langer Konversationsverläufe über mehrere Runden hinweg, bevor ein Konsens erreicht wird.
Hoher Token-Verbrauch: Dies führt zu erheblicher Latenz und hohen Kosten, was es für Echtzeitanwendungen oder Anwendungen mit begrenzten Ressourcen unpraktisch macht.

Die Kernherausforderung besteht darin, die Vorteile der kollaborativen Argumentation aus Multi-Agenten-Debatten in ein einzelnes LLM zu destillieren, das die Argumentation intern (in seinem latenten Raum) durchführen kann, ohne das ausführliche externe Debattentranskript zu generieren, und dabei die Leistung beibehält, während die Inferenzkosten drastisch gesenkt werden.

2. Methodik: Internalized Multi-Agent Debate (IMAD)

Die Autoren schlagen IMAD vor, eine zweistufige Feinabstimmungspipeline, die darauf ausgelegt ist, den Debattierungsprozess zu internalisieren. Das Framework besteht aus drei Hauptphasen:

A. Datensatzkonstruktion

Quelle: Ein Datensatz mit 944 Debattenspuren wurde mit GPT-3.5-turbo generiert.
Aufgabe: Arithmetische Probleme (sechs zufällig generierte zweistellige Zahlen) wurden gewählt, um sich auf strukturelles Lernen statt auf komplexes Domänenwissen zu konzentrieren.
Struktur: Der Datensatz umfasst $n=3$ Agenten und $m=2$ Runden. Entscheidend ist, dass Struktur-Tags (z. B. <|Agent 1|>, <|Round 1|>, <|Consensus|>) zu den Protokollen hinzugefügt werden, um dem Modell das Debattenformat explizit beizubringen.
Filterung: Debatten ohne einen finalen Mehrheitskonsens werden verworfen.

B. Stufe 1: Überwachtes Fine-Tuning (SFT) – Strukturlernen

Ziel: Das einzelne LLM soll das Format und die Struktur einer Multi-Agenten-Debatte replizieren lernen.
Prozess: Das Modell wird mittels standardmäßiger autoregressiver Next-Token-Vorhersage auf den vollständigen Debattenspuren (einschließlich aller Agentenwechsel und des finalen Konsenses) trainiert.
Ergebnis: Das Modell lernt, eine strukturierte Sequenz „virtueller Agenten" zu generieren, die Argumente kritisieren und verfeinern, wodurch die externe Debattendynamik effektiv innerhalb eines einzigen Generierungsstroms nachgeahmt wird.

C. Stufe 2: Bestärkendes Lernen (RL) – Internalisierung

Ziel: Übergang des Modells von der Generierung expliziter, ausführlicher Debatten zur internen Durchführung der Argumentation und Ausgabe nur der finalen Antwort.
Algorithmus: Group Relative Policy Optimization (GRPO).
Dynamisches Reward-Scheduling: Die Reward-Funktion $r(x, y)$ $r (x, y)$ kombiniert zwei Komponenten mit dynamischen Gewichten:
1. Format-Reward ( $R_{fmt}$ ): Anfangs positiv, wenn die Ausgabe Struktur-Tags enthält. Das Gewicht $w_{fmt}$ nimmt während des Trainings ab, wodurch der Anreiz zur Ausgabe ausführlicher Strukturen entfällt.
2. Korrektheit mit Längenbegrenzung ( $R(y; l)$ ): Ein Reward von 1 wird nur vergeben, wenn die korrekte Antwort innerhalb eines gekürzten Präfixes der Länge $l$ erscheint. Die Längenbegrenzung $l$ unterliegt einem Annealing, beginnt großzügig ( $l_0$ ) und schrumpft auf ein Ziel-Limit ( $l^*$ ), das nur eine prägnante Antwort zulässt.
Mechanismus: Während der Format-Reward verschwindet und die Längenbegrenzung schrumpft, wird das Modell gezwungen, die im SFT erlernte multiperspektivische Analyse intern (in seinem latenten Raum) durchzuführen, um die Korrektheitsbedingung zu erfüllen, ohne die Längenbedingung zu verletzen.

3. Hauptbeiträge

IMAD-Framework: Eine neuartige zweistufige Pipeline, die Multi-Agenten-Debatten in ein einzelnes LLM destilliert und eine wettbewerbsfähige Leistung mit bis zu 93 % weniger Tokens im Vergleich zur expliziten Multi-Agenten-Debatte erzielt.
Mechanistische Entdeckung (Agenten-Subräume): Durch Aktivierungssteuerungsanalysen zeigen die Autoren, dass IMAD-Modelle nicht in einen einzigen Argumentationsmodus kollabieren. Stattdessen entwickeln sie unterscheidbare, linear trennbare Agenten-Subräume im Aktivierungsraum. Diese Subräume entsprechen spezifischen Agentenperspektiven (z. B. Chain-of-Thought, Self-Critique, Program-of-Thought).
Steuerbare Sicherheit durch Lenkung: Das Papier zeigt, dass diese internalisierten Agenten-Subräume steuerbar sind. Durch das Einfügen eines „bösartigen" Agenten während des Trainings und anschließende Anwendung einer negativen Lenkung (Subtraktion des Lenkvektors des bösartigen Agenten) kann das Modell schädliche Eigenschaften (z. B. böswillige Absicht, Halluzinationen) effektiver unterdrücken als bei der Lenkung eines Basismodells, mit weniger Beeinträchtigung der allgemeinen Aufgabenerfüllung.

4. Experimentelle Ergebnisse

Die Autoren evaluierten IMAD an drei Benchmarks: GSM8K (Mathematik), MMLU-Pro (Wissen über mehrere Domänen) und Big-Bench Hard (logisches Schlussfolgern) unter Verwendung von LLaMA-3.1 8B, Qwen 2.5 7B und Mistral Nemo 12B.

Leistung vs. Effizienz:
- IMAD erreicht oder übertrifft die Genauigkeit der expliziten Multi-Agenten-Debatte (Debate) über alle Modelle und Benchmarks hinweg.
- Token-Reduktion: IMAD verwendet nur 6,3 % bis 21,1 % der Tokens, die für eine explizite Debatte erforderlich sind (ein Effizienzgewinn von 5–16-fach).
- Generalisierung: Obwohl nur auf Arithmetik trainiert, generalisiert IMAD gut auf komplexe Argumentationsaufgaben (MMLU-Pro, BBH) und offene Zusammenfassungsaufgaben.
Analyse der Agenten-Subräume:
- Mithilfe von Contrastive Activation Addition (CAA) extrahierten die Autoren Lenkvektoren für spezifische Agenten-Personas.
- Treue: Gelenkte IMAD-Modelle zeigten eine signifikant höhere Übereinstimmung (ROUGE-Werte) mit den Ziel-Agenten-Personas im Vergleich zu gelenkten Basismodellen (durchschnittliche Verbesserung von 15,41 % in der AUC).
- Dies bestätigt, dass die kollaborative Struktur als identifizierbare latente Repräsentationen erhalten bleibt.
Kontrolle bösartiger Agenten:
- Bei Training mit einem bösartigen Agenten ermöglichten IMAD-Modelle eine nahezu vollständige Unterdrückung „böser" Eigenschaften durch negative Lenkung (Werte sinken auf ~0), während Basismodelle restliches bösartiges Verhalten beibehielten.
- Stabilität: IMAD-Modelle behielten bei extremen Lenkungskoeffizienten eine hohe Aufgabenerfüllung (GSM8K-Genauigkeit) und eine niedrige Perplexität bei, während Basismodelle unter Leistungsabfall und Inkohärenz litten.

5. Bedeutung und Implikationen

Effizienz: IMAD bietet eine praktische Lösung für die hohen Kosten von Multi-Agenten-Systemen und ermöglicht den Einsatz debattenähnlicher Argumentation in Produktionsumgebungen mit der Latenz eines einzelnen Modells.
Interpretierbarkeit: Die Entdeckung von Agenten-Subräumen liefert ein neues mechanistisches Verständnis dafür, wie LLMs komplexe Argumentation internalisieren. Es legt nahe, dass „interne Debatte" nicht nur eine Black-Box-Optimierung ist, sondern die Erhaltung unterscheidbarer, lenkbarer Argumentationsperspektiven beinhaltet.
Sicherheit und Kontrolle: Die Fähigkeit, spezifische Verhaltensmerkmale (wie Halluzinationen oder böswillige Absichten) durch Aktivierungslenkung zu isolieren und zu unterdrücken, bietet einen vielversprechenden neuen Ansatz für die LLM-Sicherheit. Es deutet darauf hin, dass strukturiertes Multi-Agenten-Training modularere und besser kontrollierbare Repräsentationen schafft als Standardtraining, was eine „chirurgische" Entfernung schädlichen Verhaltens ohne Beeinträchtigung der allgemeinen Fähigkeiten des Modells ermöglicht.

Zusammenfassend stellt das Papier fest, dass Fähigkeiten zur Multi-Agenten-Argumentation erfolgreich in den latenten Raum eines einzelnen Modells destilliert werden können, wobei die Vorteile der Zusammenarbeit erhalten bleiben und gleichzeitig eine effiziente Inferenz sowie eine granulare Verhaltenskontrolle ermöglicht werden.