Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate

1. Probleemstelling

Multi-agent debat (MAD) heeft bewezen effectief te zijn voor het verbeteren van het redeneren, de feitelijke nauwkeurigheid en de weerstand tegen hallucinaties van Large Language Models (LLM's). Traditioneel MAD is echter rekenkundig duur en inefficiënt omdat het vereist:

• Meerdere Inferentieoproepen: Het uitvoeren van meerdere afzonderlijke LLM-instanties.
• Uitgebreide Transcripties: Het genereren van lange conversatiegeschiedenissen over meerdere rondes voordat een consensus wordt bereikt.
• Hoge Tokenconsumptie: Dit leidt tot aanzienlijke latentie en kosten, waardoor het onpraktisch is voor real-time toepassingen of toepassingen met beperkte middelen.

De kernuitdaging is om de voordelen van collaboratief redeneren uit multi-agent debat te distilleren naar een enkele LLM die het redeneren intern (in zijn latente ruimte) kan uitvoeren zonder het uitgebreide externe debattranscript te genereren, waardoor de prestaties behouden blijven terwijl de inferentiekosten drastisch worden verlaagd.

2. Methodologie: Internalized Multi-Agent Debate (IMAD)

De auteurs stellen IMAD voor, een twee-traps fijne-tuningpijplijn ontworpen om het debatproces te internaliseren. Het kader bestaat uit drie hoofdfasen:

A. Datasetconstructie

• Bron: Een dataset van 944 debattraces werd gegenereerd met GPT-3.5-turbo.
• Taak: Rekenproblemen (zes willekeurig gegenereerde twee-cijferige getallen) werden gekozen om te focussen op structureel leren in plaats van complexe domeinkennis.
• Structuur: De dataset omvat $n=3$ agenten en $m=2$ rondes. Cruciaal zijn structuurtags (bijv. <|Agent 1|>, <|Round 1|>, <|Consensus|>) toegevoegd aan de logs om het model expliciet het debatformaat aan te leren.
• Filtering: Debatten zonder een uiteindelijke meerderheidsconsensus worden verworpen.

B. Trap 1: Supervised Fine-Tuning (SFT) - Structuurleren

• Doel: De enkele LLM leren het formaat en de structuur van een multi-agent debat te repliceren.
• Proces: Het model wordt getraind via standaard autoregressieve next-tokenpredictie op de volledige debattraces (inclusief alle agentbeurten en de uiteindelijke consensus).
• Resultaat: Het model leert een gestructureerde reeks "virtuele agenten" te genereren die argumenten bekritiseren en verfijnen, waardoor de externe debatsdynamiek effectief wordt nagebootst binnen één generatiestroom.

C. Trap 2: Reinforcement Learning (RL) - Internalisatie

• Doel: Het model overbrengen van het genereren van expliciete, uitgebreide debatten naar het intern uitvoeren van het redeneren en uitsluitend het uiteindelijke antwoord outputten.
• Algoritme: Group Relative Policy Optimization (GRPO).
• Dynamische Beloningsplanning: De beloningsfunctie $r(x, y)$ combineert twee componenten met dynamische gewichten:
  1. Format Beloning ($R_{fmt}$): Initieel positief als de output structurele tags bevat. Het gewicht $w_{fmt}$ neemt af tijdens de training, waardoor de prikkel om uitgebreide structuren te outputten wordt verwijderd.
  2. Juistheid met Lengte-afkapping ($R(y; l)$): Een beloning van 1 wordt alleen gegeven als het juiste antwoord voorkomt binnen een afgekapt voorvoegsel van lengte $l$. De lengtelimiet $l$ ondergaat tempering, beginnend met een soepele limiet ($l_0$) en krimpend naar een doelgrens ($l^*$) die alleen een beknopt antwoord past.
• Mechanisme: Naarmate de formatbeloning verdwijnt en de lengtelimiet krimpt, wordt het model gedwongen om de in SFT aangeleerde multi-perspectiefanalyse intern (in zijn latente ruimte) uit te voeren om te voldoen aan de juistheidsbeperking zonder de lengtebeperking te schenden.

3. Belangrijkste Bijdragen

1. IMAD Framework: Een nieuw twee-traps pijplijn die multi-agent debat distilleert naar een enkele LLM, met concurrerende prestaties tot 93% minder tokens in vergelijking met expliciet multi-agent debat.
2. Mechanistische Ontdekking (Agent Subspaces): Door middel van activatiesturinganalyse tonen de auteurs aan dat IMAD-modellen niet instorten tot één redeneermode. In plaats daarvan ontwikkelen ze distincte, lineair scheidbare agent subspaces in de activatieruimte. Deze subspaces corresponderen met specifieke agentperspectieven (bijv. Chain-of-Thought, Self-Critique, Program-of-Thought).
3. Controleerbare Veiligheid via Sturing: Het paper toont aan dat deze geïnternaliseerde agent subspaces controleerbaar zijn. Door tijdens de training een "malicious" agent in te brengen en vervolgens negatieve sturing toe te passen (het aftrekken van het stuurvector van de malicious agent), kan het model schadelijke trekken (bijv. kwaadaardige intentie, hallucinaties) effectiever onderdrukken dan het sturen van een basismodel, met minder degradatie van de algemene taakprestaties.

4. Experimentele Resultaten

De auteurs evalueerden IMAD op drie benchmarks: GSM8K (wiskunde), MMLU-Pro (multi-domeinkennis) en Big-Bench Hard (logisch redeneren), met gebruikmaking van LLaMA-3.1 8B, Qwen 2.5 7B en Mistral Nemo 12B.

• Prestaties vs. Efficiëntie:
  • IMAD komt overeen met of overtreft de nauwkeurigheid van expliciet multi-agent debat (Debate) over alle modellen en benchmarks.
  • Tokenreductie: IMAD gebruikt slechts 6,3% tot 21,1% van de tokens die nodig zijn voor expliciet debat (een efficiëntiewinst van 5–16x).
  • Generalisatie: Ondanks dat het alleen is getraind op rekenen, generaliseert IMAD goed naar complexe redeneertaken (MMLU-Pro, BBH) en open-ended samenvattingstaken.
• Agent Subspace Analyse:
  • Met behulp van Contrastive Activation Addition (CAA) extraheren de auteurs stuurvectoren voor specifieke agentpersona's.
  • Getrouwheid: Gestuurde IMAD-modellen toonden een aanzienlijk hogere alignering (ROUGE-scores) met doel-agentpersona's in vergelijking met gestuurde basismodellen (gemiddelde verbetering van 15,41% in AUC).
  • Dit bevestigt dat de collaboratieve structuur behouden blijft als identificeerbare latente representaties.
• Malicious Agent Controle:
  • Wanneer getraind met een malicious agent, stonden IMAD-modellen toe om "kwaadaardige" trekken bijna volledig te onderdrukken via negatieve sturing (scores dalen tot ~0), terwijl basismodellen resterende malafide gedrag behielden.
  • Stabiliteit: IMAD-modellen behielden hoge taakprestaties (GSM8K-nauwkeurigheid) en lage perplexiteit onder extreme stuurcoëfficiënten, terwijl basismodellen leden onder prestatie-instorting en oncoherentie.

5. Betekenis en Implicaties

• Efficiëntie: IMAD biedt een praktische oplossing voor de hoge kosten van multi-agent systemen, waardoor de implementatie van debat-achtig redeneren in productieomgevingen mogelijk wordt met de latentie van een enkel model.
• Interpreteerbaarheid: De ontdekking van agent subspaces biedt een nieuw mechanistisch inzicht in hoe LLM's complex redeneren internaliseren. Het suggereert dat "intern debat" niet slechts een black-box optimalisatie is, maar behoud van distincte, stuurbare redeneerperspectieven omvat.
• Veiligheid en Controle: Het vermogen om specifieke gedragskenmerken (zoals hallucinaties of malafide intentie) te isoleren en te onderdrukken via activatiesturing biedt een veelbelovende nieuwe weg voor LLM-veiligheid. Het suggereert dat gestructureerde multi-agent training meer modulaire en controleerbare representaties creëert dan standaard training, waardoor een "chirurgische" verwijdering van schadelijk gedrag mogelijk is zonder de algemene capaciteiten van het model te breken.

Concluderend stelt het paper vast dat multi-agent redeneercapaciteiten succesvol kunnen worden gedistilleerd naar de latente ruimte van een enkel model, waarbij de voordelen van collaboratie behouden blijven terwijl efficiënte inferentie en granulaire gedragscontrole mogelijk worden.