💬 NLP

CANTANTE: Optimizing Agentic Systems via Contrastive Credit Attribution

CANTANTE ist ein neuartiges Framework, das LLM-basierte Multi-Agenten-Systeme durch eine kontrastive Zuordnung von Systembelohnungen auf einzelne Agenten zur Lösung des Kreditverteilungsproblems optimiert, dabei in Prompt-Optimierungsaufgaben über diverse Benchmarks hinweg State-of-the-Art-Leistung erzielt und gleichzeitig die Inferenzkosten senkt.

Ursprüngliche Autoren: Tom Zehle

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tom Zehle

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team aus drei Experten, die gemeinsam an einem schwierigen Rätsel arbeiten: einen Planer, der die Schritte festlegt, einen Coder, der die Lösung schreibt, und einen Validator, der prüft, ob sie funktioniert. Dies ist es, was das Papier als „Multi-Agenten-System" bezeichnet.

Das Problem, das die Autoren unter der Leitung von Tom Zehle identifiziert haben, lautet wie folgt: Wenn das Team scheitert, erhalten Sie eine einzige Note für die gesamte Gruppe (z. B. „Sie haben eine C erhalten"). Aber Sie wissen nicht, wer es verbockt hat. Hat der Planer schlechte Anweisungen gegeben? Hat der Coder einen Tippfehler gemacht? Oder hat der Validator einen Fehler übersehen?

Im traditionellen maschinellen Lernen erhält das gesamte Team dieselbe Note, und alle versuchen, ihr Verhalten basierend auf dieser einzigen Punktzahl zu ändern. Das ist wie ein Lehrer, der einem Fußballteam sagt: „Ihr habt das Spiel verloren", und dann den Torwart, den Stürmer und den Schiedsrichter auffordert, alle ihre Strategien basierend auf diesem einen Satz zu ändern. Es ist ineffizient und verwirrend.

Die Lösung: CANTANTE

Die Autoren stellen ein neues Framework namens CANTANTE vor. Denken Sie an CANTANTE als einen superklugen Sportanalysten, der das Team beobachtet, wie es dasselbe Spiel mehrfach mit leicht unterschiedlichen Strategien spielt, und dann genau aufschlüsselt, wer zum Sieg oder zur Niederlage beigetragen hat.

Hier ist die Funktionsweise, erläutert anhand einer einfachen Analogie:

1. Das „Was-wäre-wenn"-Spiel (Kontrastive Attribution)

Anstatt das Team nur einmal zu benoten, führt CANTANTE das Team drei- oder viermal hintereinander durch dasselbe Rätsel.

Lauf A: Der Planer verwendet einen strengen Ton, der Coder einen schnellen Stil.
Lauf B: Der Planer verwendet einen freundlichen Ton, der Coder denselben schnellen Stil.
Lauf C: Der Planer verwendet einen strengen Ton, der Coder einen langsamen Stil.

Nach diesen Durchläufen erhält das Team für jeden Lauf eine Punktzahl. Jetzt tritt der Attributor (der Analyst) in Aktion. Er betrachtet die Unterschiede:

„In Lauf A und Lauf B war der Coder derselbe, aber der Planer hat sich geändert. Die Punktzahl ist gestiegen. Also war der neue Ton des Planers hilfreich!"
„In Lauf A und Lauf C war der Planer derselbe, aber der Coder hat sich geändert. Die Punktzahl ist gesunken. Also war der neue Stil des Coders schädlich."

Dies wird als Kontrastive Attribution bezeichnet. Sie isoliert den Beitrag jeder Person, indem sie diese miteinander vergleicht, anstatt nur die Endpunktzahl zu betrachten.

2. Der „Guthaben-Score" für jeden Agenten

Sobald der Analyst herausgefunden hat, wer dem Team geholfen und wer ihm geschadet hat, vergibt er jedem Agenten einen spezifischen Guthaben-Score (im Bereich von -1 bis +1).

Erhält der Planer einen +0,8, weiß das System, dass die Anweisungen des Planers so angepasst werden sollten, dass sie mehr dieser erfolgreichen Version ähneln.
Erhält der Coder einen -0,5, weiß das System, dass der Coder von diesem spezifischen Stil weggesteuert werden muss.

Entscheidend ist, dass das Papier behauptet, dies sei besser als das bloße Kopieren der globalen Punktzahl. Auf die alte Weise könnte der Planer beschuldigt werden, wenn das Team scheiterte, selbst wenn der Planer eine großartige Arbeit geleistet hat und der Coder das Problem war. CANTANTE behebt dies, indem es sagt: „Der Planer hat gut gemacht; der Coder muss sich ändern."

3. Die Ergebnisse: Intelligente Teams, weniger Verschwendung

Die Autoren haben dies an drei sehr unterschiedlichen Arten von „Rätseln" getestet:

Programmierung (MBPP): Schreiben von Computerprogrammen.
Mathematik (GSM8K): Lösen von Textaufgaben.
Forschung (HotpotQA): Beantwortung komplexer Fragen, die das Nachschlagen von Informationen an mehreren Stellen erfordern.

Die Erkenntnisse:

Bessere Scores: CANTANTE schlug konsistent andere Methoden. Bei der Programmieraufgabe verbesserte es die Genauigkeit um fast 19 % im Vergleich zur nächstbesten Methode. Bei der Mathematikaufgabe verbesserte es sich um 12,5 %.
Günstiger im Betrieb: Überraschenderweise mussten die von CANTANTE optimierten Teams nicht länger „nachdenken" oder mehr Rechenleistung verwenden, um die richtige Antwort zu erhalten. Tatsächlich nutzten sie bei den Programmier- und Mathematikaufgaben weniger Ressourcen (Tokens) als die nicht optimierten Teams.
Stabilität: Die Methode hatte nicht nur einmal Glück; sie funktionierte konsistent über verschiedene zufällige Starts hinweg.

Warum dies wichtig ist (laut dem Papier)

Das Papier argumentiert, dass der Aufbau dieser KI-Teams kein Spiel des „Ratens und Prüfens" sein sollte, bei dem Menschen manuell Prompts anpassen. Stattdessen sollte es eine Wissenschaft der Zuordnung von Verdiensten (Credit Assignment) sein.

Genau wie ein Trainer das gesamte Team nicht anschreit, wenn ein Spieler einen Schuss verfehlt, stellt CANTANTE sicher, dass das KI-System genau lernt, welcher Teil des Teams verbessert werden muss. Es verwandelt die „Black Box" eines Multi-Agenten-Systems in eine transparente Maschine, bei der jeder Agent genau weiß, wie er besser werden kann.

Kurz gesagt: CANTANTE ist eine Methode, die es KI-Teams ermöglicht, aus ihren Fehlern zu lernen, indem sie fragt: „Wer hat genau dieses Ergebnis verursacht?" anstatt nur zu sagen: „Wir haben versagt, versuchen Sie es härter." Dies führt zu intelligenteren, effizienteren und genaueren KI-Systemen.

Technische Zusammenfassung: CANTANTE

Problemstellung

Multi-Agenten-Systeme (MAS) auf Basis von Large Language Models (LLM) haben sich in komplexen Aufgaben wie Softwareentwicklung, Vorhersagemodellierung und retrieval-augmentierter Generierung als leistungsfähig erwiesen. Die Automatisierung ihrer Konfiguration bleibt jedoch eine strukturelle Herausforderung. Zwar sind systemweite Bewertungswerte (z. B. Genauigkeit, Belohnung) verfügbar, doch die Parameter, die das Verhalten einzelner Agenten steuern (wie Prompts), sind lokal. Dies erzeugt eine Diskrepanz bei der „Zuordnung von Verdiensten“ (credit assignment): Die Optimierung des Systems erfordert die Umwandlung eines globalen skalaren Signals in spezifische Aktualisierungssignale für jeden Agenten.

Bestehende Ansätze leiten globale Scores oft direkt an einzelne Agenten weiter oder aktualisieren Agenten sequenziell (z. B. Round-Robin), wobei sie das Belohnungssignal nicht effektiv zerlegen. Dies führt zu einer ineffizienten Optimierung, bei der Agenten falsche Aktualisierungssignale erhalten können (z. B. wird ein Planer für einen Fehler eines Coders bestraft) oder bei der der Suchraum aufgrund der kombinatorischen Natur gemeinsamer Konfigurationen unlösbar wird.

Methodik: CANTANTE

Die Autoren stellen CANTANTE (Contrastive Attribution for Tuning of Multi-Agent Systems) vor, ein Framework, das die Optimierung von MAS als Problem der Zuordnung von Verdiensten formalisiert. Der Kernmechanismus ist die kontrastive In-Group-Zuordnung, die systemweite Belohnungen in Aktualisierungssignale pro Agent zerlegt.

Kernmechanismus

Stichprobenziehung gemeinsamer Konfigurationen: In jedem Iterationsschritt schlagen lokale Optimierer $K$ Kandidaten-Parametrisierungen (z. B. Prompts) für jeden der $N$ Agenten vor. Diese werden zu $K$ gemeinsamen Konfigurationen zusammengesetzt.
Rollout und Bewertung: Jede gemeinsame Konfiguration wird auf einem Satz von Abfragen ausgeführt, wodurch systemweite Scores und Ausführungsspuren (Trajektorien der Agentenausgaben) erzeugt werden.
Kontrastive Zuordnung: Anstatt Verdienste basierend auf absoluten Scores zuzuordnen, vergleicht ein Zuordnungsmodell (ein gepromptetes LLM) die Trajektorien innerhalb einer zufälligen Vergleichsgruppe der Größe $g$ $g$ . Es bewertet, wie sehr der spezifische Output jedes Agenten zu den beobachteten Unterschieden in den Systemergebnissen im Verhältnis zu den anderen Konfigurationen in der Gruppe beigetragen hat.
- Der Zuordner gibt einen skalaren Verdienst $c \in [-1, +1]$ für jeden Agenten pro Rollout aus.
- Dies ermöglicht es dem System, Konfigurationen mit identischen Systemscores durch die Analyse intermediärer Verhaltensunterschiede zu unterscheiden.
Lokale Aktualisierungen: Die aggregierten Verdienste werden an die jeweiligen lokalen Optimierer weitergeleitet, die die Agentenparameter (Prompts) unabhängig aktualisieren.

Konkretisierung

In den Experimenten wird CANTANTE für die Prompt-Optimierung konkretisiert, wobei Agenten-Prompts als lernbare Systemparameter behandelt werden. Das Framework ist unabhängig von der Wahl des lokalen Optimierers; die Autoren nutzen CAPO (Cost-aware Prompt Optimization) als Standard-lokalen Optimierer, zeigen jedoch die Kompatibilität mit anderen wie EvoPrompt.

Hauptbeiträge

Formalisierung: Der Artikel formalisiert die Optimierung von LLM-basierten MAS als Problem der Zuordnung von Verdiensten und unterscheidet sie von der Standard-Prompt-Optimierung, bei der das System als monolithischer Block behandelt wird.
Framework-Design: CANTANTE führt einen Mechanismus zur kontrastiven Zuordnung ein, der Beiträge pro Agent isoliert, indem er gemeinsame Rollouts vergleicht, und entkoppelt die Zuordnung vom spezifischen Aktualisierungsmechanismus.
Empirische Validierung: Das Framework wird gegen State-of-the-Art-Baselines (GEPA und MIPROv2) über drei verschiedene Benchmarks mit unterschiedlichen Workflow-Topologien evaluiert:
- MBPP: Programmierung (bedingter Workflow mit Planer, Executor, Validator).
- GSM8K: Mathematisches Schlussfolgern (paralleles Ensembling mit drei Executoren und einem Konsensus-Agenten).
- HotpotQA: Multi-Hop-Fragebeantwortung (retrieval-augmentierte Generierung mit Retriever, Reader, Synthesizer und Halluzinationsprüfer).
Ablation und Analyse: Die Autoren isolieren die kontrastive Zuordnung als primären Treiber von Leistungssteigerungen durch eine „Identitäts-Zuordnungs“-Ablation (bei der globale Scores direkt weitergeleitet werden). Sie analysieren zudem Verdienstkorrelationen, um Engpässe in der MAS-Topologie zu diagnostizieren.

Ergebnisse

CANTANTE erreicht unter allen evaluierten Optimierern über die Benchmarks hinweg den besten durchschnittlichen Rang.

Leistungssteigerungen:
- MBPP: Erreichte 41,89 % Genauigkeit, eine Verbesserung von +18,9 Prozentpunkten gegenüber der stärksten Baseline (MIPROv2) und +36,35 Punkten gegenüber den initialen, nicht optimierten Prompts. Es zeigte zudem eine signifikant geringere Varianz über Seeds hinweg im Vergleich zu Baselines.
- GSM8K: Erreichte 82,33 % Genauigkeit, eine Verbesserung gegenüber MIPROv2 um +12,5 Prozentpunkte und gegenüber GEPA um 21,06 Punkte.
- HotpotQA: Erreichte 11,93 % Genauigkeit, blieb innerhalb einer Standardabweichung der stärksten Baseline und verbesserte sich gegenüber der initialen Konfiguration.
Effizienz: Bei MBPP und GSM8K erreichte CANTANTE eine höhere Genauigkeit, während es weniger Inference-Zeit-Tokens pro Abfrage im Vergleich zu nicht optimierten Prompts und anderen Baselines benötigte. Dies deutet darauf hin, dass die Gewinne nicht durch erhöhte Rechenleistung, sondern durch eine bessere Parametrisierung erzielt wurden.
Robustheit: Die Methode blieb bei reduzierten Datensatzgrößen (bis hinunter zu 75 Proben) wirksam und war robust gegenüber Änderungen im Zuordnungsmodell und im Prompt.
Verdienstkorrelation: Die Analyse bestätigte, dass der Zuordner aussagekräftige Signale pro Agent erzeugt und nicht lediglich globale Scores widerspiegelt. Beispielsweise erhielten bei GSM8K später ausgeführte Agenten aufgrund eines Recency-Bias höhere Zuordnungen, ein Muster, das mit bekannten LLM-Verhalten übereinstimmt.

Bedeutung und Behauptungen

Die Autoren behaupten, dass CANTANTE einen Schritt darstellt, um Parameter von Multi-Agenten-Systemen als Objekte des maschinellen Lernens und nicht als manuelle Konfiguration zu behandeln. Durch die Adressierung der strukturellen Diskrepanz zwischen lokalen Parametern und globalem Feedback ermöglicht das Framework eine prinzipielle Anpassung von MAS an neue Aufgaben.

Die Autoren betonen, dass kontrastive Zuordnung eine effektivere Optimierungs-Primitive für LLM-basierte MAS ist als die Weiterleitung globaler Scores. Die Fähigkeit, aussagekräftige Signale pro Agent zu generieren, ermöglicht:

Eine stabilere und effizientere Optimierung (wie in geringerer Varianz und schnellerer Konvergenz zu sehen).
Diagnosefähigkeiten für das Design der MAS-Topologie (Identifizierung, welche Agenten Engpässe sind).
Die Entkopplung des Zuordnungsmechanismus vom lokalen Optimierer, was die Integration fortschrittlicher Optimierungsstrategien erlaubt.

Die Arbeit wird als grundlegender Ansatz zur Automatisierung der Konfiguration komplexer agenter Workflows präsentiert, der den derzeit für den Einsatz erforderlichen manuellen Aufwand reduziert.