🤖 AI

AgentPSO: Evolving Agent Reasoning Skill via Multi-agent Particle Swarm Optimization

AgentPSO ist ein neuartiges Framework, das Multi-Agenten-Reasoning-Fähigkeiten entwickelt, indem es Agenten als Partikel in einem Schwarmoptimierungsprozess behandelt und ihre natürlichen Sprach-Reasoning-Strategien durch eine Kombination aus persönlichen und globalen besten Erfahrungen iterativ aktualisiert, um die Problemlösungsleistung zu verbessern, ohne die Parameter des zugrunde liegenden Sprachmodells zu verändern.

Ursprüngliche Autoren: Hyunmin Hwang, Jaemin Kim, Choonghan Kim, Hangeol Chang, Jong Chul Ye

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hyunmin Hwang, Jaemin Kim, Choonghan Kim, Hangeol Chang, Jong Chul Ye

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team von vier brillanten Detektiven, die versuchen, ein sehr kniffliges Rätsel zu lösen. In der Vergangenheit, wenn sie feststeckten, würden sie entweder in Echtzeit miteinander streiten (hin und her debattieren) oder einfach versuchen, allein intensiver nachzudenken. Beide Methoden hatten Probleme: Das Streiten dauerte zu lange, und manchmal einigten sie sich nur auf die falsche Antwort, weil sie Angst hatten, zu widersprechen, während das alleinige Nachdenken bedeutete, dass sie immer wieder dieselben Fehler machten.

Die Arbeit stellt eine neue Methode vor, um diese Detektiven zu trainieren, die AgentPSO heißt. Anstatt während der Ermittlungen zu streiten, trainieren sie gemeinsam bevor der Fall beginnt, lernen voneinander und werden dauerhaft besser darin, Probleme zu lösen.

So funktioniert es, anhand einer einfachen Analogie:

Die Analogie vom „Schwarm der Bienen"

Stellen Sie sich die vier Detektiven als Bienen in einem Schwarm vor. In der Natur finden Bienen die besten Blumen, indem sie Informationen austauschen. Wenn eine Biene ein großartiges Blumenfeld findet, lernen die anderen daraus.

Bei AgentPSO ist jeder Detektiv (Agent) wie eine Biene, die einen „Rucksack" mit Anweisungen trägt, wie man Probleme löst. Dieser Rucksack ist ihre Fähigkeit (Skill).

Das Ziel: Sie wollen ihre Rucksäcke so aufrüsten, dass sie mathematische und logische Rätsel perfekt lösen können.
Der Prozess: Sie ändern ihre Rucksäcke nicht durch Streiten. Stattdessen durchlaufen sie einen Trainingszyklus, in dem sie versuchen, einen Satz von Problemen zu lösen, sehen, was die anderen getan haben, und passen dann ihre Anweisungen an.

Die drei magischen Zutaten

Jedes Mal, wenn das Team trainiert, aktualisiert jeder Detektiv seinen Rucksack mit drei spezifischen Quellen für Ratschläge, ähnlich wie ein Partikel-Schwarm-Optimierungsalgorithmus (PSO) in der Informatik funktioniert:

Das „Persönliche Bestes" (In den Spiegel schauen):
Der Detektiv schaut auf seine eigene Geschichte. „Hey, das letzte Mal, als ich diese spezifische Methode zum Überprüfen meiner Mathematik angewendet habe, habe ich es richtig gemacht. Ich sollte das weitermachen." Dies ist ihre persönlich beste Fähigkeit.
Das „Globale Bestes" (Auf den Star-Spieler schauen):
Der Detektiv schaut auf das gesamte Team. „Wow, Detektiv B hat das letzte Problem perfekt mit einem speziellen Trick gelöst. Ich sollte versuchen, diesen Trick zu lernen." Dies ist die global beste Fähigkeit, die von der gesamten Gruppe gefunden wurde.
Die „Selbstreflektierende Richtung" (Der kritische Trainer):
Dies ist das geheime Spezialrezept der Arbeit. Anstatt die Anweisungen des Star-Spielers wortwörtlich zu kopieren (was für diesen spezifischen Detektiv vielleicht keinen Sinn ergibt), agiert der Detektiv wie ein Trainer. Er betrachtet den Denkprozess des Star-Spielers und fragt: „Warum haben sie Erfolg gehabt? Was habe ich falsch gemacht?"
- Beispiel: Wenn der Star-Spieler nach „Randfällen" (seltsamen Zahlen, die Regeln brechen) gesucht hat und der Detektiv nicht, sagt der Trainer dem Detektiv: „Sie müssen einen Schritt hinzufügen, um nach seltsamen Zahlen zu suchen."
- Dies erzeugt eine selbstreflektierende Richtung, eine spezifische Anweisung, wie man sich verbessert, anstatt einfach nur die Antwort zu kopieren.

Der Trainingszyklus

Das Team durchläuft diesen Zyklus 10 Mal:

Versuchen: Jeder löst einen Satz von Übungsproblemen unter Verwendung der aktuellen Anweisungen in seinem Rucksack.
Beobachten: Sie tauschen ihre Arbeit aus. Sie sehen, wer es richtig gemacht hat und wie er es getan hat.
Reflektieren: Jeder Detektiv schreibt sich eine Notiz (die selbstreflektierende Richtung), was er ändern soll.
Aktualisieren: Sie kombinieren ihre alten Notizen, ihre persönlichen Besten, die Besten des Teams und ihre neue Reflexion, um ihre Rucksack-Anweisungen neu zu schreiben.
Wiederholen: Sie versuchen es erneut mit den neuen Anweisungen.

Warum das eine große Sache ist

Die Arbeit zeigt, dass diese Methode aus zwei Hauptgründen besser ist als die alten Wege:

Keine endlosen Debatten mehr: Bei den alten „Multi-Agent-Debatte"-Methoden mussten die Detektiven für jedes einzelne Problem miteinander sprechen, was langsam und teuer war. Bei AgentPSO erfolgt das gesamte Lernen während des Trainings. Wenn es Zeit ist, das eigentliche Problem zu lösen, arbeiten sie einfach unabhängig und stimmen über die Antwort ab. Es ist schnell und effizient.
Sie lernen tatsächlich, nicht nur auswendig: Die Arbeit beweist, dass die Detektiven nicht nur die Antworten auf die Übungsprobleme auswendig gelernt haben. Als die Forscher ihnen neue Arten von Rätseln gaben (oder sogar ein anderes KI-Modell aufforderten, dieselben Anweisungen zu verwenden), performten die Detektiven immer noch gut. Das bedeutet, dass sie allgemeine Schlussfolgerungsfähigkeiten (wie „überprüfe immer deine Randfälle") gelernt haben, anstatt nur spezifische Antworten auswendig zu lernen.

Das Ergebnis

Am Ende des Trainings hat sich das Team von Detektiven weiterentwickelt. Sie sind keine vier zufälligen Denker mehr; sie sind ein hochabgestimmtes Team, bei dem jedes Mitglied einen verfeinerten, wiederverwendbaren Satz von Anweisungen hat, der sie schlauer macht als am Anfang und schlauer als Teams, die nur in Echtzeit streiten.

Kurz gesagt: AgentPSO ist eine Methode, um KI-Agenten beizubringen, bevor sie mit der Arbeit beginnen, aus den Fehlern und Erfolgen der anderen zu lernen. Dabei wird eine Gruppe durchschnittlicher Denker in ein Super-Team von Problemlösern verwandelt, ohne dass das Gehirn der KI verändert werden muss, sondern nur ihr „Bedienhandbuch".

Technische Zusammenfassung: AgentPSO

Problemstellung

Während Large Language Models (LLMs) signifikante Fortschritte beim komplexen Schlussfolgern gezeigt haben, bleibt ihre Leistung stark abhängig vom Prompt-Engineering und den spezifischen Schlussfolgerungsfähigkeiten, zu deren Einsatz sie angeleitet werden. Bestehende Ansätze zur Verbesserung des Schlussfolgerns lassen sich im Allgemeinen in zwei Kategorien einteilen, die beide Einschränkungen aufweisen:

Einzelagenten-Selbstentwicklung: Methoden, die den Prompt oder die Strategie eines einzelnen Agenten durch Selbstreflexion verfeinern, leiden häufig unter begrenzter explorativer Vielfalt und können in lokalen Optima stecken bleiben, die durch die inhärenten Verzerrungen des Modells eingeschränkt sind.
Inferenzzeit-Mehrfachagenten-Zusammenarbeit: Ansätze wie Mehrfachagentendebatten oder Aggregation ermöglichen es Agenten, sich während der Inferenz gegenseitig zu kritisieren. Diese Methoden sind jedoch anfällig für falsche Peer-Einflüsse und verzerrte Konsensbildungen. Entscheidend ist, dass sie statisch sind; die zugrunde liegenden Schlussfolgerungsfähigkeiten der Agenten entwickeln sich nicht über verschiedene Aufgaben hinweg weiter, und der rechnerische Aufwand für mehrstufige Debatten zur Testzeit ist erheblich.

Die zentrale Frage, die diese Arbeit behandelt, lautet: Können Mehrfachagentensysteme ihre zugrunde liegenden Schlussfolgerungsfähigkeiten durch kollektive Interaktion iterativ weiterentwickeln, anstatt lediglich die Ausgabe für einen einzelnen Fall zu verfeinern?

Methodik: AgentPSO

Die Autoren schlagen AgentPSO vor, ein Framework, das die evolutionäre Entwicklung von Schlussfolgerungsfähigkeiten in Mehrfachagentensystemen als dynamisches Optimierungsproblem behandelt, das von der Partikelschwarmoptimierung (PSO) inspiriert ist. Im Gegensatz zur Standard-PSO, die auf kontinuierlichen numerischen Vektoren operiert, arbeitet AgentPSO in einem natürlichsprachlichen Fähigkeitsraum.

Kernkonzepte

Agenten als Partikel: Jeder Agent $A_i$ in einer Population von $N$ Agenten wird als Partikel behandelt.
Zustand ( $s_i^t$ ): Die „Position" des Partikels ist die aktuelle Schlussfolgerungsfähigkeit des Agenten, definiert als natürliche Sprachanweisung.
Geschwindigkeit ( $v_i^t$ ): Die „Geschwindigkeit" ist eine semantische Aktualisierungsrichtung, die die textliche Revision darstellt, die auf die Fähigkeit angewendet werden soll.
Persönliches Bestes ( $p_i^t$ ) und Globales Bestes ( $g^t$ ): Diese repräsentieren die höchstperformanten Fähigkeitszustände, die vom einzelnen Agenten bzw. von der gesamten Population basierend auf der Validierungsgenauigkeit entdeckt wurden.

Der evolutionäre Zyklus

Das Framework arbeitet über $T$ Trainingsiterationen und optimiert ausschließlich die Fähigkeitsanweisungen, ohne die Parameter des zugrunde liegenden LLM zu aktualisieren. Jede Iteration folgt vier Schritten:

Unabhängiges Lösen: Alle Agenten lösen denselben Trainingsbatch unabhängig voneinander unter Verwendung ihrer aktuellen Fähigkeiten ( $s_i^t$ ). In dieser Phase findet keine Kommunikation zwischen den Agenten statt, um eine saubere Zuordnung der Leistung zu spezifischen Fähigkeiten zu gewährleisten.
Peer-Beobachtung und Selbstreflexion: Jeder Agent beobachtet die Schlussfolgerungsspuren und Korrektheitslabels der gesamten Population (ohne seine eigenen Fähigkeitsanweisungen). Basierend darauf generiert der Agent eine selbstreflexive Richtung ( $d_i^t$ ) unter Verwendung einer Reflect-Funktion. Diese Richtung identifiziert wiederverwendbare Lehren aus den Peer-Trajektorien (z. B. Annahmen überprüfen, Probleme zerlegen), anstatt einfach den Prompt eines Peers zu kopieren.
PSO-inspirierte Aktualisierung: Der Agent aktualisiert seine semantische Geschwindigkeit ( $v_i^{t+1}$ $v_{i}^{t + 1}$ ) durch Kombination von:
- Der vorherigen Geschwindigkeit ( $v_i^t$ ).
- Der selbstreflexiven Richtung ( $d_i^t$ ).
- Der persönlich besten Fähigkeit ( $p_i^t$ ).
- Der global besten Fähigkeit ( $g^t$ ).
  Dies erfolgt über eine VelocityUpdate-Funktion, bei der das LLM eine neue textliche Anweisung synthetisiert, die beschreibt, wie die aktuelle Fähigkeit zu revidieren ist.
Fähigkeitsumschreibung: Die neue Geschwindigkeit wird über eine SkillUpdate-Funktion auf die aktuelle Fähigkeit angewendet, wodurch der nächste Fähigkeitszustand ( $s_i^{t+1}$ ) generiert wird.
Validierung und Selektion: Aktualisierte Fähigkeiten werden an einem Validierungsbatch evaluiert. Persönlich beste und global beste Fähigkeiten werden nur aktualisiert, wenn die neue Leistung die vorherige beste um einen Rand $\epsilon$ übertrifft, um zu verhindern, dass Rauschen die Suche destabilisiert.

Zur Testzeit lösen die weiterentwickelten Agenten Probleme unabhängig voneinander, und ihre Antworten werden durch Mehrheitsabstimmung aggregiert, wodurch die Notwendigkeit kostspieliger mehrstufiger Debatten entfällt.

Hauptbeiträge

AgentPSO-Framework: Die Einführung eines PSO-inspirierten Frameworks, das die Entwicklung von Schlussfolgerungsfähigkeiten in Mehrfachagentensystemen vorantreibt, indem Agenten durch persönlich beste, global beste und selbstreflexive Richtungen im natürlichen Sprachraum aktualisiert werden.
Dauerhafte Fähigkeitsentwicklung: Der Nachweis, dass AgentPSO eine dauerhafte Entwicklung der Agentenfähigkeiten bewirkt und eine stärkere Leistung erzielt als statische Einzelagenten-Prompts und debattenbasierte Mehrfachagenten-Baselines, ohne kostspielige Interaktion zur Testzeit zu erfordern.
Übertragbarkeit: Belege dafür, dass die weiterentwickelten Fähigkeiten auf verschiedene Schlussfolgerungs-Benchmarks und sogar auf unterschiedliche zugrunde liegende LLMs übertragbar sind, was darauf hindeutet, dass die Methode allgemeine Schlussfolgerungsverhalten lernt, anstatt aufgaben spezifische Prompts auswendig zu lernen.

Experimentelle Ergebnisse

Die Autoren evaluierten AgentPSO an mathematischen Schlussfolgerungs-Benchmarks (DeepMath, MATH, AIME25, Minerva) und allgemeinen Schlussfolgerungs-Benchmarks (BigBenchHard).

Leistung: AgentPSO erzielte die höchste durchschnittliche Genauigkeit (71,98 %) über alle Benchmarks hinweg und übertraf reine Einzelagenten-Methoden (z. B. Chain-of-Thought mit 64,50 %), fortgeschrittene Einzelagenten-Methoden (z. B. Self-Refine mit 66,50 %) sowie statische Mehrfachagenten-Baselines wie MAD (67,68 %) und DMAD (68,79 %).
Progressive Verbesserung: Die Analyse zeigte, dass sich sowohl persönlich beste als auch global beste Fähigkeiten über die Iterationen hinweg progressiv verbesserten und die Population zu effektiveren Fähigkeitskonfigurationen führten.
Querschnitts-Benchmark-Transfer: Auf DeepMath optimierte Fähigkeiten performten gut auf BigBenchHard (und umgekehrt) und übertrafen statische Baselines, was auf das Erlernen generalisierbarer Schlussfolgerungsverfahren hindeutet.
Querschnitts-Modell-Transfer: Mit GPT optimierte Fähigkeiten wurden erfolgreich ohne weiteres Training auf Claude angewendet und verbesserten die durchschnittliche Genauigkeit von Claude von ~52–55 % (mit Standardprompts) auf 58,37 %.
Ablationsstudien: Das Entfernen der selbstreflexiven Richtung ( $d_i$ ) führte zu einem erheblichen Leistungsabfall, was bestätigt, dass alleinige PSO-Leitlinien (persönlich/global bestes) für die Optimierung komplexer Schlussfolgerungsfähigkeiten nicht ausreichen. Die selbstreflexive Komponente liefert die notwendige Verhaltensführung, um wiederverwendbare Lehren zu extrahieren.
Effizienz: Obwohl AgentPSO eine Trainingsphase erfordert, reduziert es die Latenz zur Inferenzzeit im Vergleich zu debattenbasierten Methoden (MAD, MoA) erheblich, da weiterentwickelte Agenten Probleme unabhängig lösen und Antworten durch Abstimmung aggregieren, wodurch der Overhead mehrstufiger Kommunikation vermieden wird.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass AgentPSO demonstriert, dass Mehrfachagenten-Zusammenarbeit nicht nur als Mechanismus zur Verfeinerung von Antworten zur Inferenzzeit dienen kann, sondern auch als prozess ohne Modellparameter zur Entwicklung wiederverwendbarer Schlussfolgerungsfähigkeiten auf Populationsebene.

Indem Agenten als Partikel in einem Schwarm behandelt werden, die aus den Schlussfolgerungstrajektorien anderer lernen, ermöglicht das Framework Agenten, wiederverwendbare Schlussfolgerungsverhalten (wie Problemmklassifizierung, Randfallverifizierung und Formatkonformität) zu erwerben, ohne die zugrunde liegenden Modellgewichte zu aktualisieren. Die Autoren gehen davon aus, dass dieser Ansatz die Zuverlässigkeit und Effizienz von Schlussfolgerungssystemen verbessert, indem er Agenten ermöglicht, allgemeine Schlussfolgerungsverfahren zu internalisieren, die über Aufgaben und Modelle hinweg übertragbar sind, und damit über die Grenzen statischer Prompts oder Inferenzzeit-Debatten hinausgeht.

Die Arbeit erkennt Einschränkungen an und stellt fest, dass sie sich auf Schlussfolgerungs-Benchmarks konzentriert und nicht auf wissensintensive Domänen (wo der Abruf von Domänenwissen möglicherweise kritischer ist als die Entwicklung von Schlussfolgerungsfähigkeiten) und dass der Trainingsprozess zusätzliche LLM-Aufrufe erfordert. Dennoch etabliert sie ein neues Paradigma für die Entwicklung von Agentenfähigkeiten durch kollektive, iterative Interaktion.