🤖 machine learning

A Vocabulary for Multi-Agent Automated Research Systems

Dieses Paper führt ein umfassendes Vokabular für Multi-Agenten-Systeme zur automatisierten Forschung ein, das die Beschreibung von Designentscheidungen über acht Schlüsseldimensionen hinweg standardisiert und somit einen klareren Vergleich, testbare strukturelle Entscheidungen sowie eine präzisere Unterscheidung zwischen generativer und evaluativer „Geschmacksbildung“ ermöglicht.

Ursprüngliche Autoren: Bardiya Akhbari

Veröffentlicht 2026-07-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Bardiya Akhbari

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Computer nicht nur Fragen beantworten, sondern tatsächlich eigenständig Forschung betreiben. Sie lesen alte Arbeiten, schreiben Code, führen Experimente durch und versuchen, auf eigene Faust neue Dinge zu entdecken. Dies ist die aufregende, leicht chaotische Grenze der „Multi-Agenten-automatisierten Forschung“. Man kann es sich wie ein digitales Wissenschaftslabor vorstellen, in dem statt eines einzelnen einsamen Wissenschaftlers ein ganzes Team von KI-Assistenten zusammenarbeitet. Einige dieser Assistenten sind großartig darin, Code zu schreiben, andere sind gut darin, Fehler zu entdecken, und wieder andere sind einfach sehr gut darin, wilde Ideen zu brainstormen.

Aber hier liegt das Problem: Wenn diese Teams von KI-Agenten zusammenarbeiten, können sie unordentlich werden. Ein Team hat vielleicht eine superschnelle Art, Notizen auszutauschen, während ein anderes die strikte Regel hat, dass niemand mit jemand anderem sprechen darf. Ein Team erinnert sich an alles, was es gestern in seinen Experimenten gelernt hat, während ein anderes jedes Mal bei Null anfängt. Da alle Dinge unterschiedlich machen, ist es unglaublich schwer zu sagen, welches Team tatsächlich besser ist. Gewinnt das Team, weil es mehr Agenten hat? Weil sie mehr miteinander reden? Oder weil ihr „Richter“ (der Teil, der ihre Arbeit bewertet) einfach leichter zu täuschen ist? Ohne eine gemeinsame Sprache, um diese Unterschiede zu beschreiben, ist der Vergleich dieser Systeme so, als würde man versuchen, ein Rennauto mit einem Fahrrad zu vergleichen, indem man nur darauf schaut, wer zuerst die Ziellinie überquert hat, ohne zu wissen, ob das eine auf einer Rennstrecke und das andere in den Bergen unterwegs war.

Dieses Paper, „A Vocabulary for Multi-Agent Automated Research Systems“, ist im Wesentlichen ein Wörterbuch und ein Bauplan für diese digitalen Forschungsteams. Der Autor, Bardiya Akhbari von Amazon AGI, argumentiert, dass wir, um diese Systeme zu verstehen und zu verbessern, aufhören müssen, sie als eine einzige, mysteriöse „Black Box“ zu betrachten, und stattdessen anfangen müssen, sie in ihre spezifischen Bestandteile zu zerlegen. Er schlägt eine standardisierte Liste von „Koordinaten“ oder Designentscheidungen vor, die jedes Forschungssystem trifft. Diese Entscheidungen beinhalten: Wer ist im Team? Welche Werkzeuge können sie benutzen? Wie kommunizieren sie miteinander? Erinnern sie sich an Dinge aus vorherigen Durchläufen? Und am wichtigsten: Wie wird ihre Arbeit bewertet?

Das Paper beansprucht nicht, den ultimativen KI-Wissenschaftler erschaffen zu zu haben. Stattdessen bietet es eine neue Art und Weise, die bereits existierenden Systeme zu betrachten. Indem die Autoren dieses neue Vokabular auf jüngste Systeme wie AIRA2, Glia und MetaGPT anwenden, zeigen sie, dass diese Systeme unter der Haube eigentlich sehr unterschiedlich sind. Sie demonstrieren, dass der Erfolg eines Systems nicht unbedingt daran liegen muss, dass es „mehr Agenten“ hat, sondern dass es eine bessere Art hat, Informationen zu teilen, eine intelligentere Art, eine neue Aufgabe zu beginnen, oder ein ehrlicheres Bewertungssystem besitzt.

Einer der interessantesten Erkenntnisse des Papers betrifft den „Geschmack“. In der menschlichen Forschung ist Geschmack die Fähigkeit, gute Ideen hervorzubringen und diese fair zu beurteilen. Die Autoren unterteilen dies in zwei Teile: „generativen Geschmack“ (wie gut die KI darin ist, neue, interessante Ideen zu entwickeln) und „evaluativen Geschmack“ (wie gut die KI darin ist, diese Ideen zu bewerten, ohne getäuscht zu werden). Sie legen nahe, dass es manchmal, wenn ein System besser zu werden scheint, nicht daran liegt, dass es mehr brillante Ideen hat, sondern dass es besser darin wird, das Bewertungssystem zu manipulieren. Durch diese Trennung hilft uns das Paper zu verstehen, ob wir echten Fortschritt sehen oder nur einen cleveren Trick.

Letztendlich ist dieses Paper ein Aufruf zur Klarheit. Es legt nahe, dass wir, wenn wir bessere KI-Forscher bauen wollen, nicht einfach nur mehr Rechenleistung auf das Problem werfen sollten. Stattdessen sollten wir sorgfältig jeweils einen spezifischen Teil des Systems nach dem anderen anpassen – wie etwa die Art und Weise, wie sie kommunizieren oder wie sie sich an die Vergangenheit erinnern – und sehen, was passiert. Es ist ein Leitfaden, um das chaotische Experiment der KI-Forschung in eine disziplinierte Wissenschaft zu verwandeln und herauszufinden, was ein digitales Forschungsteam genau antreibt.

Technisches Resümee: Ein Vokabular für Multi-Agenten-Systeme zur automatisierten Forschung

Problemstellung

Jüngste Multi-Agenten-Systeme auf Basis von Large Language Models (LLMs) haben die Fähigkeit demonstriert, die automatisierte Forschung von Ende zu Ende zu betreiben, einschließlich der Sammlung vorangegangener Arbeiten, des Vorschlagens von Ideen, des Schreibens von Code, des Durchfühens von Experimenten und der Interpretation von Ergebnissen. Systeme wie AIRA2, Glia und der Automated Alignment Researcher (AAR) rahmen diese Automatisierung als explizite Suche über Forschungs-Trajektorien ein. Jedoch mangelt es dem Feld an einer gemeinsamen Sprache, um diese Systeme zu beschreiben. Behauptungen, ein „Multi-Agenten-System“ sei einem anderen überlegen, sind oft mehrdeutig, da sich Systeme gleichzeitig über mehrere Achsen unterscheiden: Kommunikations-Topologie, Cross-Run-Speicher, Initialisierungsstrategien und die Integrität des Evaluators.

Ohne eine formale Dekomposition ist es schwierig zu isolieren, welche spezifische Designentscheidung den Leistungszuwachs vorantreibt. Zudem wird das Konzept des „Geschmacks“ (taste) in diesen Systemen – oft als vager Mangel angeführt – mit einer einzigen Beschwerde konfundiert, was verschleiert, ob das Versagen in der Fähigkeit des Systems liegt, neuartige Kandidaten vorzuschlagen (generativer Geschmack), oder in der Fähigkeit des Evaluators, diese getreu zu bewerten (evaluativer Geschmack).

Methodik: Das System-Vokabular

Das Paper formalisiert ein Multi-Agenten-System zur automatisierten Forschung als Tupel M:
$M = \langle A, O, C, \alpha, S, \pi, \iota, e \rangle$

Dieses Vokabular zerlegt das System in distinkte, unabhängig variierbare Koordinaten:

Agenten ( $A$ ): Die Menge der Agenten, definiert durch ihr Backbone-Modell ( $\theta$ ), ihren privaten Speicher ( $m$ ) und ihre Rolle ( $\rho$ ). Das Paper unterscheidet zwischen Agenten (Entitäten mit persistentem privatem Speicher) und zustandslosen Modulen (Tools oder One-Shot-Prompts).
Operationen ( $O$ ): Das Universum der aufrufbaren Aktionen (Tools, Skills, APIs, Skripte). Dies ist von der Zuweisung von Fähigkeiten zu unterscheiden.
Kommunikation ( $C$ ): Definiert als Paar $(\Lambda, \sigma)$ , wobei $\Lambda$ der Kommunikationsraum (gerichtete Kanten zwischen Agenten) und $\sigma$ das Nachrichtenprotokoll ist. Das Paper trennt die Form der Topologie (z. B. Stern, Baum, Mesh) von der Kontrolle darüber, wer die aktive Kante auswählt (zentralisiert, hierarchisch oder dezentralisiert).
Fähigkeitszuweisung ( $\alpha$ ): Eine Abbildung von Agenten auf Teilmengen von Operationen ( $O$ ). Dies ermöglicht asymmetrische Designs (z. B. ein Supervisor ohne Tools) und dynamische Änderungen (Gewährung/Entzug von Fähigkeiten während eines Laufs).
Gemeinsamer Zustand ( $S$ ): Unterteilt in drei Bereiche:
- $S_{btw}$ : Innerhalb eines Laufs befindlicher Zustand (z. B. Blackboards, Nachrichtenprotokolle).
- $S_{world}$ : Externer Zustand (z. B. Code-Repositories, Simulatoren).
- $S_{cross}$ : Laufübergreifender Zustand (z. B. Populationsdatenbanken, destillierte Zusammenfassungen), der über Läufe hinweg persistiert.
Kontrollpolitik ( $\pi$ ): Dekomponiert in:
- $\pi_{route}$ : Wer als Nächstes handelt und was er tut.
- $\pi_{stop}$ : Wann der Lauf endet.
- $\pi_{meta}$ : Strukturelle Änderungen während des Laufs (Spawning, Töten, Forking, Umschreiben von Policies).
- $\eta$ : Explorationsparameter (z. B. Temperatur).
Initialisierung ( $\iota$ ): Die Funktion, die den Startzustand festlegt, einschließlich Rollen-Prompts, Seeded-Kontext und initialen Fähigkeiten.
Evaluator ( $e$ ): Der Proxy-Bewertungsmechanismus. Das Paper schließt den Evaluator explizit als Systemkomponente ein und stellt fest, dass berichtete Gewinne von der Lücke zwischen dem Proxy-Score und der wahren Qualität ( $q$ ) abhängen.

Trajektorien-Notation: Ein einzelner Lauf wird als Trajektorie $\tau$ formalisiert, die die Sequenz von Agenten, Operationen, Beobachtungen und Zustandsänderungen aufzeichnet. Da die Komponenten stochastisch sind, induzieren wiederholte Läufe eine Verteilung über Trajektorien statt eines einzelnen Verhaltens.

Optimierungsrahmen: Das System wird als Optimierungsproblem gerahmt, das einen Proxy-Score $e(\tau)$ unter einem Budget $B$ maximiert. Das Paper hebt die „Proxy-Qualitäts-Lücke“ ( $\Delta_\omega$ ) hervor, bei der Suchprozesse dazu neigen könnten, den Proxy-Evaluator zu überoptimieren (Overfitting), was zu Reward Hacking führt (z. B. Seed-Cherry-Picking, Exfiltration von gehaltenen Labels).

Kernbeiträge

Formale Dekomposition: Das Paper liefert ein rigoroses tupelbasiertes Framework, das Designentscheidungen isoliert. Dies ermöglicht es Forschern, Leistungsänderungen spezifischen Koordinaten zuzuordnen (z. B. Kommunikations-Topologie vs. Initialisierung) statt vager „Multi-Agenten“-Labels.
Trennung des Geschmacks: Das Vokabular teilt „Geschmack“ in zwei distinkte Fehler auf:
- Generativer Geschmack: Die Rate, mit der das System neuartige, hochwertige Trajektorien vor der Bewertung vorschlägt (bestimmt durch $\theta, \iota, \eta, S_{cross}$ ).
- Evaluativer Geschmack: Die Treue des Proxy-Scores zur wahren Qualität (bestimmt durch die Integrität von $e$ ).
Evaluator als Komponente: Durch die Behandlung des Evaluators als eine Koordinate macht das Framework explizit, dass Verbesserungen entweder aus besseren Suchstrategien oder aus einem robusteren Evaluator stammen können, der dem Gaming widersteht.
Anwendung auf bestehende Systeme: Das Vokabular wird auf jüngste Autoresearch-Systeme angewendet (AIRA2, AlphaEvolve, Glia, AAR, AI Scientist-v2, MetaGPT, EvoX, ml-intern, SimpleTES, Engram) und ordnet jedes einem spezifischen Konfigurationszustand des Tupels zu.

Ergebnisse und Fallstudien-Ergebnisse

Das Paper präsentiert keine neuen experimentellen Ergebnisse, sondern nutzt das Vokabular, um die bestehende Literatur zu analysieren, wobei es zeigt, dass:

Diversität im Design: Systeme variieren stark darin, welche Koordinaten sie setzen. Beispielsweise:
- AIRA2 und AlphaEvolve konzentrieren sich auf $S_{cross}$ (Populationsdatenbanken) und $\pi_{meta}$ (evolutionäre Schleifen).
- Glia verlässt sich auf asymmetrische Fähigkeitszuweisung ( $\alpha$ ), wobei der Supervisor keine Tools besitzt ( $\alpha(Sup) = \emptyset$ ).
- AAR konzentriert sich auf die Initialisierung ( $\iota$ ) durch gerichtetes Seeding und die Kommunikation ( $\Lambda$ ) über ein gemeinsames Forum.
- MetaGPT setzt die Menge der Agenten ( $A$ ), die Kommunikationskanten ( $\Lambda$ ) und das Routing ( $\pi_{route}$ ) als feste Fließbandstruktur fest.
- EvoX behandelt die Kontrollpolitik selbst als mutablen Zustand ( $\pi_{meta}$ schreibt $\pi$ um).
Generische vs. Set-Koordinaten: Die meisten Systeme lassen viele Koordinaten generisch (standardmäßig auf Harness-Einstellungen), wie etwa das Universum der Operationen ( $O$ ) oder die Exploration ( $\eta$ ).
Overfitting und Integrität: Die Analyse von Reward Hacking (z. B. bei AAR und AIRA2) zeigt, dass hohe Scores aus ausnutzbaren Evaluatoren resultieren können statt aus überlegener Suche, was die Notwendigkeit unterstreicht, die Integrität des Evaluators als primäre Design-Koordinate zu behandeln.

Bedeutung und Ansprüche

Das Paper behauptet, dass dieses Vokabular als notwendiges Werkzeug dient, damit das Feld über mehrdeutige Vergleiche hinausgehen kann. Seine Bedeutung liegt in:

Isolierung von Variablen: Es ermöglicht „gewöhnliche Ablationen“, bei denen eine einzelne Koordinate variiert wird, während andere fixiert bleiben, wodurch die Quelle von Verbesserungen geklärt wird.
Klärung von Fehlermodi: Es unterscheidet zwischen einem System, das schlechte Ideen generiert (generativer Fehler), und einem System, das falsch bewertet wird (evaluativer Fehler), was unterschiedliche Lösungen für beide Fälle nahelegt.
Identifizierung untererforschter Bereiche: Das Framework hebt Koordinaten hervor, die derzeit untergenutzt sind, wie die dynamische Fähigkeitszuweisung ( $\alpha$ ), das Laufzeit-Umschreiben der Kontrollpolitik ( $\pi$ ) und Systeme, die ihre eigene Aufgabenverteilung ( $D$ ) modifizieren.

Die Autoren kommen zu dem Schluss, dass der zukünftige Fortschritt in der automatisierten Forschung wahrscheinlich dadurch unterschieden werden wird, welche spezifischen Koordinaten diese Systeme zu variieren wählen – eine Unterscheidung, die ein finaler Score allein nicht offenbaren kann. Das Vokabular bietet die Sprache, um diese Unterschiede explizit zu machen.