🤖 AI

ReM-MoA: Reasoning Memory Sustains Mixture-of-Agents Scaling

Das Paper stellt ReM-MoA vor, ein gedächtnisgestütztes Mixture-of-Agents-Framework, das die Skalierung während der Inferenz über zunehmende Tiefen hinweg durch die Nutzung eines Ranked Reasoning Memory und eines Curated Diversified Memory Routing aufrechterhält, um die Explorationsdiversität zu bewahren und qualitativ hochwertige Reasoning-Spuren zu propagieren.

Ursprüngliche Autoren: Heng Ping, Arijit Bhattacharjee, Peiyu Zhang, Shixuan Li, Wei Yang, Ali Jannesari, Nesreen Ahmed, Paul Bogdan

Veröffentlicht 2026-06-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Heng Ping, Arijit Bhattacharjee, Peiyu Zhang, Shixuan Li, Wei Yang, Ali Jannesari, Nesreen Ahmed, Paul Bogdan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr schwieriges Rätsel zu lösen, wie zum Beispiel ein komplexes mathematisches Problem oder ein kniffliges Logikrätsel. Sie beschließen, eine Gruppe intelligenter Freunde (KI-Agenten) um Hilfe zu bitten.

In der Vergangenheit haben Forscher versucht, diese Freunde auf zwei Hauptarten zu organisieren:

Die „Gruppenchat“-Methode: Alle rufen ihre Ideen gleichzeitig heraus, und Sie wählen die beste aus.
Die „Geschichtete Team“-Methode: Sie ordnen die Freunde in Reihen an. Reihe 1 denkt nach, übergibt ihre Notizen an Reihe 2, Reihe 2 verbessert diese, übergibt sie an Reihe 3 und so weiter.

Das Problem:
Die Forschung ergab, dass die „Geschichtete Team“-Methode einen Fehler hat. Wenn man mehr Reihen hinzufügt (das Team tiefer macht), wird die Qualität der Antworten tatsächlich schlechter oder verbessert sich nicht mehr. Es ist wie ein Spiel „Stille Post“, bei dem die Nachricht verzerrt wird, oder wie ein Team, bei dem alle anfangen, exakt gleich zu denken und aufhören, neue Ideen zu entwickeln. Das Team gerät in eine Sackgasse, wiederholt Fehler oder konzentriert sich auf eine einzige, mittelmäßige Lösung.

Die Lösung: ReM-MoA
Die Autoren schlagen ein neues System namens ReM-MoA (Reasoning Memory Mixture-of-Agents) vor. Stellen Sie sich das wie ein superstarkes, organisiertes Aktenschrank-System und einen intelligenten Editor vor.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Intelligente Aktenschrank“ (Ranked Reasoning Memory)

In alten Systemen haben die Mitglieder von Reihe 2, wenn sie die Notizen an Reihe 3 weitergaben, einfach alles übergeben, was sie geschrieben hatten. Dies beinhaltete sowohl brillante Ideen als auch dumme Fehler, alles vermischt.

In ReM-MoA schaut sich nach Abschluss der Arbeit jeder Reihe ein Intelligenter Editor (ein sogenannter Reviewer-Agent) alle Notizen an.

Der Editor bewertet jede einzelne Idee, von „Goldstern“ bis „Braucht Überarbeitung“.
Der Editor schreibt eine kleine Notiz darüber, warum eine Idee gut oder schlecht war.
Diese bewerteten Notizen werden in einem speziellen Schrank abgelegt, den jede zukünftige Reihe sehen kann.

Warum das hilft: Anstatt in einer Flut unorganisierter Notizen zu ertrinken, können die nächsten Teammitglieder in den Schrank schauen und sehen: „Oh, dieser spezifische Pfad hat super funktioniert“ oder „Oh, dieser Pfad führte in eine Sackgasse“. Sie müssen das Rad nicht neu erfinden oder dieselben Fehler wiederholen.

2. Die „Kuratierte Speisekarte“ (Diversified Memory Routing)

Hier kommt der zweite clevere Trick. Wenn man jedem Mitglied von Reihe 3 exakt denselben Satz an „Besten Ideen“ aus dem Schrank geben würde, würden sie alle anfangen, gleich zu denken, und das Team würde seine Kreativität verlieren.

ReM-MoA nutzt ein Kuratierte-Speisekarte-System:

Agent A erhält eine Speisekarte mit überwiegend „Goldstern“-Ideen (um ihnen zu zeigen, wie Erfolg aussieht).
Agent B erhält eine Speisekarte mit überwiegend „Braucht Überarbeitung“-Ideen (um ihnen zu zeigen, welche Fallstricke zu vermeiden sind).
Agent C erhält eine Mischung aus beidem (um Erfolg und Misserfolg nebeneinander vergleichen zu können).

Warum das hilft: Dies hält das Team vielfältig. Auch wenn sie alle in denselben Schrank schauen, wird jedem eine andere Perspektive gegeben. Dies verhindert, dass die gesamte Gruppe in eine einzige, repetitive Denkweise kollabiert.

3. Der „Super-Editor“ (Optional Distillation)

Die Autoren erwähnen auch, dass der „Intelligente Editor“ trainiert werden kann, um noch besser zu werden. Sie können eine superintelligente KI (wie einen genialen Professor) nehmen und einer kleineren, schnelleren KI beibringen, die Notizen genau wie dieser Professor zu bewerten. Dies macht die Bewertung noch genauer und hilft dem Team, bei verschiedenen Arten von Rätseln (Mathematik, Code, Logik etc.) besser abzuschneiden.

Die Ergebnisse

Die Forscher haben dieses System mit fünf verschiedenen Arten von schwierigen Rätseln getestet (Mathematik, Logik, Programmierung, Allgemeinwissen und gesunder Menschenverstand).

Alte Systeme: Wenn man mehr Ebenen (Reihen) hinzufügte, brach die Leistung ein, flachte ab oder verbesserte sich nicht mehr.
ReM-MoA: Während man mehr Ebenen hinzufügte, verbesserte sich die Leistung kontinuierlich. Je tiefer das Team vorging, desto klüger wurden die Antworten.

Zusammenfassend:
ReM-MoA löst das „Stille Post“-Problem von KI-Teams, indem es ihnen ein bewertetes Gedächtnis vergangener Versuche gibt und sicherstellt, dass sie nicht alle dieselben Beispiele betrachten. Dies ermöglicht es großen Gruppen von KI-Agenten, effektiv zusammenzuarbeiten und immer klügere Antworten zu liefern, je tiefer sie graben, anstatt verwirrt zu werden oder stecken zu bleiben.

Technisches Resümee: ReM-MoA: Reasoning Memory Sustains Mixture-of-Agents Scaling

Problemstellung

Mixture-of-Agents (MoA)-Architekturen zielen darauf ab, das Inferenz-Scaling durch die Organisation mehrerer Large Language Model (LLM) Agenten in geschichteten Reasoning-Pipelines zu verbessern. Während eine Erhöhung der Tiefe (Anzahl der Schichten) und der Breite (Anzahl der Agenten pro Schicht) theoretisch einen Pfad zu skalierbarem kollektivem Reasoning eröffnet, scheitern bestehende MoA-Varianten daran, Leistungssteigerungen bei zunehmender Tiefe aufrechtzuerhalten. Empirische Beobachtungen zeigen drei distinkte Ausfallmodi auf:

Degradation (Verschlechterung): Standardmäßige MoA-Systeme erreichen oft einen Höhepunkt bei geringer Tiefe und degradieren anschließend, da die rohe Konkatenation zwischen den Schichten sowohl nützliches Reasoning als auch kumulierte Fehler propagiert.
Frühes Plateau (Early Plateauing): Varianten, die auf lokaler residueller Propagation basieren (z. B. RMoA), scheitern daran, hochwertiges Reasoning aus nicht benachbarten, früheren Schichten abzurufen, was zu einem Leistungsplateau führt.
Sättigung und Diversitätskollaps (Saturation and Diversity Collapse): Systeme, die auf Intra-Layer-Interaktion setzen (z. B. AttentionMoA) oder auf identischem akkumuliertem Kontext basieren, führen dazu, dass Agenten zu redundanten Lösungspfaden konvergieren, was die Exploration-Diversität kollabieren lässt.

Existierende Methoden versuchen, diese Probleme durch Informationskonsolidierung, Inter-Agent-Interaktion oder qualitätsgesteuerte Selektion zu adressieren, aber keine schafft es erfolgreich, das Gleichgewicht zwischen Qualitätserhaltung (Beibehaltung hochwertiger Reasoning-Trajektorien) und Diversitätserhaltung (Verhindern der Konvergenz der Agenten zu identischen Pfaden) aufrechtzuerhalten, während das System skaliert.

Methodik: ReM-MoA

Die Autoren schlagen ReM-MoA vor, ein gedächtnisgestütztes MoA-Framework, das darauf ausgelegt ist, das Scaling durch eine Aufgabe der gemeinsamen Qualität- und Diversitätserhaltung aufrechtzuerhalten. Das Framework besteht aus drei miteinander verbundenen Komponenten:

1. Ranked Reasoning Memory ( $M$ )

Im Gegensatz zu episodischen Gedächtnissystemen, die Erfahrung über verschiedene Aufgaben hinweg akkumulieren, pflegt ReM-MoA ein strukturiertes, schichtübergreifendes Reasoning-Gedächtnis innerhalb einer einzelnen Probleminstanz.

Mechanismus: In jeder Schicht $l$ generieren $N$ Proposer-Agenten Reasoning-Traces. Ein Reviewer Agent (ein LLM) evaluiert diese Traces vergleichend, indem er jedem Trace einen ganzzahligen Score und eine gezielte Begründung (Rationale) zuweist.
Speicherung: Das Gedächtnis speichert die Vereinigung aller Einträge aus allen vorherigen Schichten ( $M_{\le l} = \bigcup_{k=1}^l M_k$ ), wobei jeder Eintrag ein Tripel aus (Trace, Score, Rationale) ist.
Zugriff: Das Gedächtnis ist Append-only und unterstützt den Lesezugriff von jeder nachfolgenden Schicht aus, was es tieferen Schichten ermöglicht, Reasoning-Pfade aus beliebigen Tiefen zu besuchen und auf ihnen aufzubauen, nicht nur aus benachbarten Schichten.

2. Curated Diversified Memory Routing ( $\Pi$ )

Um einen Diversitätskollaps zu verhindern, stellt das Framework sicher, dass Agenten innerhalb derselben Schicht keinen identischen Kontext konsumieren.

Mechanismus: Ein Routing-Schema wählt distinkte Subsets des Gedächtnisses für jeden Proposer-Agenten aus. Diese Subsets werden aus drei Familien von Routing-Funktionen gezogen:
- Kontrastiv ($Conn$): Kombiniert hochbewertete (Top) und niedrig bewertete (Bot) Traces, um kontrastive Signale zu liefern.
- Positive Verstärkung ($Top$): Konzentriert sich auf erfolgreiche Muster.
- Fokus auf Fehlermodi ($Bot$): Macht häufige Fallstricke sichtbar.
Verteilung: Für $N$ Agenten werden die Routing-Funktionen über diese Familien verteilt (z. B. erhält ein Agent kontrastive Signale, ein anderer positive, ein weiterer fokusierte Fehlersignale). Dies stellt sicher, dass die Schicht als Ganzes den Inhalt des Gedächtnisses exploriert, während der einzelne Agent distinkte, qualitätsbewusste Referenzsets erhält.

3. Reviewer Distillation (Optionaler Enhancement)

Um die Ranking-Qualität des Reviewer Agents zu verbessern, führen die Autoren eine optionale Pipeline mittels Frontier-Model-Distillation ein.

Prozess: Ein starkes Teacher-Modell (z. B. GPT-5.5) supervisiert das Scoring und die Rationales der von ReM-MoA generierten Traces auf einem Multi-Domain-Trainingsdatensatz.
Feintuning: Ein kleineres Basis-Reviewer-Modell wird mittels Parameter-effizienter LoRA feingetuned, um die Urteile des Teachers zu imitieren. Dies schafft einen generalisierbaren Reviewer, der in der Lage ist, über Reasoning-Domänen hinweg zu transferieren.

Kernbeiträge

Empirische Charakterisierung von Scaling-Fehlern: Die Arbeit identifiziert und charakterisiert drei spezifische Ausfallmodi bestehender MoA-Systeme (Degradation, Plateauing und Diversitätskollaps), die durch rohe Konkatenation, begrenzten Cross-Layer-Zugriff und homogenisierten Kontext verursacht werden.
ReM-MoA Framework: Der Vorschlag eines Frameworks, das durch ein Ranked Reasoning Memory und ein Curated Diversified Memory Routing das Scaling aufrechterhält. Dieser Ansatz bewahrt hochwertige Reasoning-Trajektorien und hält gleichzeitig die Explorations-Diversität aufrecht, indem Agenten unterschiedlichen Kombinationen aus erfolgreichen und gescheiterten Traces ausgesetzt werden.
Optionaler Distillations-Pipeline: Die Einführung einer Multi-Domain Reviewer-Distillations-Pipeline, die das Ranking-Modul aufwertet und es dem System ermöglicht, auf nicht gehaltene Domänen zu generalisieren.
Umfassende Evaluierung: Umfangreiche Experimente über fünf Reasoning-Benchmarks (Math, Formal Logic, Code, Knowledge und Commonsense) zeigen, dass ReM-MoA vorangegangene Varianten sowohl in der Tiefe- als auch in der Breite-Skalierung übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten ReM-MoA gegen Standard MoA, RMoA und AttentionMoA über fünf Benchmarks hinweg: MATH, MMLU-redux, Formal Logic, CRUX (Code) und HellaSwag.

Depth Scaling ( $L=1$ bis $9$, $N=3$ ):
- Standard MoA degradierte signifikant (z. B. ein Abfall von ~9,1 Punkten bei MMLU-redux bei $L=9$ ).
- RMoA und AttentionMoA stagnierten auf einem Plateau oder sättigten frühzeitig.
- ReM-MoA verbesserte sich konsistent mit zunehmender Tiefe. Die Performance-Lücke zwischen ReM-MoA und dem stärksten Baseline-Modell vergrößerte sich monoton mit der Tiefe (z. B. ein Vorsprung von +7,3 Punkten bei Formal Logic bei $L=9$ ).
- ReM-MoA $^*$ (mit distilliertem Reviewer) dehnte das nachhaltige Scaling weiter auf alle Benchmarks aus und kehrte die Sättigungstrends bei zuvor stagnierenden Aufgaben in kontinuierliches Wachstum um.
Width Scaling ( $N=3$ bis $8$, $L=3$ ):
- ReM-MoA übertraf alle Baselines über alle Breite-Konfigurationen hinweg.
- Während das Width-Scaling im Vergleich zum Depth-Scaling geringere Grenzerträge zeigte, hielt ReM-MoA einen konsistenten Vorsprung, wobei sich die Lücke von +2,30 auf +3,68 Punkte vergrößerte, als $N$ anstieg.
Ablationsstudien:
- Das Entfernen des Cross-Layer-Zugriffs (Beschränkung des Lesens auf die unmittelbar vorangehende Schicht) verursachte den größten Performance-Einbruch, was die Notwendigkeit des Zugriffs auf nicht benachbarte Schichten bestätigt.
- Das Entfernen der Routing-Diversifizierung (Teilen eines Referenzsets unter allen Agenten) löste eine Regression aus, die dem Versagen des Vollmodells ähnelte, was beweist, dass die Diversität innerhalb der Schicht kritisch ist.
- Das Entfernen der Rationales führte zu einem kleineren Performance-Abfall, bewahrte aber den Scaling-Trend, was darauf hindeutet, dass Rationales eher als Verfeinerung denn als essenzielles Gerüst fungieren.
Distillations-Transfer:
- Ein auf vier Domänen distillierter Reviewer (wobei die Evaluationsdomäne ausgespart wurde) stellte 44 % des Gewinns eines Multi-Domain-distillierten Modells wieder her, was die Übertragbarkeit auf ungesehene Reasoning-Domänen demonstriert.

Bedeutung und Ansprüche

Das Paper behauptet, dass ein strukturierter Cross-Layer Reasoning Memory ein kritischer fehlender Mechanismus für skalierbares Multi-Agent-Inference ist. Durch die Entkopplung der Erhaltung hochwertiger Reasoning-Prozesse von der Aufrechterhaltung der Explorations-Diversität überwindet ReM-MoA den beobachteten Scaling-Kollaps früherer Architekturen.

Die Autoren behaupten, dass ReM-MoA ein neues Paradigma etabliert, in dem Scaling-Gewinne nicht bloß eine Funktion von Aggregation oder Interaktion sind, sondern davon, wie Reasoning-Traces gespeichert, bewertet und selektiv geroutet werden. Das Framework zeigt, dass Multi-Agenten-Systeme mit der richtigen Memory-Architektur Leistungsverbesserungen aufrechterhalten können, während sie in Tiefe und Breite skalieren – eine Eigenschaft, die zuvor in diesem Bereich unerreicht blieb. Die optionale Distillations-Pipeline legt zudem nahe, dass diese Vorteile ohne aufgabenspezifische Verifier auf andere Domänen generalisiert werden können.