🤖 machine learning

Rosetta Memory: Adaptive Memory for Cross-LLM Agents

Das Paper stellt Rosetta Memory vor, ein gedächtniszentriertes Framework, das gemeinsam trainierte, profilabhängige Operatoren und ein Minimum-Gain-Sampling-Curriculum einsetzt, um adaptives Speichern zu ermöglichen und eine robuste Leistung über diverse und häufig wechselnde Large Language Models hinweg zu gewährleisten.

Ursprüngliche Autoren: Hao Yang, Shiqi Shen, Haoxuan Li, Zhipeng Wang, Zhi Gong, Xu Chen

Veröffentlicht 2026-06-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hao Yang, Shiqi Shen, Haoxuan Li, Zhipeng Wang, Zhi Gong, Xu Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Lost in Translation“-Agent

Stellen Sie sich vor, Sie haben ein Team von Mitarbeitern (KI-Agenten), die versuchen, ein komplexes Rätsel zu lösen, wie etwa eine Detektivgeschichte. Um es zu lösen, müssen sie sich gegenseitig Notizen zuschicken.

Mitarbeiter A ist ein schneller, lockerer Programmierer, der Notizen in schnellen, kurzen Stichpunkten schreibt.
Mitarbeiter B ist ein langsamer, sorgfältiger Schreiber, der vollständige, höfliche Sätze benötigt, um Dinge zu verstehen.
Mitarbeiter C ist ein visueller Denker, der Informationen in einer Tabelle organisiert braucht.

Früher passierte es, wenn Mitarbeiter A eine Notiz schrieb und sie an Mitarbeiter B weitergab, dass Mitarbeiter B oft verwirrt war. Die Notiz war in der „Sprache von Mitarbeiter A“ geschrieben, nicht in der „Sprache von Mitarbeiter B“. Das Team verlor den Überblick über die Hinweise, vergaß wichtige Details oder missverstand die Anweisungen. Genau das passiert, wenn verschiedene Large Language Models (LLMs) versuchen, Erinnerungen (Memory) zu teilen: Die „Sprache“ der Erinnerung passt nicht zur „Sprache“ des Lesers.

Die Lösung: Rosetta Memory (RoMem)

Die Autoren haben ein System namens Rosetta Memory entwickelt. Betrachten Sie es als einen universellen Übersetzer und einen spezialisierten Notar für Ihr KI-Team.

Anstatt jeden Mitarbeiter zu zwingen, auf die gleiche Weise zu schreiben, sitzt Rosetta Memory in der Mitte und passt die Notizen basierend darauf an, wer schreibt und wer liest.

Es verwendet zwei spezielle Werkzeuge (Operatoren):

Der „Übersetzer“ (Write Operator): Wenn ein Mitarbeiter eine Notiz schreibt, schaut dieses Werkzeug darauf, wer sie geschrieben hat. Es nimmt deren rohe, unordentliche Notizen und schreibt sie in ein „standardisiertes“ Format um, das für jeden später leicht zu verstehen ist. Es entfernt die persönlichen Eigenheiten des Schreibers.
Der „Adapter“ (Read Operator): Wenn ein Mitarbeiter eine Notiz lesen muss, schaut dieses Werkzeug darauf, wer liest. Es nimmt diese standardisierte Notiz und formt sie in das spezifische Format um, das dieser Leser bevorzugt (z. B. das Umwandeln eines Absatzes in eine Tabelle für den visuellen Denker oder in eine Liste mit Stichpunkten für den Programmierer).

Wie sie das System trainiert haben

Um diesem System beizubringen, wie es funktioniert, haben die Forscher nicht einfach nur eine Art von Mitarbeiter gezeigt. Sie erstellten ein „Trainingslager“ mit vielen verschiedenen Arten von KI-Modellen (einige schnell, einige langsam, einige von verschiedenen Unternehmen).

Sie verwendeten einen cleveren Trainings-Trick namens „Minimum-Gain Sampling“.

Stellen Sie sich einen Lehrer vor, der bemerkt, dass der „langsame, sorgfältige Schreiber“ (Mitarbeiter B) am meisten Schwierigkeiten hat, die Notizen zu verstehen.
Anstatt mit den leichten Schülern zu üben, zwingt der Lehrer das System dazu, besonders intensiv mit den schwierigen Schülern zu üben.
Dies stellt sicher, dass das System besonders gut darin wird, den Modellen zu helfen, die normalerweise zurückgelassen werden, anstatt nur im Durchschnitt gut zu sein.

Sie verwendeten auch eine „Bewertungskarte“, die Punkte nur dann vergab, wenn das System die Leistung des Teams im Vergleich zum bloßen Weitergeben von Rohnotizen tatsächlich verbesserte. Dies stellte sicher, dass das System lernte zu übersetzen und nicht nur Antworten auswendig zu lernen.

Was sie herausgefunden haben

Die Forscher testeten dies an drei verschiedenen „Rätsel-Spielen“ (Datensätze namens HotpotQA, 2WikiMultihopQA und MuSiQue), bei denen die KI mehrere Hinweise miteinander verknüpfen musste, um eine Antwort zu finden.

Das Ergebnis: Teams, die Rosetta Memory nutzten, lösten die Rätsel viel besser als Teams mit Standardmethoden.
Der „Unseen“-Test: Selbst als sie das System mit einer neuen Art von Mitarbeiter testeten, die sie während des Trainings noch nie gesehen hatten, funktionierte es immer noch gut. Das Teamgefüge änderte die Funktionalität nicht.
Der „Mismatch“-Beweis: Sie zeigten, dass Teams ohne dieses System oft scheitern, wenn sie mitten in einer Aufgabe den Mitarbeiter wechseln, weil die Notizen dann keinen Sinn mehr ergeben. Mit Rosetta Memory ergeben die Notizen immer Sinn, egal wer sie liest.

Zusammenfassend

Rosetta Memory ist ein intelligenter Vermittler, der sicherstellt, dass KI-Agenten nahtlos Notizen austauschen können, selbst wenn sie unterschiedliche „Sprachen“ sprechen oder unterschiedliche Stile haben. Es übersetzt die Erinnerung beim Schreiben und passt sie beim Lesen an, damit das gesamte Team – unabhängig davon, welches spezifische KI-Modell gerade arbeitet – auf dem gleichen Stand bleibt.

Technisches Resümee: Rosetta Memory (RoMem)

1. Problemdefinition: Cross-LLM-Gedächtnis-Mismatch

Das Paper adressiert eine kritische Lücke bei der Bereitstellung von Large Language Model (LLM) Agenten: die Annahme, dass Gedächtnissysteme für ein einzelnes, statisches Backbone-Modell konzipiert sind. In der Praxis wechseln Agenten häufig zwischen verschiedenen LLMs (z. B. die Nutzung von Claude für das Programmieren und GPT für das Schreiben, oder das Routing von Schritten an verschiedene Modelle zur Kosteneffizienz). Die Autoren identifizieren, dass von einem Modell geschriebenes Gedächtnis oft nicht effektiv von einem anderen Modell konsumiert werden kann, was auf zwei primären Ursachen für Mismatch zurückzuführen ist:

Divergenz auf der Schreibseite (Write-Side Divergence): Unterschiedliche Quell-LLMs produzieren bei gleichem Zustand unterschiedliche Aktionen und speichern somit unterschiedliche Inhalte im Gedächtnis.
Sensitivität auf der Leseseite (Read-Side Sensitivity): Selbst semantisch äquivalente Gedächtniseinträge können bei unterschiedlichen Ziel-LLMs zu unterschiedlichen Agenten-Ergebnissen führen, was auf Variationen in der Prompt-Sensitivität und der Kontextinterpretation zurückzuführen ist.

Die Autoren formalisieren das Cross-LLM-Gedächtnis-Adaptationsproblem: Wie kann das Gedächtnissystem eines Agenten so angepasst werden, dass von einem Upstream-LLM geschriebenes Gedächtnis ein Downstream-LLM effektiv aktiviert, unabhängig von den spezifischen beteiligten Modellen innerhalb der Trajektorie? Das Ziel ist es, den erwarteten Ertrag über alle möglichen Modellzuordnungen in einem heterogenen Pool hinweg zu maximieren, anstatt für ein einzelnes festes Backbone zu optimieren.

2. Methodik: Rosetta Memory (RoMem)

RoMem verschiebt die Perspektive von „LLM-zentriertem Gedächtnisdesign“ hin zu „gedächtniszentrierter LLM-Adaption“. Es behandelt das Gedächtnis als eine übertragbare Schnittstelle zwischen Upstream-Schreibern und Downstream-Lesern.

Kernarchitektur

Das System führt zwei lernbare, LLM-bewusste Operatoren ein:

Write-Operator ( $f_{write}$ ): Nimmt die Identifikator (Profil) des Quell-LLMs, die Beobachtung und die Aktion entgegen und gibt einen destillierten, normalisierten Gedächtniseintrag aus.
Read-Operator ( $f_{read}$ ): Nimmt den Identifikator (Profil) des Ziel-LLMs, die aktuelle Beobachtung und die Gedächtnisbank entgegen und gibt einen prompt-bereiten Kontext aus, der für den spezifischen Leser adaptiert ist.

Profil-Konditionierung

Um diverse Modelle ohne Feinabstimmung der Operatoren für jedes spezifische Modell zu handhaben, nutzt RoMem Profil-Embeddings. Jedem LLM wird ein leichtgewichtiges Profil-Datensatz zugeordnet (Modell-ID, textuelle Beschreibung, Metadaten wie Backend, Familie, Skalierung). Eine lernbare Abbildungsfunktion $g$ konvertiert diese Profile in kontinuierliche Vektoren (Soft-Prefix-Token), die sowohl $f_{write}$ als auch $f_{read}$ konditionieren. Dies ermöglicht es den Operatoren, auf ungesehene LLMs zu generalisieren, indem sie deren „Stil“ und Fähigkeiten verstehen.

Trainingsstrategie

Die Operatoren werden mittels einer Expert-Iteration-Schleife trainiert, die zwei spezifische Innovationen nutzt, um Robustheit über den heterogenen Modell-Pool hinweg zu gewährleisten:

Counterfactual Gain Reward: Um den Beitrag der gelernten Operatoren von der intrinsischen Fähigkeit der LLMs zu isolieren, berechnet das System eine Leistungsdifferenz ( $\Delta R$ ). Dies ist der Unterschied zwischen dem mit den gelernten Operatoren erzielten Reward und einem naiven Baseline-Ansatz (rohe Gedächtniskonkatenation). Dies stellt sicher, dass das Modell lernt, die Leistung spezifisch durch Adaptation zu verbessern und nicht nur durch die Nutzung eines starken Backbones.
Minimum-Gain Sampling Curriculum: Während des Trainings priorisiert das System „unterversorgte“ LLMs – also jene mit dem niedrigsten Counterfactual Gain. Die Sampling-Wahrscheinlichkeit für ein Modell zum Zeitpunkt $t$ ist zugunsten von Modellen mit niedrigem $\Delta R$ verzerrt und wird zudem durch die Embedding-Distanz diversifiziert, um eine behaviorale Diversität innerhalb einer einzelnen Trajektorie zu gewährleisten. Dies verhindert, dass das Modell auf leistungsstarke Paare überoptimiert, und stellt eine Abdeckung für schwierige Modellkombinationen sicher.

3. Zentrale Beiträge

Problemformalisierung: Das Paper zeigt empirisch (durch Pilotstudien an HotpotQA, 2WikiMultihopQA und MuSiQue), dass ein Gedächtnis-Mismatch ein signifikantes Problem in Cross-LLM-Settings darstellt, und definiert das Cross-LLM-Gedächtnis-Adaptationsproblem formal.
Rosetta Memory (RoMem): Ein neuartiges Framework, das profil-konditionierte Write- und Read-Operatoren gemeinsam lernt, um das Gedächtnis für heterogene Agenten zu adaptieren.
Trainingsinnovationen: Die Einführung eines Minimum-Gain Sampling Curriculums, um die Abdeckung unterperformanter Modellpaare zu verbessern, sowie eines Performance-Gap-Rewards, um den Nutzen des Operators von der Stärke des Backbones zu entkoppeln.
Empirische Validierung: Umfangreiche Experimente zeigen, dass RoMem gedächtnisfreie Baselines (CoT, Self-Ask), Raw-Buffer-Baselines (Step-Accumulate) und strukturierte Gedächtnis-Baselines (Mem0, Memento) über mehrere Datensätze hinweg übertrifft.

4. Experimentelle Ergebnisse

Die Autoren evaluierten RoMem auf drei Multi-Hop-QA-Datensätzen: HotpotQA, 2WikiMultihopQA und MuSique.

Gesamtleistung: RoMem erreichte konsistent die höchsten Werte in Exact Match (EM), F1 und semantischer Genauigkeit (AccLLM) über alle Datensätze hinweg. Insbesondere beim schwierigen MuSique-Datensatz zeigten sich deutliche Margen in F1 und AccLLM, was auf eine effektive Bewahrung partieller Evidenzen über komplexe Ketten hinweg hindeutet.
Ablationsstudien: Das Entfernen der Profil-Konditionierung oder des Write-Operators verschlechterte die Leistung signifikant, was bestätigt, dass sowohl die Adaptation des Gedächtnisinhalts als auch die Adaptation der Präsentation an das Zielmodell notwendig sind.
Generalisierung auf ungesehene Modelle: Beim Testen auf sechs gehaltenen LLMs (z. B. gpt-5-mini, deepseek-reasoner), die während des Trainings nicht gesehen wurden, behielt RoMem eine robuste Leistung bei und übertraf oft die Baselines, selbst wenn die Anzahl der ungesehenen Modelle in der Trajektorie zunahm.
Minimum-Gain Sampling: Eine Sensitivitätsanalyse zeigte, dass eine moderate Gewichtung (z. B. $\eta \approx 1.2$ bis $1.6$) die Leistung verbessert, während eine zu starke Gewichtung kontraproduktiv sein kann.
Qualitative Analyse: Inspektionen ergaben, dass der Write-Operator erfolgreich die Unsicherheit des Quellmodells und Suchinstruktionen entfernt, während der Read-Operator die Ordnung und Explizität der Fakten an die Präferenzen des Zielmodells anpasst (z. B. Tabellenformat für Gemini vs. Chain-of-Thought für Claude).

5. Bedeutung und Ansprüche

Das Paper behauptet, dass das Speichern von Evidenz nicht ausreicht; das Gedächtnis muss in einer Form geschrieben und gelesen werden, die auf das spezifische konsumierende LLM adaptiert ist. Indem es das Gedächtnis als eine übertragbare Schnittstelle behandelt, ermöglicht RoMem heterogenen LLM-Agenten das effektive Teilen von Episodengedächtnis, was die Notwendigkeit redundanter Berechnungen reduziert und die Robustheit verbessert, wenn Modelle aufgrund von Kosten, Latenz oder Verfügbarkeit ausgetauscht werden.

Die Autoren positionieren diese Arbeit als einen „ersten Schritt“ hin zu einer gedächtniszentrierten Adaptation. Sie räumen Einschränkungen ein und merken an, dass ihre Evaluierung auf kontrollierte Multi-Hop-QA-Episoden mit festen Evidenzketten beschränkt ist und noch kein offenes Web-Navigation oder sehr langfristige Planung abdeckt. Sie warnen zudem, dass gelernte Gedächtnisschnittstellen potenziell Biases oder Fehler propagieren könnten, wenn sie nicht sorgfältig geprüft werden, und schlagen daher die Notwendigkeit von Datenminimierung und menschlicher Inspektion bei Einsätzen mit hohem Risiko vor.