Experience Graphs: The Data Foundation for Self-Improving Agents
Das Papier schlägt Trellis vor, eine datenbankzentrierte Architektur, die die durch langfristige agentische Aufgaben erzeugten strukturierten „Experience Graphs“ als primäre, abfragbare Daten behandelt, um zustandslose Agenten, robuste Crash-Wiederherstellung und einen geschlossenen Trainings-Flywheel zu ermöglichen, wobei signifikante Effizienzsteigerungen in einem Produktionskern-Optimizer bei Meta demonstriert werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Von „vergesslichen“ Agenten zu „kumulativen“ Lernenden
Stellen Sie sich vor, Sie bringen einem Roboter bei, ein sehr schwieriges Rätsel zu lösen, wie etwa das Design eines neuen Computerchips oder das Schreiben von komplexem Code.
Der alte Weg (Aktuelle Agenten):
Momentan arbeiten die meisten KI-Agenten wie eine Person, die versucht, ein Rätsel in einer einzigen Sitzung zu lösen. Sie versuchen einen Schritt, scheitern vielleicht, versuchen es erneut und machen so weiter, bis sie eine Antwort haben. Aber sobald sie fertig sind (oder abstürzen), vergessen sie fast alles, was sie während dieses spezifischen Versuchs gelernt haben. Wenn sie dasselbe Rätsel morgen versuchen, müssen sie wieder ganz von vorne anfangen. Ihr „Gedächtnis“ ist lediglich ein Haufen unordentlicher Notizen (Logs), die schwer zu lesen oder wiederzuverwenden sind.
Der neue Weg (Trellis & Experience Graphs):
Dieses Paper schlägt ein neues System namens Trellis vor. Stellen Sie sich Trellis wie ein Rankgerüst vor, das Gärtner verwenden, um Pflanzen beim Wachsen zu helfen. Die Rebe (der KI-Agent) ist diejente, die klettert und wächst, aber das Rankgerüst (die Datenbank) hält alles oben, organisiert die Zweige und stellt sicher, dass die Pflanze nicht zusammenbricht.
In diesem neuen System wird jeder einzelne Schritt, den der Agent macht – jeder Versuch, jeder Fehler, jedes Werkzeug, das er benutzt, und die Punktzahl, die er erhält – in einer riesigen, organisierten und durchsuchbaren Struktur namens Experience Graph gespeichert.
Die Kernmetapher: Der „Garten der Versuche“
Anstatt dass ein Agent nur einen Abschlussbericht schreibt, stellen Sie sich vor, er erkundet einen riesigen Garten.
- Der Experience Graph: Dies ist der Garten selbst. Jeder Pfad, den der Agent beschreitet, jede Blume, die er pflückt, und jede Sackgasse, in die er läuft, wird als permanente Pflanze im Garten festgehalten.
- Die „Reben“: Die KI-Agenten sind die Reben. Sie wachsen, erkunden und probieren Neues aus.
- Das „Trellis“ (Trellis-System): Dies ist die Datenbank, die den Garten hält. Sie lässt die Pflanzen nicht wachsen; sie stützt sie. Sie erinnert sich genau daran, wo jeder Ast ist, wie gut er gewachsen ist und was passiert wäre, wenn man einen anderen Pfad gewählt hätte.
Warum dies alles verändert
Das Paper argumentiert, dass die Behandlung dieser „Garten-Aufzeichnungen“ als eine echte Datenbank (wie jene, die Banken oder Fluggesellschaften steuern) die Art und Weise, wie KI arbeitet, in drei Hauptasiken verändert:
1. Kein „Amnesie-Effekt“ nach einem Absturz
Das Problem: Wenn ein aktueller Agent abstürzt (wie ein eingefrorener Computer), verliert er seinen Fortschritt. Es ist, als würde ein Wanderer von einer Klippe fallen und dabei die Karte vergessen, die er in der Hand hielt.
Die Trellis-Lösung: Da die „Karte“ (der Experience Graph) in der Datenbank lebt und nicht im Kopf des Agenten, kann der Agent sofort neu gestartet werden. Er fragt die Datenbank einfach: „Wo war ich?“ und macht genau dort weiter, wo er aufgehört hat. Der Agent selbst wird „zustandslos“ (stateless) – er ist nur ein Arbeiter, der das Denken übernimmt, während die Datenbank das Gedächtnis bewahrt.
2. Lernen von anderen (Cross-Session Reuse)
Das Problem: Aktuell weiß Agent B nicht automatisch Bescheid, wenn Agent A ein Problem gelöst hat. Sie sind isoliert.
Die Trellis-Lösung: Die Datenbank ermöglicht es Agent B, den „Garten“ von Agent A zu betrachten. Wenn Agent A eine Abkürzung gefunden oder einen Weg gefunden hat, eine Sackgasse zu vermeiden, kann Agent B diesen Pfad sofort sehen.
- Das Ergebnis: Das Paper testete dies mit einem realen Werkzeug namens KernelEvolve (das Computercode optimiert). Als die Agenten in der Lage waren, aus dem gemeinsamen Garten zu „leihen“, fanden sie Lösungen 10-mal schneller und verbrauchten 52 % weniger Rechenleistung (Tokens), weil sie keine Zeit damit verschwendeten, Fehler zu wiederholen, die andere bereits gemacht hatten.
3. „Zeitreisen“ für das Training
Das Problem: Um eine KI besser zu machen, müssen wir normalerweise durch unordentliche Logs wühlen, um Beispiele zu finden, die funktioniert haben oder nicht. Das ist langsam und oft ungenau.
Die Trellis-Lösung: Die Datenbank organisiert den „Garten“ automatisch in Trainingsmaterialien.
- Sie kann der KI zeigen: „Hier ist ein Pfad, auf dem du Erfolg hattest (Gut).“
- Sie kann zeigen: „Hier ist ein Pfad, auf dem du gescheitert bist (Schlecht).“
- Sie kann sogar „Zeitreisen“ durchführen: Sie kann exakt rekonstruieren, was der Agent zu diesem spezifischen Zeitpunkt in der Vergangenheit wusste, ohne die Ergebnisse der Zukunft zu kennen. Dies erzeugt automatisch perfekte, hochwertige Trainingsdaten.
Der „Selbstverbesserungs-Fliehsammelkreis“ (Self-Improving Flywheel)
Das Paper beschreibt einen Zyklus, der das System im Laufe der Zeit intelligenter macht:
- Erkunden: Agenten suchen im Garten und probieren Neues aus.
- Aufzeichnen: Jeder Versuch wird in der Trellis-Datenbank gespeichert.
- Lernen: Die Datenbank verwandelt diese Versuche in Trainingsdaten, um das KI-Modell zu lehren.
- Verbessern: Die intelligenteren Modelle kehren in den Garten zurück und erkunden ihn noch besser.
Da die Datenbank das Gedächtnis hält, wird das gesamte System klüger, je mehr Menschen es nutzen. Es ist nicht nur ein einzelner Agent, der klüger wird; es ist eine ganze Gemeinschaft von Agenten, die eine einzige, wachsende Bibliothek an Erfahrungen teilen.
Was das Paper tatsächlich behauptet (und was nicht)
- Es behauptet: Sie haben ein System (Trellis) gebaut, das die Suchhistorie von KI wie eine Datenbank behandelt. Sie haben dies bei der Optimierung von Computerchips (KernelEvolve) und der Hardware-Validierung getestet. Sie zeigten, dass dies Agenten schneller, kostengünstiger und zuverlässiger macht.
- Es behauptet: Diese Architektur ermöglicht „rekursive Selbstverbesserung“ (Agenten, die besser in ihrem eigenen Job werden).
- Es behauptet NICHT: Dieses Paper diskutiert medizinische Anwendungen, klinische Studien oder spezifische Anwendungen außerhalb der Software-/Hardware-Optimierung (obwohl es erwähnt, dass die Struktur auch auf Wirkstoffforschung oder Wissenschaft anwendbar sein könnte, beziehen sich die tatsächlichen Ergebnisse nur auf Computer-Code und Chips).
Zusammenfassende Analogie
Stellen Sie sich eine Gruppe von Wissenschaftlern vor, die versuchen, ein neues Naturgesetz zu entdecken.
- Ohne Trellis: Jeder Wissenschaftler arbeitet in einem separaten Raum, schreibt Notizen auf Papier, und wenn er den Raum verlässt, werden die Notizen weggeworfen. Sie müssen das Rad jedes Mal neu erfinden.
- Mit Trellis: Alle Wissenschaftler arbeiten in einer riesigen, gemeinsamen Bibliothek. Jedes Experiment, jeder Fehler und jeder Erfolg wird auf eine Karte geschrieben und perfekt abgelegt. Wenn ein Wissenschaftler einen Fehler macht, weiß die Bibliothek Bescheid. Wenn ein anderer Wissenschaftler einen Hinweis benötigt, kann er die exakte Karte aus dem Experiment eines Kollegen nachschlagen. Die Bibliothek selbst ist das „Gehirn“, das sich an alles erinnert, und ermöglicht es den Wissenschaftlern, auf den Schultern der anderen zu stehen und weiter zu reichen als je zuvor.
Das Paper kommt zu dem Schluss, dass Logs die Zuverlässigkeit von Datenbanken ermöglicht haben, aber Experience Graphs die KI-Agenten kumulativ machen könnten – das heißt, sie können Wissen aufbauen, das Bestand hat und wächst, anstatt immer nur ein Problem nach dem anderen zu lösen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.