💻 computer science

Nous: A Predictive World Model for Long-Term Agent Memory

„nou“ führt eine neuartige Agenten-Speicherarchitektur ein, die die traditionelle Faktenspeicherung durch ein prädiktives Weltmodell aus kategorischen Wahrscheinlichkeitsverteilungen ersetzt, wobei Informationen als Glaubensaktualisierungen (Deltas) beibehalten werden und Vergessen natürlich durch Entropieabfall eintritt, wodurch eine wettbewerbsfähige Leistung bei Benchmarks für langfristige Konversationen erreicht wird, ohne dass externe Vektordatenbanken oder Graph-Engines erforderlich sind.

Ursprüngliche Autoren: Pranav Singh

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pranav Singh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, sich an ein Gespräch mit einem Freund zu erinnern. Die meisten Computerprogramme, die versuchen, dies zu tun, agieren wie ein Aktenschrank. Sie nehmen jedes Faktum, das Sie sagen („Ich mag Pizza“, „Ich arbeite bei Google“), und stecken es in einen Ordner. Wenn Sie später sagen: „Eigentlich hasse ich Pizza und arbeite bei Amazon“, fügt der Aktenschrank einfach eine neue Notiz hinzu. Er weiß nicht, wie er den Konflikt lösen soll, und endet daher mit einer chaotischen Schublade voller widersprüchlicher Papiere.

Das Paper stellt Nous vor, eine neue Art und Weise, wie KI-Agenten sich Dinge merken können. Anstatt eines Aktenschranks agiert Nous wie ein lebendiges, atmendes Gehirn.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die Kernidee: Vorhersage statt Speicherung

Die Autoren argumentieren, dass das menschliche Gedächtnis nicht darin besteht, ein perfektes Transkript der Vergangenheit zu speichern. Es geht darum, ein Weltmodell zu besitzen, das vorhersagt, was als Nächstes passieren wird.

Der alte Weg: „Ich habe einen Datenbankeintrag, der besagt: ‚Pranav arbeitet bei Google‘.“
Der Nous-Weg: „Ich habe ein mentales Bild von Pranavs Job. Im Moment bin ich mir zu 87 % sicher, dass er bei Google arbeitet, zu 8 % sicher, dass er bei Amazon arbeitet, und zu 5 % sicher, dass ich es nicht weiß.“

2. Wie es lernt: Der „Überraschungs“-Meter

Jedes Mal, wenn die KI etwas Neues hört, gleicht sie ihr mentales Bild mit dem ab, was sie gerade gehört hat.

Geringe Überraschung: Wenn die KI denkt „Pranav mag Kaffee“ und Sie sagen „Pranim mag Kaffee“, sagt die KI: „Okay, das passt zu meiner Vermutung.“ Es ändert sich nicht viel.
Hohe Überraschung: Wenn die KI denkt „Pranav mag Kaffee“ und Sie sagen „Pranav hasst Kaffee“, erlebt die KI einen Schock. Im Paper wird dies als „Surprise“ (Überraschung) bezeichnet.
Das Update: Anstatt nur den neuen Fakt aufzuschreiben, verschiebt die KI mathematisch ihr mentales Bild. Der Teil des Bildes „Kaffeeliebhaber“ schrumpft, und der Teil „Kaffeesüchter“ wächst. Die KI merkt sich, wie sehr sich ihr Geist verändert hat, nicht nur den neuen Fakt.

3. Vergessen: Das verblassende Echo

In einer Datenbank müssen Sie alte Dateien manuell löschen. In Nous geschieht das Vergessen natürlich, wie ein Ton, der in einem großen Raum langsam verhallt.

Wenn die KI schon lange nichts mehr über einen bestimmten Fakt gehört hat, driftet ihre Gewissheit über diesen Fakt langsam in Richtung „Ich habe keine Ahnung“ ab.
Das Paper nennt dies Entropie-Zerfall (entropy decay). Es ist wie ein Gummiband, das langsam seine Spannung verliert, wenn man nicht daran zieht. Wenn man eine Erinnerung nicht verstärkt, wird sie natürlich unscharf und unsicher.

4. Konflikte lösen: Das „Delta“

Wenn die KI ihr Denken aktualisiert, überschreibt sie nicht einfach die alte Datei. Sie speichert ein Delta (ein griechischer Buchstabe, der oft für „Änderung“ verwendet wird).

Betrachten Sie ein Delta als einen Tagebucheintrag, der besagt: „Am Dienstag dachte ich, Pranav arbeitet bei Google. Dann hörte ich, dass er zu Amazon gewechselt ist, also habe ich meine Überzeugung angepasst.“
Dies ermöglicht es der KI, eine Historie darüber zu führen, wie sie gelernt hat, anstatt nur eine Liste statischer Fakten zu besitzen.

5. Umgang mit Listen (Der „Aggregation“-Trick)

Es gibt einen kniffligen Teil. Wenn Sie fragen: „Welche Orte hat Pranav besucht?“, könnte ein einfaches „Best Guess“-Modell vielleicht nur „Paris“ sagen, weil das die wahrscheinlichste Antwort ist. Aber Sie wollen eine Liste aller Orte.

Die Lösung: Nous führt ein spezielles Protokoll darüber, wann es durch einen neuen Ort „überrascht“ wurde. Wenn Sie nach einer Liste fragen, durchsucht es dieses Protokoll, um die vollständige Historie zu liefern, während es gleichzeitig seine „beste Vermutung“ für einfache Fragen beibehält.

Die Ergebnisse: Wie gut funktioniert es?

Die Autoren haben Nous in einem Benchmark namens LoCoMo getestet, der aus langen Gesprächen mit vielen Fragen besteht. Sie verglichen es mit anderen Systemen (wie A-MEM und BeliefMem) unter Verwendung eines Standard-KI-Modells (GPT-4o-mini).

Die Punktzahl: Nous erzielte signifikant höhere Werte als die anderen Systeme in drei von vier Kategorien (Single-hop, Multi-hop und Open-domain Fragen).
Der Vergleich: Sie verglichen es auch mit BeliefMem, einem System, das von einem anderen Team mit einer sehr ähnlichen „Belief-basierten“ Idee entwickelt wurde. Basierend auf den von beiden Teams berichteten Zahlen kam Nous besser weg.
Die Einschränkung: Die Autoren sind sehr ehrlich. Sie geben zu, dass der Vergleich mit BeliefMem kein perfekter „Äpfel-mit-Äpfeln“-Test ist, da die beiden Teams leicht unterschiedliche Methoden verwendet haben, um Fragen zu stellen und Antworten zu bewerten. Sie planen, in Zukunft einen strengeren Side-by-Side-Test durchzuführen.

Zusammenfassung

Nous ist ein KI-Gedächtnissystem, das Wissen wie eine Wahrscheinlichkeit (eine Vermutung, die besser oder schlechter wird) behandelt und nicht wie einen Fakt (einen festen Datensatz).

Es lernt durch die Messung von Überraschung.
Es vergisst, indem es die Unsicherheit über die Zeit wachsen lässt.
Es löst Konflikte, indem es Wahrscheinlichkeiten verschiebt, anstatt Dateien zu löschen.

Das Paper behauptet, dass dieser Ansatz die KI besser darin macht, lange Gespräche zu erinnern, Widersprüche zu handhaben und komplexe Fragen zu beantworten, und das, ohne eine massive externe Datenbank zu benötigen. Es wird als ein neues, Open-Source-Tool präsentiert, das von den Autoren noch verfeinert wird.

Technisches Resümee: Nous – Ein prädiktives Weltmodell für das langfristige Gedächtnis von Agenten

Problemstellung

Aktuelle Large Language Model (LLM) Agenten leiden unter einem Mangel an sich kontinuierlich entwickelndem Langzeitgedächtnis. Während Kontextfenster eine kurzfristige Erinnerung ermöglichen, geht der Gesprächsverlauf verloren, sobald eine Sitzung endet, sofern er nicht extern persistiert wird. Bestehende Gedächtnissysteme (z. B. RAG, Wissensgraphen, episodische Speicher wie MemGPT) behandeln das Gedächtnis als statische Datenbank von Fakten. Die Autoren argumentieren, dass dieses „Speicher“-Paradigma zu drei strukturellen Ausfallmodi führt:

Konfliktblindheit: Widersprüchliche Datensätze (z. B. ein Nutzer, der den Job wechselt) häufen sich, ohne dass eine prinzipielle Auflösung erfolgt.
Heuristisches Vergessen: Das Löschen basiert auf der Zeit statt auf semantischer Relevanz oder Unsicherheit.
Granularitätsmismatch bei der Abfrage: Faktenspeicher geben einzelne Datensätze zurück, es fehlen jedoch Mechanismen, um Werte über die Zeit zu aggregieren (z. B. das Auflisten aller Aktivitäten, die eine Person jemals durchgeführt hat).

Das Paper postuliert, dass diese Fehler daraus resultieren, dass das Gedächtnis als Speicher statt als prädiktives Weltmodell behandelt wird, analog dazu, wie das Gehirn ein generatives Modell der Umgebung aufrechterhält, das durch Prädiktionsfehler aktualisiert wird.

Methodik: Die Nous-Architektur

Nous implementiert das Gedächtnis als eine Sammlung kategorischer Wahrscheinlichkeitsverteilungen, sogenannte Dimensionen, anstatt als deterministische Fakten.

Kernabstraktionen

Dimensionen ( $D_{e,a}$ ): Für jedes Entitäts-Attribut-Paar (z. B. Pranav, Arbeitgeber) pflegt Nous eine kategorische Verteilung $p(v)$ über ein Vokabular möglicher Werte. Der Modus dieser Verteilung repräsentiert die aktuelle beste Annahme des Agenten.
Deltas ( $\Delta$ ): Das primäre gespeicherte Artefakt ist nicht der Fakt selbst, sondern das Delta – ein Datensatz der Verschiebung vom Prior- zum Posterior-Belief. Ein Delta umfasst die Prior-Verteilung, die Posterior-Verteilung, die informationstheoretische Überraschung, den Zeitstempel und die unterstützenden Belege.
Überraschungsgesteuerte Updates: Eingehende Beobachtungen werden anhand der informationstheoretischen Überraschung bewertet: $S = -\log_2 P(obs | D)$ . Hohe Überraschung (widersprüchliche Evidenz) löst eine signifikante Revision der Überzeugung aus, während geringe Überraschung (bestätigende Evidenz) zu vernachlässigbaren Änderungen führt.
Bayesianisches Posterior: Updates werden über ein geschlossenes Bayesianisches Posterior (Gl. 3) berechnet. Dies ermöglicht es, dass die Wahrscheinlichkeitsmasse natürlich in Richtung widersprüchlicher Evidenz verschoben wird, ohne dass eine explizite Logik zur Konflikterkennung erforderlich ist.
Entropie-Zerfall (Vergessen): Dimensionen, die über eine Dauer $\Delta t$ nicht aktualisiert wurden, unterliegen einer exponentiellen Mischung hin zu einer Gleichverteilung (Gl. 4). Dies simuliert natürliches Vergessen, wenn die Unsicherheit über die Zeit wächst – eine Eigenschaft, die in heuristischen Löschregeln fehlt.
Identitätsauflösung: Entitäten werden zusammengeführt, wenn die symmetrisierte KL-Divergenz ihrer gemeinsamen Dimensionssätze niedrig ist.

Handhabung von Attributen mit mehreren Werten

Eine Einschränkung unimodaler kategorischer Verteilungen ist die Unfähigkeit, inhärent mehrwertige Attribute (z. B. eine Liste besuchter Städte) darzustellen, ohne historische Alternativen zu verwerfen. Nous adressiert dies via Delta-Log-Aggregation: Bei einer Abfrage wird jeder Wert, der mit einer Überraschung über einem Schwellenwert $\theta_{min}$ auftrat, in den Kontext aufgenommen. Dies bewahrt das Bayesianische Weltmodell für die „aktuelle beste Annahme“, während es gleichzeitig eine exhaustive Aggregation für spezifische Abfragen ermöglicht.

Pipelines

Ingestion: Ein LLM extrahiert $(e, a, v)$ -Tripel aus Sitzungen. Für jedes dieser Tripel berechnet das System die Überraschung, aktualisiert das Posterior und hängt ein Delta an das Log an.
Abfrage: Das System führt eine Breitensuche über den Entitätsgraphen durch (bis zu zwei Hops), um relevante Entitäten zu initialisieren. Es formatiert die Dimensionszustände als Faktensätze und hängt die Top-k Delta-Datensätze (basierend auf BM25-Ähnlichkeit) als Evidenz an. Dieser Kontext wird an ein antwortendes LLM übergeben.

Wichtige Beiträge

Prädiktives Weltmodell-Paradigma: Formalisierung des Agentengedächtnisses als eine Sammlung von Dimensionen, die durch überraschungsgesteuerte Bayesianische Inferenz aktualisiert werden, anstatt als Faktenspeicher.
Open-Source-Implementierung: Ein vollständiges System, das keine externe Vektordatenbank oder Graph-Engine erfordert.
Evaluierung und ehrliches Benchmarking: Leistungsbewertung auf dem LoCoMo-Benchmark, begleitet von einer expliziten Diskussion über Reproduzierbarkeitsprobleme in der Literatur bezüglich der Vergleich mit Baselines (speziell A-MEM) und einer vergleichenden Analyse gegen BeliefMem, ein gleichzeitiges System mit ähnlichen Prämissen.

Ergebnisse

Evaluierung auf dem LoCoMo-Benchmark (10 Konversationen, 1.540 Fragen) unter Verwendung von GPT-4o-mini als Backbone:

Leistung: Nous erreichte die folgenden Token-F1-Scores:
- Single-hop: 63,50
- Multi-hop: 55,32
- Temporal: 58,57
- Open-domain: 62,50
Vergleich mit A-MEM: Nous zeigte signifikante Gewinne gegenüber den selbstberichteten GPT-4o-mini-Zahlen von A-MEM in drei von vier Kategorien. Die Autoren merken ein Reproduzierbarkeitsproblem an, bei dem unabhängige Zitierungen der A-MEM-Ergebnisse bei der Kategorisierung divergieren, obwohl die zugrunde liegenden numerischen Werte konsistent sind.
Vergleich mit BeliefMem: Gegenüber BeliefMem (einem anderen belief-basierten System) übertrafen die selbstberichteten Zahlen von Nous das BeliefMem in allen vier Kategorien (z. B. 63,50 vs. 48,41 bei Single-hop). Die Autoren stellen jedoch explizit klar, dass dies kein vollständig kontrollierter Vergleich ist, da Unterschiede in den Extraktions-Prompts, den Abfragemechanismen (BM25/BFS vs. Ähnlichkeit/Zerfall) und den unverifizierten Fragenzahlen bestehen.
Fehleranalyse:
- Single-hop: Hohe Kontext-Recall-Rate (86,07 %), aber niedriger F1 (63,50), was darauf hindeutet, dass der Engpass in der Antwortgenerierung des LLM liegt, nicht im Retrieval.
- Open-domain: Niedrigster Kontext-Recall (47,50 %) und höchste Retrieval-Miss-Rate (37 %), was darauf hindeutet, dass das Entitäts-Attribut-Dimensionsmodell Schwierigkeiten hat, Fragen zu Persönlichkeit/Gewohnheiten sauber abzubilden.
- Temporal: Leidet unter niedrigem Kontext-Recall (61,82 %), da temporale Daten oft in den Evidenztexten eingebettet sind, anstatt als explizite Dimensionswerte extrahiert zu werden.

Signifikanz und Ansprüche

Das Paper behauptet, dass Nous eine lebensfähige Alternative zu datenzentrierten Gedächtnisarchitekturen demonstriert. Durch die Modellierung des Gedächtnisses als ein prädiktives System, das durch Überraschung aktualisiert wird, handhabt es natürlich Widersprüche (via Wahrscheinlichkeitsverschiebungen), Vergessen (via Entropie-Zerfall) und Aggregation (via Delta-Logs).

Die Autoren positionieren diese Arbeit als ersten öffentlichen Bericht über eine neue Architektur. Sie betonen die Bescheidenheit hinsichtlich der Ergebnisse:

Der Vergleich mit BeliefMem ist „eher suggestiv als konklusiv“, solange kein kontrollierter Vergleich mit identischen Pipelines durchgeführt wurde.
Die Unimodalität der Dimensionen wird als Einschränkung für Set-Wert-Attribute anerkannt, wobei der Übergang zu unabhängigen Bernoulli-Verteilungen geplant ist.
Die Evaluierung ist derzeit auf LoCoMo und GPT-4o-mini beschränkt; die Generalisierung auf andere Backbones und schwierigere Benchmarks (LongMemEval) ist geplant.

Die zentrale Bedeutung liegt im architektonischen Wechsel: Das Gedächtnis eines Agenten nicht als Repository dessen, „was passiert ist“, zu betrachten, sondern als eine kontinuierlich verfeinerte Wahrscheinlichkeitsverteilung über den Zustand der Welt, fundiert auf Prinzipien der kognitiven Wissenschaft wie der prädiktiven Kodierung und dem Prinzip der freien Energie.