Belief Memory: Agent Memory Under Partial Observability

Probleem: Zelfversterkende fout in deterministisch geheugen
Huidige Large Language Model (LLM)-agenten die opereren in omgevingen met een lange horizon en gedeeltelijke waarneembaarheid, vertrouwen op extern geheugen om kennis op te bouwen. Echter, bestaande geheugenmethoden – variërend van feitelijke stromen tot zelfverbeterende reflectiesystemen – houden zich aan een deterministisch paradigma. Ze slaan elke observatie op als een enkele, categorische conclusie (bijvoorbeeld "API X is mislukt"), waarbij alternatieve hypothesen en de inherente onzekerheid van de observatie worden verworpen. Deze aanpak creëert een "zelfversterkende fout": zodra een agent zich vastlegt op een gebrekkige conclusie, handelt hij op basis daarvan, waardoor verdere observaties worden gegenereerd die deze conclusie lijken te ondersteunen, terwijl verworpen alternatieven nooit opnieuw worden onderzocht. In Partially Observable Markov Decision Processes (POMDP's), waar agenten geen directe toegang hebben tot de ware toestand van de wereld, voorkomt het samenvoegen van ruisachtige observaties tot één grondwaarheid dat de agent fouten kan corrigeren wanneer nieuwe bewijzen binnenkomen.

Methodologie: BeliefMem
Om dit aan te pakken, stellen de auteurs BeliefMem voor, een geheugenparadigma dat verschuift van het opslaan van deterministische conclusies naar het handhaven van een attribuutniveau geloofsrepresentatie. In plaats van een enkel punt-estiemaat slaat BeliefMem meerdere kandidaat-conclusies op voor elk attribuut, elk gekoppeld aan een waarschijnlijkheid.

De methodologie werkt via drie kernmechanismen:

1. Geloofsgedreven opslag: Voor elk attribuut $c$ (bijvoorbeeld tool-status, gebruikersvoorkeur) onderhoudt het systeem een set kandidaat-hypothesen $H(c)$. In plaats van een genormaliseerde posterior over een vaste set, slaat het bewijsgebaseerde kansen op voor kandidaten die door observaties zijn ondersteund.
2. Probabilistische update (Noisy-OR): Wanneer nieuwe observaties binnenkomen, werkt BeliefMem het geheugen bij met twee operaties:
   • Toevoegen: Initialiseert nieuwe attributen of kandidaten met een waarschijnlijkheid begrensd door $[p_{min}, p_{max}]$.
   • Samenvoegen: Werk bestaande kandidaten bij met een Noisy-OR-regel. Als een observatie een hypothese ondersteunt, neemt de waarschijnlijkheid daarvan toe; als het een tegenstrijdige hypothese ondersteunt, wordt de waarschijnlijkheid van de conflicterende hypothese verlaagd (bijvoorbeeld naar 0,25). Hiermee kan het systeem het vertrouwen stapsgewijs verfijnen zonder alternatieven te verwerpen.
3. Geloofsbewuste ophaling: Tijdens het ophalen retourneert het systeem niet alleen de best gerangschikte conclusie, maar de top-$K$ items samen met hun volledige set kandidaat-waarschijnlijkheden. Hierdoor blijven concurrerende hypothesen zichtbaar voor de agent op het moment van besluitvorming, waardoor deze kan redeneren onder onzekerheid en acties kan selecteren die zijn geloof testen of verfijnen.

Belangrijkste bijdragen

• Paradigmaverschuiving: Het artikel identificeert en adresseert de "deterministische knelpunt" in agentgeheugen, en stelt een verschuiving voor van punt-estiematen naar probabilistische geloofstoestanden.
• Mitigatie van zelfversterkende fout: Door onzekerheid en alternatieve hypothesen te behouden, voorkomt BeliefMem dat agenten vast komen te zitten in onjuiste conclusies, waardoor ze fouten kunnen corrigeren naarmate nieuwe bewijzen zich ophopen.
• Praktische benadering: De auteurs bieden een computationeel haalbare benadering van geloofstoestanden met behulp van Noisy-OR bewijssamenvoeging, waarmee de onuitvoerbaarheid van het handhaven van exacte posteriors over open-ended hypotheseruimtes wordt vermeden.

Experimentele resultaten
De auteurs hebben BeliefMem geëvalueerd op twee benchmarks: LoCoMo (conversatiegeheugen op lange termijn) en ALFWorld (interactie met een belichaamde agent).

• Prestaties: BeliefMem behaalde de beste gemiddelde prestaties op beide benchmarks, en presteerde beter dan bekende baselines zoals MemGPT, MemoryBank en Mem0.
• Data-efficiëntie: Opmerkelijk is dat BeliefMem superieure resultaten behaalde met slechts 50% van de standaard grootte van het geheugencorpus. In sommige scenario's presteerde het beter dan baselines met slechts 16,67% van de data.
• Correctie en convergentie: Adversariële experimenten toonden aan dat BeliefMem gebrekkige geheugeningangen bijna tweemaal zo effectief corrigeert als deterministische baselines, en met hoge waarschijnlijkheid convergeert naar de ware conclusie (87,68% Top-1-rate) naarmate bewijs zich ophoopt.
• Generalisatie: In out-of-distribution (Ongezien) scenario's toonde BeliefMem robuuste generalisatie, waarbij het vaak met aanzienlijke marges beter presteerde dan baselines (bijvoorbeeld 12,4% in ALFWorld ongezien taken).

Betekenis
Het artikel stelt dat het vervangen van deterministische geheugenitems door probabilistische geloofsrepresentaties aanzienlijke winsten oplevert in omgevingen met gedeeltelijke waarneembaarheid. Door onzekerheid te behouden in plaats van deze te verwerpen, stelt BeliefMem agenten in staat met hoog vertrouwen te handelen op goed onderbouwde kennis, terwijl ze de capaciteit behouden om hun geloof bij te werken wanneer nieuwe bewijzen eerdere aannames tegenspreken. Dit werk verkent een nieuwe richting voor agentgeheugen en toont aan dat het handhaven van een geloofstoestand de optimale POMDP-oplossing effectiever benadert dan huidige deterministische benaderingen, wat leidt tot betrouwbaardere en aanpasbaardere agenten op lange termijn.