Technische Samenvatting: Vraag de LLM niet om versheid te volgen

1. Het Probleem: Conflictresolutie in Evoluerend Geheugen

Op basis van Large Language Models (LLM) gebaseerde geheugensystemen krijgen steeds vaker de taak om feiten te onderhouden die in de loop van de tijd evolueren (bijv. gebruikersvoorkeuren, beleidswijzigingen, gecorrigeerde records). Een kritieke foutmodus in deze systemen is conflictresolutie: wanneer een geheugen meerdere tegenstrijdige waarden bevat voor hetzelfde feit, het bepalen welke waarde geretourneerd moet worden.

De standaardconventie in moderne geheugensystemen (Mem0, Graphiti, HippoRAG-v2, etc.) is dat het "meest recente" feit moet winnen. Echter, evaluaties op de MemoryAgentBench (MAB) FactConsolidation taak onthullen een sterke onderprestatie in het hele veld:

• De Taak: Agenten krijgen een corpus van genummerde feiten waarbij de tegenfeitelijke (nieuwere) versies hogere seriële nummers hebben. Agenten krijgen expliciet te horen: "nieuwere feiten hebben grotere seriële nummers."
• De Fout: Ondanks deze expliciete regel, presteren alle gepubliceerde systemen aanzienlijk ondermaats.
  • HippoRAG-v2 (beste gepubliceerde RAG): 54,0% nauwkeurigheid op single-hop (FC-SH).
  • Zep/Graphiti (temporele kennisgraaf ontworpen voor dit doel): 7,0% op FC-SH.
  • Multi-hop (FC-MH): Alle 22 geëvalueerde systemen scoren ≤7%.
• De Hypothese: De bottleneck is niet de opslagarchitectuur (grafen, hippocampale modellen, agentische loops), maar de assemblagestap: bestaande baselines vertrouwen erop dat de LLM de conflictresolutie uitvoert (het beoordelen van versheid) binnen een vrije tekstgeneratiestap, in plaats van gebruik te maken van expliciete, versiebewuste aggregatie.

2. Methodologie: Een Deterministisch Recept

De auteurs stellen een pijplijn voor die semantische retrieval ontkoppelt van de versheid-logica, waarbij de laatste uit de LLM en naar deterministische code wordt verplaatst.

Kernprimitieven

1. Fact-Level Retrieval: In plaats van tekst willekeurig te chunken (bijv. 512 of 4096 tokens), indexeert het systeem individuele feiten. Dit behoudt het seriële nummer als een afzonderlijke sleutel, waardoor de LLM niet hoeft te redeneren over versheid binnen een enkele ruisige chunk.
2. Gestructureerde Kandidaat-extractie: Een LLM wordt geprompt om alle semantisch overeenkomende kandidaten uit de opgehaalde set (Top-K=10) te extraheren in een gestructureerd JSON-formaat. De LLM krijgt de expliciete instructie niet om een winnaar te kiezen of nummers te vergelijken, maar om elk overeenkomend feit te vermelden met het bijbehorende seriële nummer en entiteit.
3. Deterministische Aggregatie: Een Python-functie (max(serial)) selecteert de kandidaat met het hoogste seriële nummer. Deze operatie is exact, snel en immuun voor de neiging van de LLM om expliciete regels te overriden met priors uit de trainingsdata.

Geëvalueerde Pijplijnen

• SH-Conflict (Single-Hop): Haalt feiten op, extraheert kandidaten en past max(serial) toe.
• CAR (Chain-Aware Resolution) voor Multi-Hop: Decomponeert complexe multi-hop vragen (bijv. "X van Y van Z") in atomaire hops met behulp van een Self-Ask stijl prompt. Elke hop wordt onafhankelijk opgelost met de SH-Conflict pijplijn voordat het resultaat naar de volgende hop wordt doorgegeven.

3. Belangrijkste Bijdragen

1. Matched-Setup Pijplijn Vergelijking: De auteurs voerden een gecontroleerd experiment uit waarbij de backbone (gpt-4o-mini), retrieval (BM25), chunking en dataset constant werden gehouden, waarbij alleen de resolutie-logica varieerde.
   • Het vervangen van de LLM-oordeel-pijplijn door de Kandidaat-extractie + Python max(serial) pijplijn leverde een gemiddelde winst op van +10,8 procentpunt (pp) op FC-SH.
   • Het gat werd aanzienlijk groter met de contextlengte: +8 pp bij 6K context, oplopend tot +21 pp bij 262K context.
2. Nieuwe State-of-the-Art (SOTA) op MAB:
   • FC-SH: 78,0% (gpt-4o-mini) en 94,8% (gpt-4o), waarmee het beste gepubliceerde systeem (HippoRAG-v2 op 54%) wordt verslagen met +24 pp (gepoolde) en +28 pp bij 262K.
   • FC-MH: 30,2% (gpt-4o-mini) en 51,5% (gpt-4o), waarmee het beste gepubliceerde resultaat (7%) wordt verslagen met +23 pp (gepoolde) en +20 pp bij 262K.
3. Mechanistisch Bewijs van LLM-falen: De studie identificeert twee specifieke faalmodi in LLM-oordeel baselines die de deterministische aanpak elimineert:
   • Prior-Override: LLM's negeren de "nieuwere wint"-regel wanneer het nieuwere feit botst met een sterke training-data prior (bijv. "ijshockey" vs. "pesäpallo" voor Finland).
   • Serial-Comparison Drift: Naarmate de kandidaatpool groeit (langere context), verliezen LLM's het overzicht over welk serieel nummer het grootste is. De deterministische max() functie blijft exact, ongeacht de grootte van de pool.
4. Cross-Benchmark Generalisatie: Op LongMemEval (conversationeel geheugen met echte timestamps), wordt de mechanisme overgezet van max(serial) naar max(timestamp). Echter, het koppelt het LLM-oordeel overall (57,8% vs 64,4%), wat aangeeft dat deterministische aggregatie de juiste primitief is voor huidige-waarde conflicten, maar gecomponeerd moet worden met vraagtype-bewuste handlers voor Ja/Nee, historische of aggregatievragen.

4. Resultaten en Analyse

• Contextlengte Robuustheid: De LLM-oordeel baseline degradeert scherp bij 262K context (daalt van 75% bij 64K naar 61% bij 262K). De deterministische pijplijn blijft stabiel (71–82% over alle lengtes voor gpt-4o-mini; 92–99% voor gpt-4o).
• Retrieval Ceiling: Een unie-analyse laat zien dat 88,5% van de vragen oplosbaar is door ten minste één pijplijn, wat suggereert dat retrieval (BM25 Top-10) niet de primaire bottleneck is; de fout ligt in de post-retrieval assemblage.
• Complementariteit: De pijplijnen zijn niet strikt geordend. De deterministische pijplijn wint op 21,3% van de vragen waar de LLM faalt (door prior override of drift), terwijl de LLM wint op 10,5% van de vragen (vaak waar strikte extractie geldige kandidaten overmatig verwerpt).
• Kostenefficiëntie: De gpt-4o-mini deterministische pijplijn kost ~$0,0001 per query, wat een 78% nauwkeurigheid baseline biedt die aanzienlijk goedkoper en robuuster is dan complexe graaf-gebaseerde systemen.

5. Betekenis en Claims

Het artikel pleit voor een correctieve verschuiving in het subveld van de geheugenframeworks:

• Assemblage vs. Opslag: De bottleneck voor conflictresolutie is assemblage (hoe feiten worden geïdentificeerd en geaggregeerd na retrieval), niet de opslagarchitectuur (grafen, embeddings of agentische loops).
• Eenvoud boven Complexiteit: Uitgebreide temporele kennisgrafen (zoals Zep/Graphiti) die specifiek zijn ontworpen voor temporeel geheugen scoorden slechts 7,0% op deze taak. De auteurs beweren dat voor data met expliciete versie-markers, de juiste primitief gestructureerde kandidaat-extractie gevolgd door deterministische aggregatie is, en niet LLM-gemedieerd oordeel.
• Design Patroon: Toekomstige geheugensystemen zouden de rol van de LLM moeten beperken tot taken die hij betrouwbaar uitvoert (semantische identificatie en kandidaat-extractie) en het vergelijken over gestructureerde metadata (serials, timestamps) moeten delegeren aan deterministische code.

De auteurs blijven bescheiden over de reikwijdte en merken op dat het recept specifiek is voor huidige-waarde conflictresolutie met expliciete versie-markers. Ze erkennen dat multi-hop resolutie moeilijk blijft (30,2% is een verbetering maar niet "opgelost") en dat de aanpak gecomponeerd moet worden met andere handlers voor niet-versheid type vragen (Ja/Nee, historische queries).