Technische Samenvatting: User as Code (UaC)

1. Probleemstelling

Gepersonaliseerde AI-agenten vereisen een persistent model van de gebruiker ("gebruikersgeheugen") dat zich over sessies heen opbouwt. Huidige geheugensystemen slaan deze informatie doorgaans op als ongestructureerde tekst, kennisgrafen of platte feitenopslag, waarbij ze vertrouwen op retrieval-mechanismen (bijv. vectorgelijkenis) om relevante vermeldingen op te halen. De auteurs identificeren drie kritieke beperkingen in dit "bag-of-facts"-paradigma:

1. Scheiding tussen Representatie en Verificatie: Het opslaan van een feit en het handelen naar een feit zijn afzonderlijke stappen. Retrieval-gebaseerde systemen worstelen met het oplossen van tegenstrijdigheden, het aggregeren van gegevens over vele records of het afdwingen van logische regels, omdat de representatie niet direct uitvoerbaar is.
2. Onvermogen om Aggregatievragen te Verwerken: Vragen die berekeningen vereisen over de volledige geschiedenis (bijv. "Hoeveel internationale reizen heb ik vorig jaar gemaakt?") zorgen ervoor dat retrieval-gebaseerde systemen instorten, aangezien top-k retrieval slechts een subset van de records ziet.
3. Gebrek aan Proactieve Service: Bestaande benchmarks richten zich op reactieve herinnering. Ze falen in het testen van "Actieve Service" — het vermogen van een agent om ongevraagde, veiligheidskritische waarschuwingen te genereren (bijv. conflicten tussen medicijnen en allergieën) die worden getriggerd door statuswijzigingen in plaats van door gebruikersvragen.

2. Methodologie: De User as Code Architectuur

Het paper stelt User as Code (UaC) voor, een paradigma waarbij het model van de gebruiker een levend softwareproject is. De staat van de gebruiker wordt gerepresenteerd als getypeerde Python-objecten, en de regels die hen beheersen worden gecodeerd als gewone Python-functies. Dit verenigt representatie en redenering in één enkel medium dat door een interpreter kan worden uitgevoerd.

De architectuur rust op een tweefasige pipeline om ruwe conversatie om te zetten in deze uitvoerbare code:

Fase 1: Memoriseren (Append-Only Extractie)

• Proces: Voor elke conversatiesessie extraheert een LLM individuele feiten als platte strings.
• Kernkenmerk: Deze fechten worden toegevoegd aan een lopend logboek en worden nooit overschreven of verwijderd. Relatieve datums worden omgezet naar absolute datums tegen de sessietijdstempel.
• Opslag: Feiten worden geïndexeerd in een vector store (ChromaDB) voor retrieval als fallback. Ruwe conversatiefragmenten worden ook gearchiveerd.

Fase 2: Structureren (Periodieke Regeneratie)

• **Proces: ** Periodiek regenereert een LLM de volledige gestructureerde Python-code vanuit de volledige geaccumuleerde feitencorpus.
• Output: Feiten worden georganiseerd in getypeerde dataclass instanties (bijv. PassportInfo, Medication).
• Constraint Generatie: Een "coding agent" schrijft Python-functies (constraints) die opereren op deze getypeerde staat. Deze functies worden deterministisch uitgevoerd in een sandbox.
• Waarschuwingen: De resultaten van deze constraints (bijv. ACTIVE_ALERTS) worden gepresenteerd in een compact manifest dat aan het begin van elke nieuwe sessie wordt geladen, wat proactieve waarschuwingen mogelijk maakt zonder gebruikersvragen.

Retrieval en Gebruik

UaC maakt gebruik van een Multi-Strategy Retrieval systeem dat drie kanalen combineert:

1. Gestructureerde Code Staat: De getypeerde Python-staat wordt letterlijk in de prompt opgenomen (afgekapt indien nodig).
2. Fact-Vector Retrieval: Top-k feiten uit het append-only logboek worden opgehaald via cosine similarity om details te dekken die niet in het schema zijn gevangen.
3. Archive Retrieval: Ruwe conversatiefragmenten worden opgehaald als een fallback voor verbatim queries.

3. Belangrijkste Bijdragen

1. Een Tweefasige Geheugenarchitectuur: UaC bereikt 78,8% nauwkeurigheid op de volledige 10-conversatie LOCOMO benchmark (600 QA's), wat statistisch gelijk is aan de Full-Context upper bound (79,8%) en significant beter presteert dan evenredige re-implementaties van SOTA-systemen (MemMachine: 72,7%, Hindsight: 69,7%).
2. Analytische Inferentie Benchmark: De auteurs introduceren een benchmark voor aggregatievragen (tellingen, sommen, gemiddelden) over de gebruikersgeschiedenis. UaC bereikt 99% nauwkeurigheid, terwijl retrieval-gebaseerde systemen instorten (MemMachine: 43%, Mem0: 6%). Dit komt doordat het antwoord een eenregige berekening is over de getypeerde staat in plaats van een zoekopdracht in tekst.
3. Active Service Benchmark: Een nieuwe benchmark die proactieve waarschuwingen test (40 standaard + 20 harde scenario's). UaC bereikt 100% detectie in standaardscenario's en 85% in harde scenario's (waarbij complexe datumarithmetiek en multi-domein constraints betrokken zijn), een capaciteit die retrieval-gebaseerde systemen niet kunnen bieden zonder expliciete queries.
4. Ablatie-studies:
   • Append-only extractie is de meest significante factor voor recall (+19pp over code-only baselines).
   • Tweefasige scheiding (het scheiden van feit-extractie van code-structurering) voorkomt het informatieverlies dat wordt gezien bij incrementele code-overschrijving (+12,3pp over incrementele code).
   • Modulariteit: Het laden van alleen relevante domeinen op aanvraag vermindert de tokenkosten met 14,9× zonder verlies van nauwkeurigheid op grote staat-omvang (500 records).
5. Kostenamortisatie: Hoewel het structureren een eenmalige kostenpost met zich meebrengt, is UaC ~15× goedkoper dan het herhaaldelijk ophalen van ruwe records voor herhaalde queries (na 3–11 queries, afhankelijk van de staat-omvang).

4. Resultaten en Prestaties

• LOCOMO: UaC (78,8%) is statistisch niet te onderscheiden van de Full-Context upper bound (79,8%, p=0,65) en verslaat alle concurrerende geheugensystemen.
• LongMemEval: UaC scoort 83,0%, statistisch gelijk aan MemMachine (84,8%) en Full Context (85,4%).
• Analytische Inferentie: UaC behoudt een bijna perfecte nauwkeurigheid (99%) over recordaantallen van 20 tot 500, terwijl retrieval-gebaseerde systemen significant degraderen naarmate het aantal records toeneemt.
• Latentie: UaC heeft een mediane antwoordlatentie van 3,62s (iets hoger dan de 1,78s van Full Context) vanwege de complexiteit van de multi-channel prompt, maar blijft binnen het tempo van een gesprek.
• Robuustheid: De resultaten houden stand over verschillende LLM-backbones (GPT-5.4 vs. Gemini 3 Flash) en cross-judge evaluaties (Claude Opus 4.7), met een hoge inter-judge overeenstemming (Cohen's κ ≥ 0,74).

5. Betekenis en Claims

Het paper betoogt dat User as Code de capaciteit van AI-geheugen fundamenteel verandert. Door het gebruikersgeheugen te behandelen als een versieerd, getypeerd softwareproject in plaats van een passieve database, maakt UaC het volgende mogelijk:

• Deterministische Verificatie: Regels (constraints) worden deterministisch uitgevoerd, wat garandeert dat veiligheidskritische controles (bijv. interacties tussen medicijnen) betrouwbaar zijn.
• Proactieve Service: Het systeem kan waarschuwingen presenteren op basis van statuswijzigingen zonder te wachten op een gebruikersquery, wat de "initiatie-asymmetrie" in gepersonaliseerde agenten aanpakt.
• Schaalbare Redenering: Het aggregeren over grote geschiedenissen wordt een triviale computationele taak in plaats van een retrieval-falen.

De auteurs positioneren UaC niet als een vervanging voor retrieval, maar als een complementaire laag waarbij retrieval de oppervlakkige herinnering afhandelt, terwijl de uitvoerbare code-laag de analytische inferentie en constraint-controle verzorgt. Het werk suggereert dat de "representatie" tussen registreren en herinneren de cruciale hefboom is voor agent-intelligentie, en dat getypeerde, uitvoerbare code een superieur medium is voor deze representatie vergeleken met ongestructureerde tekst.

Erkende Beperkingen:

• De gestructureerde staat is nagenoeg neutraal voor pure single-hop recall (draagt slechts -1,3pp bij in de ablatie), wat aangeeft dat de primaire waarde ligt in aggregatie en constraints.
• De "all-at-once" regeneratie in Fase 2 staat voor schaalbaarheidslimieten bij honderden sessies, wat motiveert voor toekomstig werk op hiërarchische structurering.
• De prestaties van Active Service op "harde" scenario's (n=20) zijn veelbelovend maar statistisch niet onbeslist tegenover de sterkste baseline (Mem0) vanwege de steekproefomvang.