Technische Samenvatting: Persoonlijk Visueel Geheugen uit Expliciete en Impliciete Bewijzen

Probleemstelling

Op lange termijn geheugen wordt steeds belangrijker voor gepersonaliseerde AI-agenten, maar het huidige onderzoek en de benchmarks blijven voornamelijk tekstgericht. Hoewel bestaande multimodale benchmarks afbeeldingen kunnen bevatten, is de informatie die nodig is om daaropvolgende vragen te beantwoorden, doorgaans alleen al uit de begeleidende tekst te halen. Bovendien reduceren heersende geheugensystemen afbeeldingswendingen vaak tot generieke bijschriften, een proces dat "verliesgevend" is omdat het cruciale visuele details zoals identiteit, eigendom en terugkerende visuele aanwijzingen verwijdert.

Het artikel identificeert een gat in het veld: het onvermogen van huidige systemen om persoonlijk visueel geheugen te behouden en te redeneren dat bestaat buiten expliciete tekstuele uitspraken om. Dit omvat twee onderscheiden vormen van bewijs:

1. Expliciet Bewijs: Terugkerende visuele entiteiten (bijvoorbeeld een specifiek huisdier of object) die in meerdere afbeeldingen voorkomen maar niet expliciet worden genoemd of besproken in de dialoog.
2. Impliciet Bewijs: Latente gebruikersfeiten (bijvoorbeeld het bezitten van een kat, het hebben van een specifieke hobby) die moeten worden afgeleid uit visuele of multimodale aanwijzingen, zelfs wanneer het gesprek geen betrekking heeft op dat feit.

Bestaande benchmarks falen in het testen van deze vaardigheden omdat ze agenten niet dwingen om identiteits- of eigendomsambiguïteit in de tijd op te lossen met behulp van visuele consistentie, noch vereisen ze het afleiden van feiten uitsluitend op basis van visuele proxies.

Methodologie

1. Constructie van de Benchmark (VisualMem)

Om het gebrek aan geschikte evaluatiegegevens aan te pakken, introduceren de auteurs VisualMem, een synthetische benchmark die is ontworpen om langdurige multimodale interacties te simuleren die zijn geworteld in persistente gebruikerspersona's. Het constructieproces omvat vier fasen:

• Multimodale Persona-context: Er wordt een gestructureerde context opgebouwd voor elke gebruiker, inclusief een profiel (demografie, interesses), een sociaal netwerk (familie, vrienden), aan de gebruiker gerelateerde activa (huisdieren, objecten) en een tijdlijn van gebeurtenissen.
• Generatie van Conversaties: Er worden drie soorten conversaties gegenereerd om verschillende geheugencapaciteiten te testen:
  • Expliciete Entiteit: Afbeeldingen bevatten terugkerende doelentiteiten (mensen of activa) om te testen of het model ze kan volgen over interacties heen.
  • Impliciet Feit: Afbeeldingen bevatten visuele proxies (bijvoorbeeld een kattenboom) die een feit impliceren (bijvoorbeeld "de gebruiker bezit een kat") zonder dat de tekst dit expliciet stelt. Dit omvat zowel Visual-Only (feit uitsluitend afgeleid uit de afbeelding) als Multimodaal (feit afgeleid door afbeelding en tekst te combineren) varianten.
  • Afwijkend Element: Neutrale interacties of "harde negatieven" (bijvoorbeeld de kat van een vriend) om te testen of het model foutieve toewijzing van eigendom of identiteit vermijdt.
• Afbeeldingsgeneratie met Globale Consistentie: Met behulp van controleerbare afbeeldingsgeneratie synthetiseert het systeem afbeeldingen die zijn geconditioneerd op referentieafbeeldingen van persistente entiteiten en beschrijvingen van scènes. Dit zorgt ervoor dat dezelfde gebruiker, het huisdier of het object visuele consistentie behoudt over verschillende gebeurtenissen en locaties heen, een vereiste voor geldig redeneren over lange-termijngeheugen.
• Vraaggeneratie: Evaluatievragen worden afgeleid om vertraagd geheugen te toetsen. Ze vereisen dat het model entiteitsidentiteiten herinnert of latente feiten afleidt op basis van eerdere visuele bewijzen, vaak gepresenteerd als meerkeuzevragen waarbij de afbeelding niet opnieuw wordt getoond.

De dataset bestaat uit 10 persona's, 1.717 gebeurtenissen, 1.718 afbeeldingen en 696 vragen, met gemiddeld 172 gebeurtenissen per persona.

2. Voorgestelde Architectuur: VISUALMEM

De auteurs stellen VISUALMEM voor, een hybride visueel-tekstueel geheugenkader dat is ontworpen om te integreren met bestaande tekstgebaseerde geheugensystemen (specifiek met MemOS als backend). In tegenstelling tot systemen die afbeeldingen samenvoegen tot bijschriften, maakt VISUALMEM gebruik van een dedicated visueel geheugenproces met drie fasen:

• Fase 1: Contextgestuurde Interpretatie: Afbeeldingen worden niet geïsoleerd verwerkt. Het systeem analyseert gezamenlijk de afbeelding en de omringende conversatiecontext om ambiguïteiten op te lossen met betrekking tot identiteit en eigendom van de scène (bijvoorbeeld het onderscheiden tussen "mijn keuken" en "de keuken van een vriend").
• Fase 2: Uitgestelde Toewijzing: Inzichtelijk makend dat bewijs mogelijk onvoldoende is voor directe grounding, plaatst het systeem dubieuze afbeeldingen in een wachtstatus naast hun oorspronkelijke context. Naarmate het gesprek evolueert en meer visuele herinneringen zich ophopen, bezoekt het systeem deze wachtende afbeeldingen opnieuw. Dit stelt het model in staat om identiteit en eigendom geleidelijk te ontmantelen naarmate nieuw bewijs binnenkomt, in plaats van zich vroeg vast te leggen op mogelijk ruisende extracties.
• Fase 3: Gestructureerde Extractie: Zodra een afbeelding is bevestigd, extrahert het systeem gestructureerde persoonlijke informatie op drie niveaus:
  • Relatieniveau: Het afleiden van sociale banden en eigendom.
  • Entiteitsniveau: Het identificeren van terugkerende mensen, objecten en huisdieren, waarbij visuele referenties worden opgeslagen voor toekomstige matching.
  • Factual Niveau: Het extraheren van duurzame, visueel onderbouwde gebruikersfeiten (bijvoorbeeld bezittingen, gewoonten).
    Deze feiten worden verbaal gemaakt en doorgestuurd naar de tekstgeheugenbackend voor consolidatie, terwijl het gestructureerde visuele geheugen toegankelijk blijft voor ophalen.

Tijdens inferentie routeert VISUALMEM queries naar de juiste geheugenbron: entiteitsgerichte queries worden opgelost tegen de gestructureerde visuele opslag, terwijl bredere feitelijke queries gebruikmaken van de tekstgeheugenbackend of een combinatie van beide.

Belangrijkste Resultaten

Prestaties op de Visuele Geheugenbenchmark

Experimenten tonen aan dat VISUALMEM aanzienlijk beter presteert dan eerdere geheugensystemen op de VisualMem-benchmark:

• Algemene Nauwkeurigheid: VISUALMEM behaalt 84,1% nauwkeurigheid, wat significant hoger is dan de sterkste bestaande geheugen-gebaseerde baseline (MemOS met 56,0%) en RAG-gebaseerde methoden (Self-RAG met 22,1%).
• Expliciete Entiteiten: De grootste winst wordt waargenomen bij Doel Persoon (95,0% versus 45,0% voor MemOS) en Doel Activa (91,1% versus 59,9%) taken. Dit bevestigt dat op bijschriften gebaseerde methoden falen in het behoud van identiteit en herhaling in de tijd, terwijl het gestructureerde visuele geheugen van VISUALMEM slaagt.
• Impliciete Feiten: VISUALMEM verbetert ook de prestaties op Impliciet Feit-taken (Visual-Only: 77,9%; Multimodaal: 83,4%), wat zijn vermogen aantoont om latente feiten af te leiden uit visuele aanwijzingen en deze te combineren met de dialoogcontext.

Prestaties op Tekstgerichte Benchmarks

Om te waarborgen dat de visuele module bestaande tekstcapaciteiten niet verslechtert, hebben de auteurs VISUALMEM geëvalueerd op standaard tekst-only benchmarks (LOCOMO en PersonaMem).

• VISUALMEM behaalde 58,1% op LOCOMO en 46,3% op PersonaMem, vergelijkbaar met de MemOS-baseline (respectievelijk 56,8% en 45,5%).
• Dit geeft aan dat het aanvullen van het systeem met visueel geheugen de prestaties van het tekstgeheugen behoudt.

Ablatiestudies

• Visueel versus Tekstgeheugen: Het gebruik van alleen tekstgeheugen presteerde aanzienlijk slechter dan het gebruik van alleen visueel geheugen op entiteitstaken, wat bevestigt dat de benchmark wordt gedreven door visueel bewijs. Het combineren van beide leverde echter de beste resultaten op, met name voor multimodale impliciete feiten.
• Uitgestelde Toewijzing: Het verwijderen van het wachtmechanisme veroorzaakte een merkbare daling in prestaties (vooral voor Doel Persoon), wat de noodzaak bevestigt om extractie uit te stellen totdat voldoende bewijs is verzameld.
• Contextvenster: Het gebruik van de volledige conversatiesessie voor context tijdens het geheugenbouwen leverde betere resultaten op dan het beperken van het venster, wat het belang van bredere context onderstreept voor het koppelen van visueel bewijs aan tekstuele aanwijzingen.

Betekenis en Claims

Het artikel stelt dat persoonlijk visueel geheugen een onderscheidend en belangrijk onderdeel is van lange-termijngeheugen voor gepersonaliseerde AI-agenten. De auteurs betogen dat:

1. Beperking van Huidig Onderzoek: Bestaande benchmarks en methoden tekstgericht zijn, zelfs in multimodale settings, en falen in het testen van het vermogen om te redeneren over visueel bewijs dat niet expliciet in tekst is vermeld.
2. Noodzaak van Gestructureerd Visueel Geheugen: Het reduceren van afbeeldingen tot generieke bijschriften is ontoereikend voor gepersonaliseerde agenten. Systemen moeten expliciete persistente persoonlijke informatie (identiteit, eigendom, feiten) modelleren die is afgeleid uit visuele interacties.
3. Haalbaarheid van Hybride Benaderingen: VISUALMEM toont aan dat een hybride architectuur gestructureerd visueel geheugen effectief kan integreren met bestaande tekstgeheugenbackends, waardoor de prestaties op visuele taken verbeteren zonder tekstgebaseerde capaciteiten te compromitteren.

Het werk suggereert dat toekomstige geheugenagenten moeten voorbijgaan aan het behandelen van afbeeldingen als bijlage tekst en in plaats daarvan dedicated mechanismen moeten ontwikkelen voor het behoud en redeneren over de persistente persoonlijke informatie die wordt bijgedragen door visuele interacties. De auteurs merken op dat hun benchmark synthetisch is opgebouwd om visuele consistentie en controle te waarborgen, en erkennen dat een implementatie in de echte wereld uitdagingen op het gebied van privacy en robuustheid moet aanpakken.