Technische Samenvatting: SMMBench

Probleemdefinitie

Huidige benchmarks voor het geheugen van multimodale agenten evalueren systemen voornamelijk binnen vooraf samengestelde, coherente contexten (bijvoorbeeld een enkel lang gesprek of een unificerend zoekcorpus). Echter, taken voor agenten in de echte wereld vereisen vaak redeneren over bewijsmateriaal dat bron-gedistribueerd is: gefragmenteerd over meerdere onafhankelijk ontstane artefacten zoals aparte groepschats, privéberichten, profielen, screenshots, tabellen en documenten.

De kernuitdaging die is geïdentificeerd, is niet enkel het lezen van lange invoer, maar samenstellen van bron-gedistribueerd geheugen. In deze setting:

1. Onvolledigheid op bron-niveau: Geen enkele bron bevat voldoende informatie om een vraag te beantwoorden; bewijsmateriaal moet worden geaggregeerd uit meerdere verschillende oorsprongen.
2. Brug slaan tussen bronnen: Agenten moeten relevante bronnen identificeren en hun onafhankelijke lokale contexten verbinden, die vaak voor verschillende doeleinden en op verschillende tijdstippen zijn gecreëerd.
3. Conflictresolutie: Informatie over bronnen heen kan in strijd zijn of verouderd, waardoor agenten moeten redeneren over autoriteitsniveaus en temporele staten om hun geheugen bij te werken.

Bestaande benchmarks falen grotendeels in het evalueren van deze specifieke bottleneck, en richten zich in plaats daarvan op het zoeken in lange contexten binnen één unificerende stream.

Methodologie: Constructie van SMMBench

De auteurs introduceren SMMBench (Source-distributed Multimodal Memory Benchmark), een dataset ontworpen om de uitdaging van het samenstellen van bewijsmateriaal over onafhankelijke bronnen heen te operationaliseren.

Pipeline voor datasetconstructie

De benchmark wordt geconstrueerd via een drie-fasen pipeline om natuurlijkheid en afhankelijkheid van bewijsmateriaal te waarborgen:

1. QA-voorbereiding: Ruwe steekproeven uit diverse publieke multimodale benchmarks (bijvoorbeeld ChartQA, SlideVQA, MLLMKC, MMPB, M3Bench) worden omgezet in vraag-antwoordparen met uniforme bewiseenheden.
2. Synthese van conversationele bronnen: Agenten met vooraf gedefinieerde profielen worden geïnstancierd om meer-draai-gesprekken te genereren over meerdere kanalen (groeps- en privéchats). Deze gesprekken dienen als de "host"-omgeving, waarbij realistische interacties op lange termijn worden gesimuleerd zonder dat ze aanvankelijk het doelbewijsmateriaal bevatten.
3. Bron-bewuste invoeging van bewijsmateriaal: Een belangrijke ontwerpkeuze betreft het routeren van complementaire bewiseenheden naar verschillende onafhankelijke bronnen (bijvoorbeeld het plaatsen van een grafiek in één chat, een tabel in een andere, en een profielupdate in een derde). Een op LLM gebaseerde invoeger zorgt ervoor dat deze invoegingen het conversationele verloop en de temporele consistentie behouden, waardoor een scenario ontstaat waarin het voor het antwoord cruciale bewijsmateriaal verspreid en onvolledig is in elke enkele bron.

Benchmarkstatistieken en reikwijdte

• Schaal: 1.877 evaluatiesteekproeven gebaseerd op 264 verschillende bronnen.
• Verdeling: Gemiddeld vereist elke vraag bewijsmateriaal uit 2,82 bronnen en 4,54 bewiseenheden.
• Modale samenstelling: Rijke multimodale samenstelling, inclusief tekst, afbeeldingen, tabellen en documenten. De gemiddelde steekproef bevat 2,31 teksteenheden, 0,95 afbeeldingseenheden en 1,24 documenteenheden.
• Taaktypen: De benchmark evalueert vier kerncapaciteiten over vijf taakcategorieën:
  1. Single-Hop & Multi-Hop QA: Het ophalen en redeneren over bewijsmateriaal uit meerdere bronnen.
  2. Conflictresolutie: Het identificeren en prioriteren van nieuwere/autoritair bewijsmateriaal boven verouderde of tegenstrijdige records.
  3. Redeneren over voorkeuren: Het afleiden van gebruikersvoorkeuren uit impliciete aanwijzingen die verspreid zijn over interacties.
  4. Functieoproep (Actievoorspelling): Het uitvoeren van precieze tool-aanroepen op basis van parameters die zijn hersteld uit verspreide multimodale inhoud.

Evaluatieprotocol

De benchmark ondersteunt zowel open-boek- (volledige contexttoegang) als zoekgerelateerde instellingen. Het evalueert systemen op:

• Redeneren over bronnen heen: Kan de agent fragmenten lokaliseren en combineren?
• Omgaan met conflicten: Kan de agent tegenstrijdigheden oplossen?
• Actie-gronding: Kan de agent onthouden feiten omzetten in uitvoerbare acties?

Belangrijkste resultaten

Experimenten werden uitgevoerd op 1877 steekproeven met representatieve geheugen-achtige baselines (bijvoorbeeld MemGPT, MIRIX, Mem0) en RAG-achtige baselines (bijvoorbeeld Native RAG, HMRAG, VRAG).

1. Prestatiekloof: Huidige systemen hebben aanzienlijke moeite. Zelfs de sterkste baseline (HMRAG) behaalde een totaalscore van 0,4933, wat een aanzienlijke kloof (0,2540) laat ten opzichte van de Golden Evidence Baseline (0,7473), die het model direct het juiste bewijsmateriaal verschaft.
2. Moeilijkheid van bron-gedistribueerde informatie: Toen hetzelfde bewijsmateriaal werd geconcentreerd in één enkele bron (Source-Concentrated setting), verbeterde de prestatie bij alle baselines. Dit bevestigt dat de moeilijkheid specifiek voortkomt uit de distributie van bewijsmateriaal over onafhankelijke bronnen, en niet enkel uit de hoeveelheid inhoud.
3. Taakspecifieke uitdagingen:
   • Functieoproepen bleken de moeilijkste taak (beste score: 0,1111), wat aangeeft dat het herstellen van precieze parameters uit verspreid multimodaal bewijsmateriaal voor actie-uitvoering een grote bottleneck is.
   • Redeneren over voorkeuren en Conflictresolutie toonden ook aanzienlijke dalingen in vergelijking met feitelijke QA-taken.
4. Zoeken versus Samenstellen: Hoewel het verhogen van het zoekbudget ($K$) de recall verbeterde, introduceerde dit vaak ruis die de precisie verslechterde. De resultaten suggereren dat zoeken alleen onvoldoende is; het vermogen om gezocht bewijsmateriaal over bronnen heen te samenstellen en te verzoenen is het primaire faalpunt.
5. Invloed van modaliteit: Native multimodale toegang loste het probleem niet uniform op. Sommige systemen (bijvoorbeeld MIRIX) verbeterden met native multimodale invoer, terwijl anderen (bijvoorbeeld MemGPT) slechter presteerden, wat suggereert dat de bottleneck ligt in de architectuur van het geheugen over bronnen heen en niet enkel in modale perceptie.

Foutanalyse

Diagnose van 600 mislukte gevallen onthulde een gelaagde faalmodus:

1. Toegangsfout (61,8%): Het dominante fouttype is het onvermogen om het noodzakelijke gedistribueerde bewijsmateriaal uit het geheugen naar boven te halen.
2. Gebruiksfout (16,5%): Zelfs wanneer bewijsmateriaal wordt opgehaald, slagen agenten er niet in om aanwijzingen over bronnen heen samen te stellen of bijgewerkt bewijsmateriaal te prioriteren boven verouderde records.
3. Actiefout (8,2%): Agenten slagen er niet in om onthouden informatie om te zetten in correct uitvoerbare outputs (Functieoproep-fouten).

Betekenis en claims

De auteurs claimen dat samenstellen van bron-gedistribueerd geheugen een ondergewaardeerde maar kritieke bottleneck is voor multimodale agenten.

• Probleemidentificatie: Het benadrukt dat de moeilijkheid in het geheugen van agenten in de echte wereld niet enkel "lange context" is, maar "redeneren over bronnen heen".
• Bijdrage van de benchmark: SMMBench biedt de eerste systematische evaluatie van het vermogen van agenten om bewijsmateriaal op te halen, uit te lijnen en samen te stellen uit heterogene, onafhankelijk ontstane bronnen.
• Empirisch inzicht: De resultaten tonen aan dat huidige state-of-the-art geheugen- en RAG-systemen in deze setting verre van effectief zijn. De kloof tussen zoeken en succesvol samenstellen suggereert dat toekomstige vooruitgang architecturen vereist die bron-bewust geheugenbeheer en verzoening van bewijsmateriaal over bronnen heen mogelijk maken, in plaats van simpelweg contextvensters of zoekpools te schalen.

De auteurs concluderen dat vooruitgang in het geheugen van multimodale agenten niet alleen moet worden geëvalueerd op prestaties binnen coherente contexten, maar op het vermogen om de gefragmenteerde, bron-gedistribueerde aard van informatie in de echte wereld te hanteren.