Technische Samenvatting: HMARS

Probleemstelling

Redeneren met lange context vereist dat modellen toegang hebben tot, informatie kunnen ophalen uit en bewijslast kunnen integreren die verspreid is over uitgebreide documenten, dialogen en interactiegeschiedenissen. Standaard Retrieval-Augmented Generation (RAG)-benaderingen reduceren deze uitdaging doorgaans tot een passief top-$K$ chunk-retriechaproces gebaseerd op embedding-gelijkenis. De auteurs stellen dat deze passieve interface fundamenteel gebrekkig is voor complexe redeneertaken, omdat het ervan uitgaat dat relevantie lokaal en statisch meetbaar is. Gevolgelijk werpt RAG vaak relevante bewijslast weg voordat het redeneren begint, met name wanneer:

1. Breedte van Bewijslast: Vereiste informatie is verspreid over verre regio's van een document, wat de integratie van vele niet-aangrenzende chunks vereist.
2. Context-afhankelijke Relevantie: Een passage wordt pas relevant wanneer deze wordt geïnterpreteerd tegen de bredere context of informatie die elders is vermeld (bijv. een eerdere vermelding van een budgetrestrictie die essentieel wordt voor een latere vraag over huisvesting), ondanks een lage lexicale overlap met de query.

Bestaande oplossingen, zoals grotere contextvensters, hiërarchische samenvattingen of multi-agent sequentiële leessystemen, blijven vaak passief of gecentraliseerd, waardoor ze er niet in slagen een echt geheugensysteem te bieden waarbij lokale regio's actief deelnemen aan een query-geconditioneerde beoordeling zonder vroege uitsluiting.

Methodologie: HMARS

De auteurs stellen HMARS (Hierarchical Multi-Agent Memory System) voor, dat lange contexten behandelt als beheerd geheugen in plaats van een plat retrieval-corpus. Het systeem maakt gebruik van een asymmetrische modelhiërarchie ($L_{sub} \ll L_{mid} \ll L_{base}$) en werkt in twee fasen:

1. Indexeringsfase

• Partitionering: Het invoerdocument of de interactiegeschiedenis wordt opgedeeld in begrensde lokale regio's.
• Sub-Agents: Elke regio wordt beheerd door een lichtgewicht sub-agent ($L_{sub}$). De regio wordt verder onderverdeeld in pagina's van vaste grootte. Elke sub-agent creëert een Local Memory Card die een samenvatting, onderwerpen, entiteiten en een pagina-index bevat. Deze kaart legt bloot wat de sub-agent weet aan het volgende niveau, zonder te dienen als definitief bewijs.
• Mid-Agents: Sub-agents worden gegroepeerd onder mid-agents ($L_{mid}$). Een mid-agent aggregeert de memory cards van de toegewezen sub-agents om een Shared Regional Memory op te bouwen. Dit omvat een samenvatting op regioniveau, een mapping van sub-agents naar hun onderwerpen/entiteiten, en een kruisverwijzingsmechanisme om afhankelijkheden (bijv. gedeelde entiteiten, temporele updates) tussen geïsoleerde sub-agents te volgen.

2. Queryfase

• Broadcast & Interpretatie: Bij ontvangst van een query interpreteert elke mid-agent de query tegenover zijn shared regional memory. In plaats van harde routing-beslissingen te nemen, genereert het een query-interpretatie op regioniveau ($\gamma$) en specifieke hints ($h$) voor elke sub-agent.
• Parallelle Lokale Beoordeling: Cruciaal is dat elke sub-agent een query-geconditioneerde beoordeling van zijn lokale pagina's uitvoert in parallel, geleid door de hints van de mid-agent. Dit zorgt ervoor dat geen enkele documentregio wordt weggegooid door een vroege top-$K$ filter.
• Gegronde Bewijslast-retrieval: Geselecteerde pagina's worden gededupliceerd, gesorteerd op globale token-offset en gereconstrueerd tot een gegronde bewijslast-context.
• Definitief Redeneren: Een frontier base model ($L_{base}$) voert het uiteindelijke redeneren en de antwoordsynthese uit, strikt gebaseerd op de opgehaalde gegronde bewijslast-pagina's.

Belangrijkste Bijdragen

1. Diagnostische Benchmarks: De auteurs hebben twee benchmarks geconstrueerd die specifiek zijn ontworpen om de breedte van bewijslast en context-afhankelijke relevantie te testen, waarbij zij verder gaan dan eenvoudige sequentiële stappen:
   • Een Long-Document Benchmark afgeleid van LongBench-v2, waarbij is gefilterd op vragen die bewijs vereisen uit ten minste vier verre chunks met een lage RAG-recall.
   • Een Cumulative Interaction Memory Benchmark geïnspireerd door RealMem, bestaande uit multi-turn dialogen waarin cruciale feiten verspreid zijn en pas relevant worden onder latere context.
2. Probleemformulering: Het artikel frameert falen in lange context als beperkingen van passieve, op chunks gebaseerde geheugentoegang, waarbij specifiek wordt gewezen op het onvermogen van standaard RAG om brede bewijslastdekking en context-afhankelijke relevantie aan te pakken.
3. HMARS Architectuur: De introductie van een hiërarchisch systeem dat lokale geheugenbeheer, regionale coördinatie en definitief redeneren scheidt, wat zorgt voor volledige contextconsideratie door lokale agents terwijl het krachtige frontier-model wordt gereserveerd voor de uiteindelijke synthese.

Experimentele Resultaten

HMARS werd geëvalueerd tegen dense RAG (met variërende budgetten en chunk-groottes), dense reranking, full-context prompting, GraphRAG en agentic baselines (Chain-of-Agents, MemAgent).

• Prestaties: HMARS behaalde de beste algehele prestaties op beide benchmarks. Het presteerde beter dan alle baselines op de multi-turn geheugentaak en behaalde de hoogste nauwkeurigheid in de meeste categorieën van langdurig document-redeneren (Synthese, Vergelijking, Causaal, Kruisverwijzing).
• Bewijslastdekking: Analyse toonde aan dat HMARS 99,4% van de geannoteerde ondersteunende chunks dekt, terwijl RAG-varianten (zelfs met hoge budgetten) slechts ongeveer 57% deken. Dit bevestigt dat de winst van HMARS voortkomt uit het vollediger ophalen van vereiste bewijslast, in plaats van enkel het veranderen van de uiteindelijke antwoordprompt.
• Efficiëntie: Ondanks het gebruik van meerdere model-aanroepen biedt HMARS een superieure nauwkeurigheid-computatie afweging. Het bereikt een hogere nauwkeurigheid dan Full-Context prompting (die de grootste FLOPs gebruikt) en high-budget RAG, door de berekening te verschuiven van het dure frontier-model dat de volledige context leest naar lichtgewicht lokale en mid-level modellen die de geheugentoegang beheren.
• Ablatie-studies:
  • Full Fanout: Het beperken van deelname tot enkel door de mid-agent geselecteerde sub-agents verminderde de nauwkeurigheid aanzienlijk, wat de noodzaak valideert voor elke lokale regio om relevantie te beoordelen.
  • Mid-Agent Coördinatie: Het verwijderen van de mid-agent laag verslechterde de prestaties, met name in multi-turn taken, wat de noodzaak van gedeelde regionale context bewijst.
  • Modelallocatie: Het gebruiken van een groter model voor sub-agents leverde geen significante winst op, wat de asymmetrische vormgeving ondersteunt waarbij lichtgewicht modellen lokale pagina's beheren.

Betekenis en Claims

Het artikel claimt dat redeneren met lange context niet uitsluitend moet worden geframed als het ophalen van meer chunks of het uitbreiden van contextvensters. In plaats daarvan pleit het voor het bouwen van geheugensystemen die bewijslast over de input actief beheren, ontsluiten en grondslagen.

De auteurs stellen dat HMARS aantoont dat:

1. Passieve top-$K$ retrieval faalt wanneer bewijslast verspreid of context-afhankelijk is.
2. Het organiseren van inputs als beheerd lokaal geheugen, waarbij elke regio deelneemt aan een query-geconditioneerde beoordeling, effectiever is dan gecentraliseerde of sequentiële verwerking.
3. Asymmetrische modelallocatie volledige contextconsideratie mogelijk maakt zonder de prohibitieve kosten van het voeden van de volledige context aan een frontier-model.

Het artikel concludeert dat hoewel HMARS de toegang tot bewijslast verbetert, het geen perfecte recall garandeert, aangezien lokale agents nog steeds pagina's kunnen missen. Bovendien merken de auteurs op dat hun diagnostische benchmarks specifiek gericht zijn op breedte van bewijslast en context-afhankelijkheid, en dat de voordelen van het systeem het meest prominent zijn bij taken met cumulatieve interactiegeheugen.