Technische Samenvatting: MERIT (Multi-key Episodic Retrieval with Inference-time Temporal expansion)

Probleemstelling

De snelle evolutie van Multi-modale Large Language Models (MLLM's) heeft het begrijpen van video verschoven van korte clips naar ultra-lange stromen die uren of zelfs dagen beslaan. Het direct verwerken van dergelijke ultra-lange video's end-to-end is echter computationeel onhaalbaar vanwege beperkingen in het contextvenster. Hoewel Retrieval-Augmented Generation (RAG)-frameworks een oplossing bieden, lijden eerdere benaderingen in de ultra-lange setting onder twee kritieke inefficiënties:

1. Query-Agnostische Overhead: Bestaande methoden (bijv. hiërarchische samenvatting of graafgebaseerd geheugen) investeren aanzienlijke computationele middelen in het vooraf modelleren van hoogwaardige semantische relaties en structuren voordat de downstream-query bekend is. Dit dwingt een "query-agnostische abstractie" af die mogelijk niet overeenkomt met de specifieke informatie die nodig is.
2. Misallocatie van Intelligentie: Het gebruik van krachtige MLLM's voor complexe, statische geheugenconstructie (bijv. het samenvoegen van segmenten tot dagelijkse samenvattingen of het bouwen van kennisgrafen) verspilt hoogwaardige redeneerkracht aan taken die uitgesteld kunnen worden.

De auteurs stellen dat de bottleneck moet verschuiven van het vooraf bouwen van complexe, statische semantiek naar het mogelijk maken van high-recall retrieval die consistent de juiste fijnmazige bewijslast levert, waarbij de semantische compositie wordt uitgesteld naar de inferentietijd wanneer de query bekend is.

Methodologie: MERIT

MERIT is een lichtgewicht, agentisch framework ontworpen voor ultra-lang video-begrip. Het hanteert een minimalistisch tweestaps-paradigma: Episodic Memory Construction (query-agnostisch) gevolgd door Agentic Retrieval and Answering (query-bewust).

1. Episodic Memory Construction (Fase 1)

In plaats van complexe hiërarchische grafen of multi-schaal samenvattingen te construeren, verdeelt MERIT de video $V$ in niet-overlappende clips van 30 seconden. Voor elke clip genereert het een dichte beschrijving (dense caption) en extraheert het een set Multi-keys ($K_i$).

• Multi-Key Representatie: Elke clip wordt geïndexeerd door vier verschillende, complementaire sleutels om diverse perspectieven te vangen:
  • Event/Action Key: Observeerbare fysieke acties en interacties.
  • Dialogue/Mention Key: Gesproken inhoud, commando's of specifieke woorden.
  • Object Key: Specifieke items die worden gehanteerd, gevraagd of verplaatst, inclusief statusovergangen.
  • Summary Key: Een compacte, trefwoord-achtige abstractie van het kernverhaal.
• Memory Store: Het geheugen $M$ is een eenvoudige key-value store waarbij sleutels ($K_i$) retrieval mogelijk maken en waarden ($v_i, d_i$) de ruwe bewijslast leveren.

2. Agentic Retrieval and Answering (Fase 2)

Tijdens de inferentie werkt het systeem in een iteratieve multi-turn loop:

• Multi-Key Retrieval: De solver genereert een retrieval-query $q^{(j)}$ en komt deze overeen met de opgeslagen sleutels met behulp van een sentence embedding model. De relevantie van de retrieval wordt bepaald door de Maximale Gelijkenis over alle sleutels voor een gegeven clip:
  $$S_i^{(j)} = \max_{k \in K_i} \text{sim}(E(q^{(j)}), E(k))$$
  Dit maakt het mogelijk dat een clip wordt opgehaald als een van de sleutels ervan overeenkomt met de query, wat de recall aanzienlijk verbetert.
• Neighbor Filtering (Temporele Expansie): In het besef dat bewijs vaak meerdere aangrenzende momenten beslaat, vertrouwt MERIT niet alleen op de opgehaalde 30-seconden anker. Na het ophalen van een set clips, breidt het systeem de temporele context dynamisch uit door naburige clips op te nemen (bijv. $\pm \Delta$ clips).
• Query-Bewuste Filtering: De solver fungeert als een filter op deze uitgebreide lokale context, waarbij alleen de informatie wordt gedestilleerd die relevant is voor de specifieke query. Dit reconstrueert coherente context zonder vooraf berekende globale structuren.
• Iteratief Redeneren: De agent beoordeelt of de geaccumuleerde bewijslast voldoende is. Indien niet, verfijnt hij de query en herhaalt de retrieval; anders integreert hij de bewijslast om het definitieve antwoord te genereren.

Belangrijkste Bijdragen

1. Paradigmaverschuiving in Intelligentie-allocatie: Het paper stelt voor om de semantische compositie uit te stellen naar de query-tijd in plaats van te investeren in query-agnostische preprocessing. Dit benut de volledige redeneercapaciteit van de MLLM pas wanneer de taak is gespecificeerd.
2. Eenvoudige maar Effectieve Multi-Key Indexering: Door vier heterogene sleutels aan minimale episodische segmenten te koppelen, bereikt MERIT een high-recall retrieval zonder de computationele overhead van hiërarchische of graafgebaseerde geheugenconstructie.
3. On-Demand Temporele Expansie: Het "Neighbor Filtering"-mechanisme vangt een bredere semantische context door de temporele reikwijdte uitsluitend rond de opgehaalde segmenten uit te breiden tijdens de inferentie, waardoor de enorme kosten van wereldwijde geheugenconstructie worden vermeden.
4. Minimalistische Architectuur: MERIT elimineert de noodzaak voor dure multi-stage geheugensamenvoeging door te vertrouwen op een eenvoudig key-matching mechanisme en dynamische context-expansie.

Experimentele Resultaten

MERIT werd geëvalueerd op drie long-video benchmarks: EgoLifeQA (ultra-lang, egocentrisch), LVBench (uur-lange video's) en Video-MME (Long).

• State-of-the-Art Prestaties: MERIT behaalde nieuwe SOTA-resultaten over alle benchmarks.
  • Op EgoLifeQA, waarbij GPT-5 als solver werd gebruikt, behaalde MERIT een gemiddelde nauwkeurigheid van 71,2%, waarmee het de vorige SOTA (WorldMM met GPT-5) met +5,6% versloeg.
  • Op LVBench bereikte MERIT (GPT-5) 71,8%, waarmee het de vorige SOTA met +9,9% overtrof.
  • Op Video-MME (Long) behaalde MERIT 77,7%, waarmee het WorldMM (76,6%) versloeg.
• Efficiëntie: MERIT demonstreerde aanzienlijke efficiëntiewinsten in geheugenconstructie. Vergeleken met WorldMM verminderde het het aantal input-tokens met 8,4× en het aantal output-tokens met 8,6×, terwijl het het aantal LLM-aanroepen verminderde van ~23.700 naar ~6.200.
• Retrieval Kwaliteit: MERIT behaalde een hogere Hit Rate (0,56) vergeleken met hiërarchische (EgoRAG: 0,15) en graafgebaseerde (WorldMM: 0,53) baselines, wat bevestigt dat precieze, fijnmazige retrieval cruciaal is voor QA-prestaties.
• Ablatie Studies:
  • Neighbor Filtering: Het verwijderen van dit component zorgde voor een significante daling in prestaties, vooral in categorieën die een bredere context vereisen (bijv. RelationMap, HabitInsight).
  • Multi-Key Combinaties: Het gelijktijdig gebruiken van alle vier de sleutels leverde de hoogste nauwkeurigheid op, wat de complementaire aard van de sleutels valideert.
  • Solver Dependency: De prestaties schaalden significant met sterkere solvers (bijv. GPT-5 vs. Qwen3-VL-8B), wat de hypothese versterkt dat het geheugen lichtgewicht moet zijn terwijl de solver de complexe redenering afhandelt.

Betekenis en Claims

Het paper claimt dat het uitstellen van semantische compositie naar de query-tijd een meer fundamentele en effectieve benadering is dan het investeren in query-agnostische preprocessing. De resultaten suggereren dat:

1. Eenvoud is Effectief: Een eenvoudige episodische multi-key memory, gecombineerd met on-demand temporele expansie, kan complexe hiërarchische en graafgebaseerde architecturen overtreffen.
2. Retrieval is de Bottleneck: High-recall retrieval van fijnmazige bewijslast is belangrijker dan vooraf berekende semantische structuren.
3. Schaalbaarheid: Het framework is zeer schaalbaar voor willekeurig lange video's omdat het de cascade-effecten van computationele kosten bij het updaten van complexe globale geheugenstructuren vermijdt naarmate de videolengte toeneemt.

De auteurs positioneren MERIT als een praktische en schaalbare basis voor toekomstig ultra-lang video-begrip, waarbij zij benadrukken dat de "intelligentie" die nodig is voor complexe redenering naar de inferentiestap moet worden toegewezen, waar de query de noodzakelijke abstracties definieert.