StreamMeCo: Long-Term Agent Memory Compression for Efficient Streaming Video Understanding

Probleemstelling

Het begrijpen van streaming video (bijvoorbeeld voor live-streaming, real-time surveillance en autonoom rijden) is een groeiend onderzoeksveld. Bestaande methoden voor streaming video-verstaan, zoals die gebaseerd zijn op agentgeheugen (bijv. M3-Agent), slaan informatie op als een geheugengrafiek (memory graph) bestaande uit tekst-, gezicht- en stemknooppunten. Hoewel deze aanpak effectief is voor het behouden van lange-termijn consistentie van entiteiten, leidt de groei van de video's tot een enorme toename in het aantal tekstknooppunten.

Dit veroorzaakt twee kritieke problemen:

1. Hoge opslag- en rekentkosten: Het opslaan van alle informatie wordt onhoudbaar.
2. Retrieval-latentie: Zoals geïllustreerd in Figuur 1 van het paper, neemt de tijd voor het ophalen van geheugen (retrieval) exponentieel toe met het aantal tekstknooppunten, wat real-time antwoordgeneratie onmogelijk maakt.

Bestaande compressietechnieken (zoals token-compressie of KV-cache compressie) lossen dit niet volledig op, omdat ze vaak kritieke visuele informatie verliezen of moeite hebben met lange-termijn consistentie.

Methodologie: StreamMeCo

De auteurs stellen StreamMeCo voor, een trainingsvrij framework voor het comprimeren van het geheugen van een streaming video-agent. Het framework bestaat uit twee hoofdcomponenten: een dual-branch compressiemethode gebaseerd op de connectiviteit van de grafiek, en een tijdsgebonden ophaalmechanisme.

1. Dual-Branch Memory Compression

De tekstknooppunten in de geheugengrafiek worden onderverdeeld in twee categorieën, elk met een eigen compressiestrategie:

• Geïsoleerde tekstknooppunten (Edge-free Minmax Sampling - EMsampling):
  • Deze knooppunten bevatten algemene informatie zonder specifieke entiteitsreferenties (bijv. "De man eet rijst").
  • Methode: De knooppunten worden eerst geklusterd met behulp van Spherical KMeans. Binnen elke cluster wordt een Minmax Sampling-strategie toegepast. Eerst wordt het knooppunt het dichtst bij het clustercentrum geselecteerd. Vervolgens wordt iteratief het knooppunt geselecteerd dat de grootste minimale afstand heeft tot de reeds geselecteerde set. Dit zorgt ervoor dat de meest representatieve en diverse knooppunten binnen een cluster behouden blijven.
• Verbonden tekstknooppunten (Edge-aware Weighting Pruning - EWpruning):
  • Deze knooppunten zijn verbonden met gezicht- of stemknooppunten en bevatten specifieke entiteitsinformatie (bijv. "Mark eet rijst").
  • Methode: Er wordt een Entity Importance score berekend op basis van de randgewichten tussen tekst- en entiteitsknooppunten (hoe vaak/sterk is een tekst gekoppeld aan een persoon?). Daarnaast wordt de Embedding Similarity berekend tussen tekstknooppunten om diversiteit te maximaliseren.
  • Een fusiescore wordt berekend: $r_j = b \cdot W'_j + (1-b) \cdot S'_j$, waarbij $W'$ de entiteitsbelangrijkheid is en $S'$ de omgekeerde similariteit (voor diversiteit). De knooppunten met de hoogste scores worden behouden.

2. Time-decay Memory Retrieval (TMR)

Om prestatieverlies door compressie te compenseren, introduceren de auteurs een mechanisme dat geïnspireerd is op het menselijk geheugen (vergeten van oude informatie):

• Het systeem berekent de relevantie van verschillende tijdssegmenten voor de huidige vraag.
• Een niet-lineaire tijdsvervalfunctie ($e^{-\lambda(t-j)}$) wordt toegepast. Dit betekent dat oudere segmenten minder gewicht krijgen, maar dat de verdeling van het aantal te ophalen knooppunten dynamisch wordt aangepast.
• Het doel is om meer kritieke informatie uit recente segmenten te halen, wat de nauwkeurigheid van het redeneren verbetert zonder dat alle oude data nodig is.

Belangrijkste Bijdragen

1. StreamMeCo Framework: Het eerste compressieframework specifiek ontworpen voor industriële streaming video-agenten, dat de geheugengrafiek efficiënt comprimeert zonder training.
2. Nieuwe Compressiemodules:
   • EMsampling: Een edge-free methode voor het selecteren van representatieve geïsoleerde knooppunten.
   • EWpruning: Een edge-aware methode die entiteitsbelangrijkheid en embedding-diversiteit combineert voor het comprimeren van verbonden knooppunten.
3. TMR Mechanisme: Een innovatieve ophaalstrategie die tijdsverval simuleert, wat bewezen heeft superieur te zijn aan bestaande ophaalframeworks.
4. Uitgebreide Validatie: Experimenten op drie uitdagende benchmarks (M3-Bench-robot, M3-Bench-web, Video-MME-Long) tonen aan dat de methode robuust is.

Resultaten

De experimenten tonen aan dat StreamMeCo aanzienlijke verbeteringen biedt ten opzichte van de basis M3-Agent en andere state-of-the-art modellen:

• Snelheid: Bij een compressie van 70% van de geheugengrafiek wordt een 1,87x versnelling bereikt in de geheugenretrieval-tijd.
• Nauwkeurigheid: Ondanks de sterke compressie (70%) behaalt StreamMeCo een gemiddelde nauwkeurigheidsverbetering van 1,0% ten opzichte van de niet-gecomprimeerde versie.
• Vergelijking: De methode overtreft zowel gesloten (Gemini-1.5-Pro, GPT-4o) als open-source multimodale modellen (Qwen2.5-VL) en andere streaming video-modellen.
• Ablatie-studies: De studies bevestigen dat elke component (EMsampling, EWpruning, TMR) bijdraagt aan de prestaties. Zonder TMR daalt de prestatie bij hoge compressie, maar met TMR blijft de prestatie stabiel of verbetert deze zelfs.

Betekenis en Impact

StreamMeCo lost een fundamenteel probleem op in de ontwikkeling van intelligente agenten voor real-time video: de schaalbaarheid van het geheugen.

• Efficiëntie: Het maakt het mogelijk om agenten in te zetten voor extreem lange video's (urenlang) zonder dat de rekentijd of opslagkosten de real-time interactie blokkeren.
• Kwaliteit: Het bewijst dat slimme compressie (gebaseerd op structuur en relevantie) niet alleen ruimte bespaart, maar zelfs de redeneerkwaliteit kan verbeteren door ruis te verwijderen en recente, relevante informatie te prioriteren.
• Toepasbaarheid: Hoewel getest op M3-Agent, is het framework ontworpen om generiek te zijn en kan het worden toegepast op andere grafiekgebaseerde agentgeheugen-systemen.

Kortom, StreamMeCo is een doorbraak die streaming video-verstaan schaalbaar en praktisch toepasbaar maakt voor complexe, real-world scenario's.