💻 computer science

ENCORE: Event-Assisted Complementary Motion Refinement for Learned Video Compression

Het artikel stelt ENCORE voor, een geleerd videocompressiekader dat gegevens van event-camera's gebruikt om RGB-gebaseerde bewegingsschatting te verfijnen door middel van complementaire representatiedecompositie, redundantiebewuste kalibratie en energiebewuste routering, waarbij aanzienlijke besparingen in bitrate en kwaliteitsverbeteringen over diverse datasets worden bereikt.

Oorspronkelijke auteurs: Shuhan Ye, Hongbin Yu, Chenqi Kong, Pingchuan Ma, Chong Wang, Jun Wan, Qixin Zhang

Gepubliceerd 2026-07-31

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shuhan Ye, Hongbin Yu, Chenqi Kong, Pingchuan Ma, Chong Wang, Jun Wan, Qixin Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een live video van een voetbalwedstrijd naar je vrienden probeert te sturen via een telefoon met een trage internetverbinding. Om de video passend te maken, moet je deze comprimeren, wat betekent dat je informatie weggooit. Het lastigste deel van videocompressie is het omgaan met beweging. Als een speler dwars door het scherm rent, hoeft de computer niet een hele nieuwe afbeelding van de speler te sturen; hij hoeft alleen maar te zeggen: "De speler bewoog twee stappen naar links." Dit wordt bewegingsschatting genoemd. Echter, standaardcamera's maken foto's met een vaste snelheid, zoals een flipboek. Als een speler te snel beweegt, of als het mistig is, of als de camera schudt, kunnen die flipboekpagina's wazig of verwarrend worden. De computer raakt dan in de war bij het raden waar de speler zich eigenlijk bevond, wat leidt tot een gepixelde bende of een bestand dat nog steeds te groot is.

Dit is waar een speciaal soort camera, een "event camera", om de hoek komt kijken. In tegen tegenstelling tot een gewone camera die elke seconde een volledige foto maakt, is een event camera als een supergevoelige beveiligingsbeambte die alleen roept wanneer er iets verandert. Als een pixel lichter of donkerder wordt, rapporteert de event camera dit direct. Het geeft niet om de kleur van het gras of de textuur van het shirt; het geeft alleen om de beweging en de veranderingen in licht. Het is ongelooflijk snel en werkt uitstekend, zelfs in het donker of wanneer dingen heel snel bewegen. De grote vraag die wetenschappers zich hebben gesteld is: Kunnen we deze "schreeuwende bewaker" gebruiken om de "flipboek"-camera te helpen betere gokken te doen over beweging, zodat we duidelijkere video's kunnen versturen met minder data?

Dit paper, getiteld ENCORE, zegt: "Ja, maar met een zeer specifieke strategie." De onderzoekers hebben een nieuw systeem gebouwd dat de gegevens van een event camera gebruikt om een standaard video-compressie-algoritme te helpen, maar met een twist: de uiteindelijke video is nog steeds een normale video. De event-data wordt nooit naar de kijker gestuurd; het wordt alleen achter de schermen gebruikt om de "gokspel" van beweging te corrigeren.

De auteurs ontdekten dat het simpelweg mengen van de twee soorten gegevens (zoals het in de video te dumpen van de event-data) de boel eigenlijk slechter maakt. Het is alsof je een boek probeert te lezen terwijl iemand willekeurige getallen in je oor schreeuwt; de extra ruis maakt je alleen maar in de war. In plaats daarvan creëerden ze een slim filtersysteem met drie duidelijke stappen om de event-data bruikbaar te maken:

De Vertaler (CMR): Eerst scheidt het systeem de "gezond verstand"-beweging die beide camera's zien van de "speciale informatie" die alleen de event camera ziet. Het realiseert zich dat de camera's soms op hetzelfde punt eens zijn over waar een bal naartoe gaat, maar dat de event camera soms een beweging ziet die de gewone camera heeft gemist.
De Redacteur (SERIC): Vervolgens fungeert het als een strenge redacteur. Het kijkt naar de "kreten" van de event camera en vraat: "Is dit nieuwe informatie, of is het gewoon ruis?" Als de event camera roept over iets wat de gewone camera al perfect heeft begrepen, laat de redacteur het stil zijn. Als de event camera een snelle beweging opmerkt waar de gewone camera blind voor is, markeert de redacteur dit juist.
De Verkeersregelaar (EAR): Ten slotte beslist een routingsysteem precies waar en hoeveel van deze nieuwe informatie gebruikt moet worden. Als de gewone camera een goede baan doet bij het volgen van een langzaam bewegende boom, vertelt de verkeersregelaar de event-data om stil te blijven. Maar als een auto voorbij raast en de gewone camera in de war is, opent de verkeersregelaar de poort en laat de event-data de correctie leiden.

De resultaten zijn indrukwekkend. Wanneer ze dit systeem testten op drie verschillende datasets met snelle bewegingen en lastige lichtomstandigheden, bespaarde het consistent veel data terwijl de videokwaliteit hoog bleef. Op een specifieke testset genaamd BS-ERGB slaagde het systeem erin het bestandsformaat te verkleinen met 20,80% (gemeten als PSNR-RGB BD-rate besparingen) en 22,14% (gemeten als MS-SSIM-RGB BD-rate besparingen) vergeleken met de beste standaardmethode, zonder de beeldkwaliteit te verliezen. Zelfs op andere datasets met verschillende sensoren en beelden met hoge snelheid, toonde het systeem duidelijke verbeteringen.

Het paper betoogt expliciet tegen het idee dat je gewoon alle data bij elkaar moet gooien of dat je de event-data samen met de video moet versturen. Ze laten zien dat het doen van dergelijk handelen ruis introduceert en de prestaties zelfs verslechtert. In plaats daarvan bewijzen ze dat het strikt gebruiken van events als een "helper" om de bewegingsschat van de hoofdvideo te verfijnen, de winnende strategie is. Hoewel het systeem een klein beetje meer rekenkracht vereist (ongeveer 7,3% meer berekeningen per frame), is de afruil de moeite waard voor de enorme besparingen in datatransmissie. Kortom, ENCORE leert ons dat je om de toekomst helder te zien, niet meer plaatjes nodig hebt; je moet alleen luisteren naar de dingen die veranderen.

Technische Samenvatting: ENCORE – Event-Assisted Complementary Motion Refinement voor Learned Video Compression

1. Probleemdefinitie

Learned video compression (LVC) leunt zwaar op nauwkeurige temporele modellering om redundantie tussen opeenvolgende frames uit te buiten. Deze aanpak is echter onbetrouwbaar in scenario's met snelle beweging, bewegingsonscherpte, occlusie, zwakke texturen, lage verlichting of abrupte helderheidsveranderingen. Onnauwkeurige temporele modellering verslechtert de voorspellingskwaliteit, vergroot de onzekerheid in bewegings- en residu-representaties en verhoogt uiteindelijk de bitrates.

Hoewel multimodale compressie bestaat, gebruiken de meeste methoden ofwel gezamenlijk meerdere modaliteiten (bijv. RGB-D, stereo) of gebruiken ze hulpmodaliteiten voor semantische sturing (bijv. tekst-naar-afbeelding). Er is een gebrek aan methoden die een hulp-temporele stroom gebruiken om specifiek de bewegingsschatting voor RGB-videocompressie te verfijnen zonder de hulp-signalen zelf te reconstrueren. Event-camera's, die asynchroon fijngestructureerde intensiteitsveranderingen vastleggen met een hoge temporele resolutie en dynamisch bereik, bieden complementair bewijs aan RGB-frames met betrekking tot inter-frame dynamiek. Echter, naïeve fusie van event-data introduceert vaak ruis en redundantie, waardoor de compressieprestaties niet verbeteren.

2. Methodologie

De auteurs stellen ENCORE voor (Event-Assisted Complementary Motion Refinement), een framework dat event-stromen integreert als een hulp-modaliteit om de bewegingsschatting binnen een standaard learned video compression pipeline te verfijnen. Het systeem behoudt RGB als het enige te coderen en te reconstrueren doel, waarbij events alleen worden gebruikt om de bewegingsmodellering van de encoder te assisteren.

Het framework is gebouwd op de HyTIP backbone en voegt drie gespecialiseerde modules in de encoder-zijde bewegingsschattingsinterface:

A. Complementary Motion Representation (CMR)

De CMR-module deelt uitgelijnde RGB- en event-features op in drie afzonderlijke componenten om de verdunning van complementaire aanwijzingen te voorkomen:

Common Motion ( $F^c_t$ ): Structuren die door beide modaliteiten worden ondersteund (bijv. dominante verplaatsingspatronen).
RGB-Specific Motion ( $F^{r,s}_t$ ): Informatie die uniek is voor de dichte verschijning van RGB.
Event-Specific Motion ( $F^{e,s}_t$ ): Dynamiek die uniek is voor de event-stroom (bijv. snelle helderheidsvergangen).

Deze decompositie wordt afgedwongen via een reconstructieverlies (om de originele informatie te behouden) en een scheidingsverlies (om orthogonaliteit tussen de takken te waarborgen), wat voorkomt dat de gemeenschappelijke tak de modaliteit-specifieke informatie dupliceert.

B. Spatial Energy and Redundancy-Informed Calibration (SERIC)

Niet alle event-responsen zijn nuttig; sommige zijn ruis, redundant met RGB, of zwak. SERIC identificeert en kalibreert de meest waardevolle event-bewijslast:

Activity Map ( $E_t$ ): Meet de lokale energie (kwadratische magnitude) van de event-specifieke feature om actieve regio's te identificeren.
Novelty Map ( $N_t$ ): Berekent de discrepantie tussen de event-feature en de RGB-feature (geprojecteerd in de event-ruimte) om bewijs te identificeren dat niet door RGB wordt verklaard.
Utility Estimation: Een leerbare functie combineert $E_t$ en $N_t$ om een utility map ( $U_t$ ) te genereren. Deze map onderdrukt zwakke of redundante responsen terwijl regio's waar events nieuw, hoog-energetisch dynamisch bewijs leveren, worden behouden.
Correction Prediction: De gekalibreerde event-feature wordt gecombineerd met de common motion om een kandidaat-flowcorrectie ( $\Delta v_t$ ) te voorspellen.

C. Energy-Aware Routing (EAR)

De laatste fase bepaalt waar en hoe sterk de kandidaat-correctie de initiële RGB-flow moet verfijnen.

Het routingnetwerk neemt lokale activiteit, nieuwheid, de magnitude van de initiële RGB-flow en de magnitude van de correctie als input.
Het produceert een ruimtelijke routing map ( $G_t \in [0, 1]$ ) die fungeert als een gate.
Refined Flow: De uiteindelijke bewegingsvector wordt berekend als $v^{evt}_t = v^r_t + G_t \odot \Delta v_t$ .
Dit mechanisme zorgt ervoor dat in regio's waar de RGB-flow al betrouwbaar is, de correctie wordt onderdrukt (nadert nul), wat onnodige verstoringen voorkomt. In regio's met sterke complementaire dynamiek wordt de correctie toegepast.

D. Optimalisatie

Het systeem wordt end-to-end getraind om de rate-distortion kosten van de gereconstrueerde RGB-video ( $L_{RD}$ ) te minimaliseren. Hulp-losses worden gebruikt tijdens de training om de decompositie en uitlijning te sturen, maar worden bij inferentie weggegooid:

Reconstruction Losses ( $L_r, L_s$ ): Dwingen de kwaliteit van de CMR-decompositie af.
Motion Alignment Loss ( $L_m$ ): Distilleert betrouwbare RGB-verplaatsing naar de event-stem met behulp van een betrouwbaarheidsmasker afgeleid van fotometrische fout.
Warping Loss ( $L_w$ ): Superviseert de verfijnde flow door de warping-fout van het vorige frame te minimaliseren.

3. Belangrijkste Bijdragen

Het artikel claimt drie primaire bijdragen:

Eerste Toepassing: Naar weten van de auteurs is dit het eerste werk dat event-data gebruikt als een hulp-modaliteit specifiek voor RGB-videocompressie, wat de temporele voorspelling verbetert terwijl RGB de exclusieve coderingstarget blijft.
Progressief Verfijningsframework: De ontwikkeling van een nieuwe architectuur (CMR, SERIC, EAR) die expliciet gemeenschappelijke en modaliteit-specifieke beweging scheidt, actieve event-bewijslast identificeert die niet door RGB wordt verklaard, en de resulterende flow-correctie ruimtelijk routeert.
Uitgebreide Evaluatie: Uitgebreide experimenten over drie RGB-event datasets (BS-ERGB, HQ-EVFI, CED) en twee Group of Pictures (GOP) settings, die consistente codingswinsten laten zien met een marginale toename in computationele complexiteit (7,3% toename in GFLOPs per P-frame).

4. Experimentele Resultaten

De auteurs evalueerden ENCORE tegen een RGB-only HyTIP baseline en een naïeve RGB+Event concatenatie aanpak.

Datasets: BS-ERGB (primair), HQ-EVFI (hoge framerate), en CED (andere sensor).
Korte GOP (GOP=8): Op BS-ERGB bereikte ENCORE een 19,31% PSNR-RGB BD-rate besparing en een 16,73% MS-SSIM-RGB besparing. De naïeve concatenatie aanpak presteerde slechter dan de baseline, wat de noodzaak van de voorgestelde verfijningsmodules onderstreept.
Lange GOP (GOP=32): Op BS-ERGB bereikte ENCORE tot wel 20,80% PSNR-RGB en 22,14% MS-SSIM-RGB BD-rate besparingen.
Generalisatie: Consistente winsten werden waargenomen op HQ-EVFI en CED, wat robuustheid demonstreert over verschillende opnamecondities en sensortypes.
Complexiteit: Het framework voegt slechts een 7,3% toename toe aan de totale GFLOPs per P-frame vergeleken met de backbone.

5. Betekenis en Claims

Het artikel positioneert ENCORE als een oplossing voor de beperkingen van RGB-only temporele modellering in uitdagende video compressie scenario's. De betekenis ligt in:

Efficiëntie: Het toont aan dat hulp-sensoren de bitrate aanzienlijk kunnen verlagen zonder de overhead van het reconstrueren van het hulp-signaal of het gezamenlijk coderen van meerdere modaliteiten.
Robuustheid: Door event-bewijs expliciet te kalibreren en te routeren, vermijdt de methode de valkuilen van naïeve feature fusie, en gaat het effectief om met de ruis en redundantie die inherent zijn aan event-stromen.
Praktische Bruikbaarheid: Het framework integreert naadloos in bestaande learned compression pipelines (specifiek HyTIP) met minimale architecturale wijzigingen en computationele overhead, wat het een levensvatbare kandidaat maakt voor toekomstige video compressiestandaarden waar event-camera's beschikbaar kunnen zijn.

De auteurs blijven bescheiden en merken op dat hoewel de resultaten consistent en significant zijn, de methode specifiek is ontworpen voor scenario's waarin event-data gesynchroniseerd en beschikbaar is bij de encoder, en de hulp-head bij inferentie wordt weggegooid.