COMODO: Cross-Modal Video-to-IMU Distillation for Efficient Egocentric Human Activity Recognition

Probleemstelling

De ontwikkeling van intelligente, mensgerichte draagbare systemen voor continue activiteitsherkenning (Human Activity Recognition - HAR) staat voor een fundamenteel dilemma:

• Video-modus: Modellen gebaseerd op egocentrisch video (eerste-person perspectief) bieden rijke semantische informatie en presteren uitstekend. Echter, ze zijn onpraktisch voor continue on-device implementatie vanwege hoog energieverbruik, privacyzorgen, afhankelijkheid van lichtomstandigheden en frequente onderbrekingen.
• IMU-modus (Inertial Measurement Unit): Sensoren zoals versnellingsmeters en gyroscopen zijn energiezuinig, privacy-vriendelijk en werken onafhankelijk van licht. Het grootste nadeel is echter het gebrek aan grote, gelabelde datasets. Het annoteren van IMU-data is arbeidsintensief en kostbaar, wat leidt tot zwakkere generalisatie en minder robuuste modellen in vergelijking met video-modellen.

De uitdaging is om de semantische kennis van video over te dragen naar IMU-sensoren zonder dat er labels nodig zijn, zodat IMU-modellen de prestaties van video-modellen kunnen benaderen terwijl ze hun efficiëntie behouden.

Methodologie: COMODO

Het auteurs stellen COMODO (CrOss-MOdal video-to-imu DistillatiOn) voor, een zelftoezichtend (self-supervised) distillatiekader dat semantische kennis overbrengt van een video-encoder naar een IMU-encoder zonder gebruik te maken van gelabelde data.

Kerncomponenten:

1. Leraar-Student Architectuur:
   • Leraar (Video): Een vooraf getrainde en bevroren (frozen) video-encoder (bijv. TimeSformer of VideoMAE) die video-fragmenten verwerkt. Deze blijft ongewijzigd tijdens het trainen om stabiele semantische representaties te bieden.
   • Student (IMU): Een trainbare time-series encoder (bijv. Mantis of MOMENT) die IMU-signalen verwerkt. Deze wordt getraind om de semantische structuur van de video-leraar na te bootsen.
2. Cross-Modal Projectie: Beide encoders zijn gekoppeld aan een projectiehoofd (MLP) dat de features naar een gedeelde, genormaliseerde embeddruimte projecteert.
3. Dynamische Instance Queue (FIFO):
   • In plaats van alleen op het huidige batch te vertrouwen, onderhoudt COMODO een First-In-First-Out (FIFO) wachtrij met video-embeddings.
   • Deze wachtrij fungeert als een stabiele en diverse referentieverdeling. Het introduceert een impliciete temporele prior: omdat de wachtrij geleidelijk wordt bijgewerkt (nieuwe samples vervangen oude), evolueert de doelverdeling soepel tijdens de training. Dit stabiliseert het optimalisatieproces, wat cruciaal is bij het overbruggen van het grote gat tussen heterogene modaliteiten (video vs. IMU).
4. Verliesfunctie (Distribution Distillation):
   • COMODO minimaliseert niet alleen de afstand tussen positieve paar (video-IMU), maar aligneert de volledige similariteitsverdeling.
   • Er wordt een cross-entropy loss berekend tussen de similariteitsverdeling van de IMU-embeddings en die van de video-embeddings (gestructureerd door de queue).
   • Dit verschilt van traditionele contrastieve methoden (zoals InfoNCE) die "harde" targets gebruiken (één positief, alle anderen negatief). COMODO gebruikt een "zachte" verdeling, waardoor de student leert dat sommige negatieve voorbeelden semantisch dichter bij elkaar liggen dan anderen, wat de semantische structuur van de leraar beter behoudt.

Inferentie: Tijdens het gebruik (inference) wordt alleen de lichte IMU-encoder gebruikt. De video-encoder, projectoren en de queue worden verwijderd, wat resulteert in een zeer efficiënt en privacy-bewust systeem.

Belangrijkste Bijdragen

1. Zelftoezichtende Cross-Modal Kennisoverdracht: COMODO maakt label-vrije distillatie mogelijk van een sterke modus (video) naar een zwakkere modus (IMU), waardoor het probleem van schaarste aan data voor draagbare sensoren wordt aangepakt.
2. Effectief Cross-Modal Queuing Mechanisme: De introductie van een FIFO-wachtrij die video-embeddings als stabiele referentie behoudt, verkleint het modaliteitsgat en zorgt voor een soepelere optimalisatie dan willekeurige sampling.
3. Model-agnostisch Ontwerp: Het kader is compatibel met diverse vooraf getrainde video- en time-series modellen, wat flexibiliteit biedt voor toekomstige integratie van krachtigere foundation modellen.
4. Sterke Cross-Dataset Generalisatie: Het systeem presteert uitstekend op ongezette datasets met verschillende activiteitsklassen en sensoren, wat aantoont dat het de onderliggende semantische structuur van menselijke activiteiten heeft geleerd in plaats van dataset-specifieke patronen.

Resultaten

De auteurs hebben COMODO getest op drie egocentrische HAR-datasets: Ego4D, EgoExo4D en MMEA.

• Prestaties: COMODO presteert consistent beter dan bestaande zelftoezichtende methoden (zoals CrossHAR en IMU2CLIP) en komt overeen met of overtreft volledig toezicht (supervised) modellen die op gelabelde IMU-data zijn getraind.
  • Op Ego4D overtreft het de state-of-the-art IMU2CLIP met 4,3% in Top-1 nauwkeurigheid.
  • Het behaalt de beste resultaten in Top-3 en Top-5 nauwkeurigheid op alle datasets.
• Cross-Dataset Generalisatie: Bij het testen op een volledig nieuwe dataset (bijv. getraind op EgoExo4D, getest op Ego4D), overtreft COMODO zowel toezichtende als zelftoezichtende baselines aanzienlijk, wat de robuustheid van de geleerde representaties bevestigt.
• Efficiëntie:
  • COMODO behaalt een nauwkeurigheid van ~78,8% met slechts 1,70 G FLOPs en een inferentielatentie van 75,7 ms per 5-seconden venster.
  • Dit is een enorme verbetering ten opzichte van video-modellen (die honderden G FLOPs en seconden aan latentie vereisen) en een significante nauwkeurigheidsverbetering ten opzichte van andere IMU-modellen zonder extra inferentie- overhead.
• Ablatie Studies:
  • De FIFO-wachtrij bleek superieur aan willekeurige sampling, voornamelijk door de stabilisatie van de gradiëntrichting (optimale pad continuïteit).
  • Concatenatie-pooling van sensorkanalen presteerde beter dan gemiddelde pooling, omdat het kanaalspecifieke informatie behoudt.
  • De distillatie van similariteitsverdelingen (COMODO) presteerde beter dan L2-afstandminimalisatie en harde contrastieve learning (InfoNCE).

Betekenis en Toekomstperspectief

COMODO biedt een schaalbare oplossing voor de "annotation bottleneck" in draagbare AI. Door gebruik te maken van de overvloed aan ongelabelde video-IMU-paren (die steeds vaker beschikbaar komen via slimme brillen en wearables), kunnen ontwikkelaars hoogwaardige IMU-modellen trainen zonder handmatige labels.

Dit onderzoek markeert een verschuiving in het veld van ubiquitous computing:

1. Ontkoppeling van Training en Deploy: Het mogelijk maken van training met rijke, maar onpraktische modaliteiten (video) en deployen met efficiënte, privacy-vriendelijke modaliteiten (IMU).
2. Toegang tot "Long-tail" Activiteiten: Het systeem kan een breder scala aan dagelijkse activiteiten herkennen die moeilijk te labelen zijn, maar waar video-data voor beschikbaar is.
3. Toekomstige Richtingen: Het kader kan worden uitgebreid naar andere multimodale taken (bijv. video-naar-audio of video-naar-fysiologische sensoren) en kan evolueren naar wederzijdse distillatie of personalisatie voor individuele gebruikers.

Kortom, COMODO bewijst dat cross-modale zelftoezichtende distillatie een krachtige route is naar efficiënte, privacy-bewuste en robuuste draagbare AI-systemen.