🤖 machine learning

UNIEGO: Proxies as Mediators for Unified Egocentric Video Representation Learning

UNIEGO introduceert een hiërarchisch multi-teacher distillatieframework dat representatiespecifieke Proxy-modellen en een Selective Proxy Distillation-strategie gebruikt om diverse kennis uit meerdere perspectieven, modaliteiten en foundation-modellen te verenigen in een enkele, state-of-the-art egocentrische video-encoder.

Oorspronkelijke auteurs: Wenhao Chi, Arkaprava Sinha, Dominick Reilly, Hieu Le, Srijan Das

Gepubliceerd 2026-06-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenhao Chi, Arkaprava Sinha, Dominick Reilly, Hieu Le, Srijan Das

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te leren hoe je een complex gerecht bereidt, maar je draagt een blinddoek en hebt alleen een piepklein kijkgat voor je gezicht. Je kunt de pan zien, maar je kunt je handen niet zien, de ingrediënten op het aanrecht niet, of de persoon die naast je staat. Dit is precies het probleem waar computers voor staan wanneer ze proberen video's te begrijpen die zijn opgenomen vanuit het perspectief van een persoon (dit wordt egocentrische video genoemd). De camera ziet een smal, schokkerig en vaak geblokkeerd beeld, waarbij cruciale details over het lichaam van de persoon of de omgeving worden gemist.

De paper introduceert een nieuw systeem genaamd UNIEGO om dit op te lossen. Denk aan UNIEGO als een meesterkok die het perfecte recept wil leren, maar in plaats van alleen door dat kleine kijkgat te kijken, heeft hij toegang tot een team van negen deskundige leraren.

Zo werkt UNIEGO, opgedeeld in eenvoudige stappen:

1. Het Probleem: Te veel lerende, te veel talen

Normaal gesproken, als je van veel leraren wilt leren, vraag je hen gewoon allemaal om tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd tegelijkertijd te

Technische Samenvatting: UNIEGO

Probleemstelling

Begocentrisch video-begrip wordt fundamenteel beperkt door het nauwe gezichtsveld en de persistente zelf-occlusie die inherent zijn aan draagbare camera's. Een enkel model dat uitsluitend getraind is op egocentrische RGB-data, faalt vaak in het vastleggen van de volledige rijkdom van menselijke actie, omdat het geen toegang heeft tot complementaire geometrische structuren (diepte, skelet) en de bredere scènecontext die beschikbaar is via exocentrische gezichtspunten. Bovendien blijft de rijke representatieve kennis die besloten ligt in grootschalige foundation models (FM's) en diverse modaliteiten grotendeels onbenut voor egocentrische taken.

Hoewel multi-teacher kennisdistillatie een potentiële oplossing biedt, worstelen bestaande benaderingen in de egocentrische setting met twee primaire uitdagingen:

Heterogeniteit: Teachers variëren aanzienlijk in architectuur (bijv. graafgebaseerde skeletmodellen versus video-encoders), inputmodaliteiten (RGB, diepte, skelet) en gezichtspunt (egocentrisch versus exocentisch).
Conflicterende Gradiënten: Het naïef distilleren van deze heterogene teachers naar een enkele student creëert incompatibele feature-ruimtes, wat leidt tot conflicterende gradiëntsignalen die de optimalisatie verslechteren en voorkomen dat de student de kloof tussen modaliteiten en gezichtspunten effectief overbrugt.

Methodologie: Hiërarchische Multi-Teacher Distillatie

De auteurs stellen UNIEGO voor, een verenigde egocentrische encoder getraind via een tweelaags hiërarchisch distillatieframework. Deze benadering vermijdt directe distillatie van heterogene teachers, maar plaatst in plaats daarvan een laag van representatie-specifieke Proxy-modellen om de kennisoverdracht te bemiddelen.

Niveau-I: Proxy Learning

De eerste fase vertaalt diverse teacher-kennis naar een homogene egocentrische ruimte.

Architectuur: Een pool van $R$ proxy-modellen wordt getraind, waarbij elke proxy dezelfde egocentrische architectuur (bijv. TimeSformer) deelt als de uiteindelijke student.
Proces: Elke proxy $P_r$ distilleert onafhankelijk kennis van een specifieke teacher $T_r$ (variërend van RGB, diepte, skelet, ego- en exo-gezichtspunten, inclusclusief FM's zoals DINOv2 en SigLIP).
Doelstelling: De proxies leren om heterogene teacher-features in kaart te brengen naar een consistente egocentrische embedding-ruimte, waardoor de kloof tussen modaliteiten en gezichtspunten effectief wordt overbrugd. Deze fase maakt gebruik van feature-level distillatie (cosine distance) gecombineerd met een actieclassificatie-loss.

Niveau-II: Selective Proxy Distillation (SPD)

De tweede fase consolideert de kennis van de proxy-pool in het uiteindelijke UNIEGO-model.

Proxy Merging Initialisatie: Om de optimalisatie te stabiliseren, wordt UNIEGO niet willekeurig geïnitialiseerd, maar als een geleerde convexe combinatie van de proxy-parameters ( $\theta^*_{merge} = \sum \alpha^*_r \theta_r$ ). Dit plaatst het verenigde model in een goed geconditioneerd, vlak gebied van de loss-landschap voordat de distillatie begint.
Selective Proxy Distillation (SPD): In plaats van te distilleren van alle proxies simultaan, selecteert SPD adaptief een subset van betrouwbare proxies voor elke trainingssample.
- Selectiecriteria: Een proxy wordt alleen als kandidaat beschouwd als deze de actieklasse correct voorspelt. Onder de correcte kandidaten worden de top- $k$ proxies met de laagste cross-entropy loss (hoogste vertrouwen) geselecteerd.
- Onderdrukking: Als geen enkele proxy correct is voor een sample, wordt de distillatie voor die sample overgeslagen om het absorberen van foutieve supervisie te voorkomen.
- Loss: De geselecteerde proxies leveren zowel feature-level als logit-level distillatiesignalen aan de student.

Belangrijkste Bijdragen

UNIEGO Framework: Introductie van een verenigde egocentrische encoder getraind met negen teachers over meerdere modaliteiten, gezichtspunten en foundation models, gebruikmakend van representatie-specifieke proxies als gestructureerde bemiddelaars.
Drie Nauw Gekoppelde Componenten:
- Proxy Learning: Zet heterogene supervisie om in een pool van architecturaal homogene egocentrische proxies.
- Selective Proxy Distillation (SPD): Een sample-wise mechanisme dat de supervisie dynamisch routeert van de meest betrouwbare proxies, waardoor conflicterende gradiënten worden gemitigeerd.
- Proxy Merging: Een geleerde convexe initialisatie die het optimalisatielandschap stabiliseert.
State-of-the-Art Prestaties: Demonstratie dat gestructureerde, door proxies bemiddelde kennisoverdracht rijkere representaties oplevert dan directe multi-teacher supervisie.

Experimentele Resultaten

UNIEGO werd geëvalueerd op drie uitdagende ego-exo benchmarks: EgoExo-Fitness, Assembly101 en EgoExo4D.

Actieherkenning: UNIEGO bereikte state-of-the-art prestaties onder egocentrische inferentie (gebruikmakend van alleen egocentrische video tijdens testtijd).
- Het presteerde beter dan de TimeSformer backbone met respectievelijk +4,4%, +3,1% en +1,2% op de drie betreffende datasets.
- Het overtrof de sterkste distillatie baseline ( $\pi$ -ViT) met +4,6% en +2,9% op EgoExo-Fitness en Assembly101.
- Cruciaal is dat het de naïeve multi-teacher distillatie baselines overtrof, wat de noodzaak van de door proxies bemiddelde benadering bevestigt.
Video Retrieval & Segmentatie: UNIEGO demonstreerde superieure prestaties in video retrieval (gemeten via mAP en Recall@1) en temporele actiesegmentatie (F1-scores, Edit distance en Accuracy) vergeleken met baselines. Opvallend genoeg verslechterde naïeve multi-teacher distillatie de segmentatieprestaties ten opzichte van scratch baselines, terwijl UNIEGO deze juist verbeterde.
Generalisatie: Het framework bleek robuust over verschillende backbone architecturen, inclusief compacte modellen zoals UniFormer-S (22M parameters), wat de effectiviteit voor resource-beperkte implementatie aantoont.

Betekenis en Claims

Het artikel claimt dat UNIEGO erin slaagt de "ill-posed" aard van het leren van een verenigde egocentrische representatie uit heterogene bronnen aan te pakken. Door proxies als bemiddelaars te introduceren, zorgt het framework voor:

Het Oplossen van de Representatieve Kloof: Projecties van heterogene teachers naar een homogene proxy-ruimte vergroten de gelijkenis tussen teacher-representaties aanzienlijk (bevestigd via Centered Kernel Alignment).
Het Mitigeren van Conflicterende Gradiënten: De combinatie van proxy learning en selectieve distillatie transformeert een conflicterend optimalisatielandschap in een coherent landschap. Analyse toont aan dat SPD de frequentie van gradiëntconflicten aanzienlijk vermindert vergeleken met directe multi-teacher distillatie.

De auteurs concluderen dat UNIEGO een egocentrische encoder in staat stelt om "verder te zien, meer te weten en beter te generaliseren" zonder dat er extra camerastromen nodig zijn tijdens de inferentie. Ze erkennen een beperking in hun huidige proxy-selectiestrategie (vertrouwend op een kleine-loss heuristiek) en suggeren dat een geleerd, adaptief selectiemechanisme een veelbelovende richting is voor toekomstig werk.