🤖 AI

SkillMoV: Mixture-of-View Routing with Prototype-Conditioned Gating for Unified Multi-View Proficiency Estimation

SkillMoV is een verenigd, parameterefficiënt framework voor multi-view bekwaamheidsinschatting dat gebruikmaakt van een Mixture-of-View Projector met prototype-geconditioneerde gating om gesynchroniseerde camerafuncties adaptief te aggregeren, waarmee het de beste prestaties bereikt over diverse vaardigheidsdomeinen terwijl slechts een fractie van de parameters wordt getraind.

Oorspronkelijke auteurs: Edoardo Bianchi, Antonio Liotta

Gepubliceerd 2026-06-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Edoardo Bianchi, Antonio Liotta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Robot Leren Beoordelen

Stel je voor dat je een computer probeert te leren hoe goed iemand is in een vaardigheid, zoals basketbal spelen, koken of klimmen op een rotswand. Je wilt niet alleen dat de computer weet wat ze aan het doen zijn (bijv. "ze gooien een bal"); je wilt dat de computer ook weet hoe goed ze het doen (bijv. "ze zijn een beginner" versus "ze zijn een pro").

Dit is lastig omdat "goed" er anders uitziet afhankelijk van waar je staat. Als je de speler bent (first-person view), zie je je handen maar niet je voeten. Als je vanaf de zijkant kijkt (third-person view), zie je het hele lichaam, maar mis je misschien de details van de grip.

De meeste bestaande computerprogramma's zijn als gespecialiseerde coaches: één coach kent alleen basketbal, een andere alleen koken. Of ze proberen één enkele coach te gebruiken om iedereen te observeren, waarbij elke camerahoek gedwongen wordt de actie door dezelfde bril te bekijken. Dit mist vaak de subtiele aanwijzingen die een professional onderscheiden van een amateur.

SkillMoV is een nieuw, slim systeem dat is ontworpen als een verenigde, multi-angle rechter die vele verschillende vaardigheden en camerahoeken tegelijkertijd kan afhandelen, zonder dat er voor elke sport een aparte coach nodig is.

Hoe SkillMoV Werkt: De "Expertpanel" Analogie

De kern van SkillMoV is een slimme truc genaamd Mixture-of-View (MoV) Routing. Zo werkt het, stap voor stap:

1. De Cameracrew (De Inputs)

Stel je een sportevenement voor waarbij vier camera's dezelfde atleet vanuit verschillende hoeken filmen.

Camera 1 ziet het gezicht van de atleet.
Camera 2 ziet de voeten.
Camera 3 ziet de handen.
Camera 4 ziet het hele lichaam.

2. Het Expertpanel (De "Mixture of Experts")

In plaats van één brein dat alle vier de camera's tegelijk probeert te verwerken, heeft SkillMoV een panel van 12 verschillende "expert" mini-breinen (genaamd MLPs).

In een normaal systeem zouden alle camera's gedwongen worden om met hetzelfde brein te communiceren.
In SkillMoV fungeert het systeem als een slimme verkeerregelaar. Het kijkt naar de beelden van Camera 1 en vraagt: "Welke expert is het beste in het analyseren van deze hoek?" Misschien stuurt het Camera 1 naar Expert #3. Daarna kijkt het naar Camera 2 en vraagt: "Wie is het beste voor deze hoek?" Misschien stuurt het Camera 2 naar Expert #7.

De Magie: De experts worden gedeeld. Dezelfde groep van 12 experts helpt bij het beoordelen van basketbal, koken en dansen. Maar het systeem leert automatisch de juiste camerahoek naar de juiste expert te sturen, zonder dat iemand hoeft te vertellen welke camera welke is.

3. De Teamhuddle (Cross-View Attention)

Nadat de experts hun werk hebben gedaan, brengt het systeem de resultaten samen. Het is als een teamhuddle waar de experts hun aantekeningen vergelijken. "Hé, Camera 1 zag de voetbewegingen, en Camera 씩 3 zag de handgreep. Wanneer we die combineren, ziet het eruit als een professionele zet." Deze stap zorgt ervoor dat de verschillende hoeken het met elkaar eens zijn voordat er een definitief oordeel wordt geveld.

4. De Referentiekaarten (Prototype Anchoring)

Om te beslissen of iemand een "Novice" (beginner) of een "Expert" is, gebruikt het systeem Referentiekaarten.

Stel je vier kaarten voor op een tafel: één voor "Novice", één voor "Early Expert", één voor "Intermediate" en één voor "Late Expert".
Het systeem gokt niet zomaar; het vergelijkt de prestatie van de atleet met deze vier mentale kaarten. Het vraagt zich af: "Lijkt deze prestatie meer op de 'Novice'-kaart of op de 'Expert'-kaart?"
Interessant genoeg vonden de onderzoekers dat deze kaarten geen perfecte, starre linialen zijn. Ze zijn meer als flexibele magneten die de beslissing in de juiste richting trekken, waardoor het systeem een slimmere gok kan doen, zelfs als de prestatie rommelig is.

5. Het Eindvonnis (Gated Projection)

Ten slotte gebruikt het systeem een slimme poort (gate). Het bekijkt het bewijs en de referentiekaarten, en besluit vervolgens: "Op basis van wat ik zie en hoe het overeenkomt met de 'Expert'-kaart, zal ik dit specifieke detail belangrijker laten tellen dan dat andere detail." Dit verfijnt de uiteindelijke score.

Waarom is dit beter? (De Resultaten)

De onderzoekers hebben SkillMoV getest op een enorme dataset genaamd EgoExexo4D, die video's bevat van mensen die zes verschillende vaardigheden uitvoeren (Basketbal, Klimmen, Koken, Dansen, Muziek en Voetbal) gefilmd vanuit meerdere hoeken.

De "Third-Person" Overwinning: Het systeem werkte het best wanneer het alleen de externe camera's (de "Exos" view) gebruikte. Het bereikte een nauwkeurigheid van 50,17%, waarmee het de vorige beste methode met een aanzienlijke marge versloeg.
De "First-Person" Strijd: Wanneer ze de "GoPro op het hoofd" camera (Ego view) toevoegden, daalde de score zelfs licht.
- Waarom? Het paper suggereert dat voor het beoordelen van vaardigheid, het zien van het hele lichaam van buitenaf vaak belangrijker is dan te zien wat de speler zelf ziet. De "head-cam" verbergt soms de voeten of de lichaamshouding, wat cruciaal is voor het beoordelen van een vaardigheid.
Efficiëntie: Het systeem is zeer efficiënt. Het hoeft niet voor elke sport een heel nieuw brein te trainen. Het gebruikt een "low-rank" adaptatie (LoRA), wat lijkt op het toevoegen van een paar plaknotities aan een enorm tekstboek in plaats van het hele boek te herschrijven. Het traint slechts ongeveer 23% van zijn parameters, wat het snel en goedkoop maakt om te draaien.

Wat de Experimenten Lieten Zien

De auteurs voerden een "autopsie" uit op hun systeem door onderdelen te verwijderen om te zien wat er gebeurde:

Het Expertpanel verwijderen: Als ze alle camera's dwongen om hetzelfde brein te gebruiken in plaats van ze naar verschillende experts te routeren, daalde de nauwkeurigheid met 6,6%. Dit bewijst dat het "verkeerregelaar"-idee het belangrijkste deel is.
De Teamhuddle verwijderen: Als ze de camera's niet met elkaar lieten communiceren, daalde de nauwkeurigheid met 4,9%.
De Referentiekaarten verwijderen: Als ze de "Novice/Expert"-kaarten weghaalden, daalde de nauwkeurigheid met 4,1%.

De Kernboodschap

SkillMoV is een slim, flexibel systeem dat menselijke vaardigheden beoordeelt door:

Verschillende camerahoeken naar verschillende "expert" breinen te laten communiceren.
Die experts hun aantekeningen te laten vergelijken.
De prestatie te controleren tegen geleerde "referentiekaarten" voor verschillende vaardigheidsniveaus.

Het bewijst dat je om een vaardigheid goed te beoordelen niet een aparte AI voor elke sport nodig hebt. Je hebt alleen een slim systeem nodig dat weet hoe het de actie vanuit de juiste hoek moet bekijken, met de juiste expert, op het juiste moment.

Technische Samenvatting: SkillMoV

Probleemstelling

Het schatten van menselijke bekwaamheid op basis van video is een kritieke uitdaging voor automatische vaardigheidsbeoordeling in domeinen zoals sportcoaching, muziekpedagogiek en chirurgische training. In tegenstelling tot actieherkenning, dat identificeert wat er wordt uitgevoerd, bepaalt de schatting van bekwaamheid hoe goed een activiteit wordt uitgevoerd, waarbij vertrouwd wordt op subtiele visuele aanwijzingen zoals houding, timing en coördinatie.

Bestaande benaderingen kampen met twee primaire beperkingen:

Scenario-specificiteit: Veel modellen worden getraind voor specifieke activiteitsdomeinen, wat de schaalbaarheid beperkt en vereist dat er aparte modellen voor verschillende taken worden gebruikt.
Ineffectieve Multi-View Aggregatie: Huidige uniforme methoden vertrouwen vaak op gedeelde aggregatieschema's (bijv. standaard aandacht of gating) die alle camerabeelden door dezelfde transformatie dwingen. Dit houdt geen rekening met het feit dat verschillende gesynchroniseerde gezichtspunten mogelijk verschillende aspecten van de uitvoering van een vaardigheid blootleggen (bijv. beenextensie versus interactie tussen lichaam en omgeving), wat potentieel de view-specifieke bekwaamheidsaanwijzingen kan verwateren.

Het doel is om een uniform, parameter-efficiënt framework te ontwikkelen dat bekwaamheid kan schatten over heterogene activiteitsdomeinen met behulp van gesynchroniseerde multi-view video, zonder dat camera-identiteitssupervisie of scenario-specifieke koppen vereist zijn.

Methodologie: SkillMoV

De auteurs stellen SkillMoV voor, een framework gebouwd op een LoRA-aangepaste TimeSformer backbone. De kerninnovatie is de Mixture-of-View Projector (MoVP), een hiërarchische module die het Mixture-of-Experts (MoE) paradigma aanpast aan camera-specifieke view-features.

De MoVP bestaat uit vier opeenvolgende stadia:

Mixture-of-View (MoV) Routing:
- In plaats van generieke tokens te routeren, behandelt MoV camera-specifieke view-features als de gerouteerde eenheden.
- Een soft router voorspelt een waarschijnlijkheidsverdeling over een pool van 12 expert MLP's voor elke view.
- Elk view-feature wordt getransformeerd door een gewogen combinatie van deze experts.
- Cruciaal is dat de expert-pool gedeeld wordt over alle camera's, clips en activiteitsdomeinen, maar dat de routing-voorkeuren geleerd worden zonder expliciete camera-identiteitssupervisie. Een load-balancing regularisator voorkomt expert-collapse.
Cross-View Attention:
- De gerouteerde features worden door een multi-head self-attention laag gestuurd waarbij views fungeren als een sequentie.
- Dit stelt gesynchroniseerde camera's in staat om complementaire bewijslast af te stemmen voordat de uiteindelijke aggregatie plaatsvindt.
Prototype Anchoring:
- Het model leert vier prototype vectoren (één per bekwaamheidsniveau: Novice, Early Expert, Intermediate Expert, Late Expert).
- Deze prototypes fungeren als leerbare anchor tokens in een cross-attention blok, waarbij view-features dienen als queries.
- De resulterende representatie wordt gepooled, en de cosinus-similariteiten tussen de gepoolde feature en de prototypes worden berekend.
Prototype-Conditioned Gated Projection:
- De uiteindelijke skill-embedding wordt gegenereerd via een gated projectiemodule.
- De gate is geconditioneerd op zowel de uitgebreide hidden features als de similarity vector afgeleid van de prototypes.
- Dit maakt de projectie dynamisch aanpasbaar op basis van de relatie van de sample met de geleerde bekwaamheidsankers.

Trainingsstrategie:

Backbone: TimeSformer-base voorgetraind op Kinetics-600, aangepast via LoRA (Rank 64, $\alpha$ 128). Alleen de LoRA-adapters en de MoVP zijn trainbaar.
Objectief: Class-balanced cross-entropy loss om dataset-imbalans op te vangen.
Regularisatie: Stochastic view dropout (waarschijnlijkheid 0.2) wordt toegepast tijdens de training voor multi-camera configuraties om overfitting op dominante views te voorkomen.
Data: Geëvalueerd op de EgoExo4D benchmark over zes skill-domeinen (Basketball, Bouldering, Cooking, Dance, Music, Soccer) met drie view-configuraties: Ego (1 camera), Exos (4 camera's), en Ego+Exos (5 camera's).

Belangrijkste Bijdragen

SkillMoV Framework: Een parameter-efficiënt, uniform framework voor multi-scenario bekwaamheidsschatting vanuit gesynchroniseerde multi-view video.
Mixture-of-View (MoV) Routing: Een innovatieve aanpassing van MoE waarbij routing wordt toegepast op camera-specifieke view-features, wat zorgt voor soft, view-afhankelijke expert-voorkeuren zonder camera-identiteitslabels.
Mixture of View Projector (MoVP): Een hiërarchische architectuur die MoV routing, cross-view attention, prototype anchoring en prototype-conditioned gating integreert.
Systematische Evaluatie: Uitgebreide ablatie-studies en vergelijkingen tussen view-configuraties, architectuurcomponenten en temporele sampling-strategieën op de EgoExo4D benchmark.

Resultaten

Het model werd geëvalueerd op de EgoExo4D bekwaamheidsschatting benchmark.

Algemene Prestaties (Exos Instelling): SkillMoV behaalde een algemene nauwkeurigheid van 50,17% in de Exos (4 exocentrische camera's) configuratie. Dit overtreft het sterkste gerapporteerde Exos resultaat onder de vergeleken methoden (SkillFormer+PATS met 46,60%) met 3,57 procentpunt.
Ego+Exos Instelling: SkillMoV behaalde 47,63%, wat competitief blijft met het beste gerapporteerde resultaat in deze instelling (ProfVLM met 48,20%), met een gat van slechts 0,57 pp.
Ego-Only Instelling: De prestatie was lager met 40,00%, wat consistent is met een ontwerp dat geoptimaliseerd is voor multi-view routing.
Per-Scenario Prestatie: SkillMoV behaalde het beste resultaat in het Soccer scenario (79,17%) over alle view-configuraties en vertoonde het meest gebalanceerde prestatieprofiel over activiteiten in de Exos instelling, met de laagste standaarddeviatie (14,65 pp) onder de top performers.

Ablatie-studies (Exos Configuratie):

MoV Routing: Het vervangen van MoV door attentive pooling veroorzaakte de grootste daling (-6,61 pp), wat de effectiviteit van view-geconditioneerde expert routing bevestigt.
Cross-View Attention: Verwijdering verminderde de nauwkeurigheid met 4,92 pp.
Prototype Anchoring: Verwijdering verminderde de nauwkeurigheid met 4,07 pp.
Stochastic View Dropout: Verwijdering verminderde de nauwkeurigheid met 3,90 pp.
Efficiëntie: SkillMoV traint slechts 23,32% van zijn parameters (via LoRA en de lichtgewicht projector), wat minimale overhead toevoegt (trainingstijd nam met ~3,5 minuten toe; inference geheugen nam toe met 0,02 GB) vergeleken met een LoRA-only baseline.

Betekenis en Claims

Het artikel claimt dat SkillMoV aantoont dat bekwaamheidsschatting profiteert van view-geconditioneerde, zacht gedeelde representaties in plaats van alle views door een enkele gedeelde projectie te dwingen.

View-Geconditioneerde Routing: De routing-analyse bevestigt dat het model zachte, view-afhankelijke expert-voorkeuren leert zonder expliciete supervisie. Verschillende camera's en activiteitsdomeinen activeren verschillende subsets van experts, terwijl de expert-pool gedeeld en actief blijft (geen collapse).
Exocentrische Dominantie: De resultaten benadrukken dat exocentrische views (Exos) betrouwbaardere bekwaamheidsaanwijzingen bieden dan egocentrische views voor deze specifieke benchmark, waarschijnlijk omdat bekwaamheidslabels zijn geannoteerd op basis van externe perspectieven. Het toevoegen van de egocentrische stream verbeterde de prestaties niet, wat suggereert dat meer views niet automatisch beter zijn als ze niet overeenkomen met de visuele bewijslast die ten grondslag ligt aan de labels.
Parameter-efficiëntie: Het framework behaalt state-of-the-art resultaten in de Exos instelling terwijl het een parameter-efficiënt profiel behoudt dat geschikt is voor uniforme multi-domein training.

De auteurs merken bescheiden beperkingen op, waaronder het feit dat de geleerde prototypes geen gekalibreerde ordinale schaal vormen (hun cosinus-similariteitstructuur is niet monotoon) en dat de per-scenario test-subsets (bijv. Soccer) klein zijn. Toekomstig werk wordt voorgesteld om prototype-geometrie-beperkingen, adaptieve temporele sampling en gedetailleerde foutanalyse aan te pakken.