iMiGUE-3K: A Large-Scale Benchmark for Micro-Gesture Analysis with Self-Supervised Learning

Technische Samenvatting: iMiGUE-3K: Een Groot-Schalige Benchmark voor Micro-Gebarenanalyse met Zelftoezichthoudend Leren

Probleemstelling
Huidig onderzoek naar affectief rekenen en emotiebegrip vertrouwt voornamelijk op gezichtsuitdrukkingen en spraak, waarbij lichaamstaal vaak wordt over het hoofd gezien. Hoewel er bestaande datasets zijn voor opgezette of spontane gezichtsgedragingen, is er een aanzienlijke kloof in grootschalige bronnen voor Micro-Gebaren (MG's)—onopzettelijke, onderbewuste bewegingen die worden aangedreven door innerlijke gevoelens (bijvoorbeeld handen wrijven door stress). Deze gebaren zijn cruciaal voor het begrijpen van onderdrukte emoties, maar zijn moeilijk vast te leggen en te analyseren vanwege hun spontane aard. Bovendien zijn bestaande gebarendatasets vaak kleinschalig, wat leidt tot overfitting en beperkte overdraagbaarheid in fundamentele modellen. Daarnaast vertrouwen veel bestaande datasets op gevoelige biometrische gegevens, wat privacyzorgen oproept. Er is momenteel geen grootschalige, 'in-the-wild' dataset ontworpen om de vooropleiding van fundamentele modellen specifiek voor micro-gebarenanalyse te ondersteunen.

Methodologie
Het artikel stelt een uitgebreid kader voor dat bestaat uit een nieuwe dataset, een data-samplingstrategie en een reeks fundamentele modellen.

1. Constructie van de iMiGUE-3K Dataset:

   • Bron: Video's zijn verzameld uit persconferenties na wedstrijden van professionele tennisspelers over een periode van zeven jaar. Deze setting biedt een natuurlijke emotionele trigger (winst/verlies) en minimaliseert voorbereidingstijd, waardoor spontane MG's worden opgewekt.
   • Schaal: De dataset bevat 3.484 videoclips (in totaal >37 miljoen frames) van 332 verschillende personen.
   • Annotatie: Het bevat 32 micro-gebaarclasses die zijn georganiseerd in vijf lichaamsgroepen (Lichaam, Hoofd, Hand, Lichaam-Hand, Hoofd-Hand) en videoniveau-emotielabels (Winst/Verlies).
   • Partitionering: De dataset is opgesplitst in een gelabelde subset (341 video's, 17.800 handmatig geannoteerde MG-instanties) voor downstream-evaluatie en een grote ongelabelde subset (ongeveer 3.000 video's) voor zelftoezichthoudende vooropleiding.
   • Kenmerken: De data vertoont een langstaartverdeling van gebaarcategorieën en dekt diverse culturele en geslachtsachtergronden.

2. Data-Samplingstrategie voor Zelftoezichthoudend Leren (SSL):

   • Om de ongelabelde video's te benutten zonder exhaustieve temporele annotaties, stellen de auteurs een samplingstrategie voor om hoogwaardige kandidaatclips te genereren.
   • Mechanisme: De strategie sampleert clips op basis van een empirische duur-prior afgeleid van de gelabelde trainingsset. Het dwingt zichtbaarheidsbeperkingen voor gezichtspunten af (zorgend dat ankers zoals neus en ogen detecteerbaar zijn) en temporele niet-overlappende filtering om redundantie en ruis te verminderen.
   • Output: Dit proces levert 120K ongelabelde skeletclips op die geschikt zijn voor vooropleiding.

3. MG-FM's (Fundamentele Modellen):

   • De auteurs introduceren MG-FM's, een reeks discriminatieve fundamentele modellen die zijn ontworpen om overdraagbare representaties voor MG's te leren.
   • Architectuur: Het kader omvat twee modality-specifieke takken:
     • MG-FM-Skele: Een op skelet gebaseerd model dat de USDRL-architectuur aanpast met een dual-stream Dense Spatio-Temporal Encoder (DSTE). Het maakt gebruik van doelstellingen voor decorrelatie van kenmerken (similariteit, variantie, kruiscorrelatie) op versterkte weergaven (snelheidsjitter, frame-dropping, gewrichtscorruptie).
     • MG-FM-RGB: Een op RGB gebaseerd model dat een SMILE-stijl teacher-student masked video modeling framework gebruikt. Het reconstrueert hoogwaardige semantische doelen (geëxtraheerd door een bevroren ViCLIP-encoder) in plaats van ruwe pixels, en hanteert een twee-staps progressieve vooropleidingsstrategie.

4. Evaluatieprotocollen:
   De benchmark evalueert de modellen over vijf taken:

   • Ongelabelde MG-herkenning (Lineair proppen).
   • Semi-gelabelde MG-herkenning (Fijnafstemming met 10% gelabelde data).
   • Gelijkgelabelde MG-herkenning (Volledige fijnafstemming).
   • MG-retrieval (Trainingsvrije zoekopdracht op basis van de dichtstbijzijnde buur).
   • MG-gebaseerde emotieherkenning (Binary classificatie op videoniveau: Winst vs. Verlies).

Belangrijkste Bijdragen

1. iMiGUE-3K: De eerste grootschalige, 'in-the-wild' dataset die specifiek is ontworpen voor micro-gebarenanalyse en de vooropleiding van fundamentele modellen ondersteunt. Het overbrugt de kloof tussen gedragsherkenning en emotiebegrip door MG's te koppelen aan emotionele toestanden (winst/verlies).
2. Verbreding van de Benchmark: Breidt de reikwijdte uit voorbij gesloten-set classificatie om MG-retrieval en MG-gebaseerde emotieherkenning op te nemen, en beweegt zo naar instantie-niveau en videoniveau affectieve analyse.
3. Nieuwe Samplingstrategie: Een schaalbare methode om hoogwaardige, MG-lengte kandidaatclips te genereren uit ongelabelde video's met behulp van empirische duur-priors en zichtbaarheidsbeperkingen, waardoor effectieve SSL mogelijk wordt.
4. MG-FM's: Een reeks zelftoezichthoudend vooropgeleide modellen (skelet- en RGB-takken) die overdraagbare representaties voor micro-gebaren leren.
5. Uitgebreide Evaluatie: Uitgebreide experimenten die aantonen dat grootschalige zelftoezichthoudende vooropleiding de prestaties aanzienlijk verbetert over diverse downstream-taken, waarbij volledig gelabelde baselines vaak worden benaderd of overtroffen.

Resultaten

• Ongelabelde Herkenning: De op skelet gebaseerde multi-stream variant (MG-FM-Skele) behaalde 57,61% Top-1 nauwkeurigheid via lineair proppen, presterend op gelijke hoogte met volledig gelabelde 4-stream BlockGCN (57,85%). De RGB-tak behaalde 43,59%.
• Semi-gelabelde Herkenning: Met slechts 10% gelabelde data verbeterde MG-FM-RGB significant tot 60,16% Top-1, terwijl de skelettak concurrerend bleef.
• Gelijkgelabelde Herkenning: MG-FM-RGB behaalde de hoogste nauwkeurigheid onder vergeleken methoden met 69,42% Top-1. Een multimodaal ensemble (combinatie van skelet en RGB) bereikte 71,60% Top-1, presterend beter dan bestaande gelijkgelabelde ensemble-methoden.
• Retrieval: Het skeletmodel toonde superieure trainingsvrije retrievalsprestaties (40,06% Top-1 voor de bewegingsstroom) in vergelijking met het RGB-model (22,56%).
• Emotieherkenning: In de taak op videoniveau (voorspellen van winst/verlies) behaalde de voorgestelde twee-stroom methode 0,64 nauwkeurigheid, presterend beter dan externe baselines (0,63) die complexere pipelines gebruikten, inclusief gezichtseigenschappen.

Betekenis en Claims
Het artikel claimt dat dit werk uitgebreide tools biedt voor micro-gebarenanalyse en een stevige basis legt voor toekomstig onderzoek in psychologische diagnostiek, affectief rekenen en mens-computerinteractie. Door aan te tonen dat zelftoezichthoudend leren op grootschalige, privacybehoudende (niet-biometrisch specifieke) data representaties kan opleveren die hoogst overdraagbaar zijn naar downstream-taken, betogen de auteurs dat op micro-gebaren gebaseerde analyse een levensvatbare en effectieve aanpak is voor het verbeteren van emotiebegrip. Het werk benadrukt dat machines deze subtiele, onvrijwillige signalen nauwkeurig kunnen herkennen en interpreteren om emotionele toestanden af te leiden, en biedt zo een privacybehoudend alternatief voor traditionele op biometrie gebaseerde emotieherkenning.