Technische Samenvatting: PriorNet – Prior-geleide inschatting van betrokkenheid uit gezichtsvideo

1. Probleemstelling

Het inschatten van gebruikersbetrokkenheid uit gezichtsvideo is een kritieke taak voor toepassingen zoals online leeranalyse, virtuele vergaderingen en mens-robotinteractie. De taak staat echter onder praktische omstandigheden voor drie aanhoudende uitdagingen:

1. Onvolledig gezichtsbewijs: In realistische videostreams kijken gebruikers vaak weg, draaien ze hun hoofd of bewegen ze gedeeltelijk buiten beeld. Conventionele pipelines behandelen deze "ontbrekende-gezicht"-gebeurtenissen doorgaans als voorverwerkingsfouten of hinderlijke corruptie die moeten worden weggegooid, waardoor potentieel gedragsmatig betekenisvolle signalen (bijvoorbeeld afwijken van de blik) verloren gaan.
2. Data-schaarste en overfitting: Benchmarks voor betrokkenheid zijn bescheiden van omvang vergeleken met moderne videobackbones. Standaardbenaderingen vertrouwen vaak op volledige fine-tuning of eenvoudige feature-extractie, wat het risico op overfitting of het overschrijven van robuuste vooraf getrainde representaties met zich meebrengt.
3. Subjectieve en ambiguïteitsvolle labels: Annotaties voor betrokkenheid zijn vaak grof, subjectief en protocolafhankelijk. Standaard classificatiedoelstellingen slagen er niet in om de inherente ambiguïteit en onzekerheid in deze labels adequaat te modelleren.

Het artikel betoogt dat robuustheid op dit domein beter wordt bereikt door expliciet taakrelevante priors in te voegen op complementaire stadia van de pipeline, in plaats van uitsluitend te vertrouwen op het schalen van de modelarchitectuur of te hopen dat robuustheid impliciet ontstaat.

2. Methodologie: Het PriorNet-raamwerk

PriorNet is een unifyend raamwerk dat priors inbrengt op drie specifieke stadia: voorverwerking, modeladaptatie en doelontwerp.

2.1 Voorverwerking: Expliciete modellering van ontbrekende-gezicht-gebeurtenissen

In plaats van frames te verwijderen waar gezichtsdetectie faalt, converteert PriorNet deze fouten naar expliciete nul-frame placeholders.

• Mechanisme: De video wordt bemonsterd tot een reeks met vaste lengte (bijvoorbeeld 16 frames). Als een gezichtsdetector (OpenCV SSD met ResNet-10) in een bemonsterd frame geen gezicht detecteert, wordt dat frame vervangen door een tensor met alleen nullen ($0_{224\times224\times3}$) in plaats van te worden verwijderd.
• Redenering: Dit behoudt de temporele structuur van de invoerreeks. Het model leert of ontbrekende gezichtszichtbaarheid (veroorzaakt door afwijken van de blik, hoofd draaien of occlusie) een informatief gedragskarakteristiek is voor betrokkenheid, in plaats van het te behandelen als een data-gat.

2.2 Modeladaptatie: Prior-geleide Low-Rank Adaptatie (Prior-LoRA)

Om een krachtige vooraf getrainde backbone aan te passen aan de specifieke taak van inschatting van betrokkenheid zonder overfitting op kleine datasets, hanteert PriorNet Prior-LoRA.

• Backbone: Het raamwerk maakt gebruik van SVFAP (Self-supervised Video Facial Affect Perceiver), een backbone die vooraf is getraind op affectdynamica in gezichtsvideo via gemaskeerde auto-encoding.
• Mechanisme: De SVFAP-weights worden bevroren. Trainable low-rank residuele updates ($\Delta W$) worden ingevoegd in de query-, key- en value-projecties van geselecteerde self-attention-lagen.
• Efficiëntie: Deze benadering specialiseert de ruimtetemporele representaties voor betrokkenheid met minder dan 1% van de parameters van de backbone die trainbaar zijn, waardoor de vooraf getrainde affectieve priors behouden blijven terwijl wordt aangepast aan de specifieke taak.

2.3 Doelontwerp: Onzekerheidsbewust leren

Om de ambiguïteit van betrokkenheidslabels te hanteren, maakt PriorNet gebruik van een samengestelde verliesfunctie die bewijslering combineert met onzekerheid-gewogen herweging.

• Dirichlet-Evidentiële Term: Het model geeft bewijs ($e_i$) voor elke klasse, waarmee een Dirichlet-verdeling wordt geparametriseerd. Dit stelt het model in staat om zowel klassenvoorkeur als voorspellende onzekerheid binnen een deterministisch raamwerk te representeren. Het verlies bevat een dataterm en een KL-divergentie-regularisator.
• Onzekerheid-gewogen Focal-achtige Term: Om overconfident leren op ambiguïteitsvolle steekproeven te voorkomen, wijst de doelstelling hogere optimalisatieweegs toe aan steekproeven met laag totaal bewijs (hoge onzekerheid). De moduleringsfactor is dynamisch, gebaseerd op de onzekerheid van de steekproef in plaats van een vaste hyperparameter.
• Gecombineerd Doel: Het uiteindelijke verlies combineert de evidentiële term, de onzekerheid-gewogen term en een hulphard-label cross-entropy-term voor stabiliteit.

3. Belangrijkste Bijdragen

Het artikel schetst vijf primaire bijdragen:

1. Prior-geleide Robuustheidsraamwerk: Een unifyende aanpak die priors inbrengt op voorverwerkings-, adaptatie- en doelniveau.
2. Expliciete Modellering van Ontbrekende Gezichten: Het converteren van detectiefouten naar nul-frame placeholders om ontbreken te behandelen als informatief bewijs.
3. Parameter-efficiënte Specialisatie: Het introduceren van Prior-LoRA om SVFAP aan te passen met minimale trainbare parameters (<1%).
4. Onzekerheidsbewust Leren: Een Dirichlet-evidentiële en onzekerheid-gewogen doelstelling ontworpen voor ambiguïteitsvolle, subjectieve supervisie.
5. Validatie over Datasets: Consistente verbeteringen over vier heterogene benchmarks (EngageNet, DAiSEE, DREAMS, PAFE) en component-level ablaties.

4. Experimentele Resultaten

PriorNet werd geëvalueerd op vier datasets met behulp van hun native evaluatieprotocollen.

• EngageNet: PriorNet behaalde 73,58% nauwkeurigheid, wat de sterkste vorige resultaten (Ordinal ST-GCN met 71,24%) overtreft met 2,34 procentpunten.
• DAiSEE: PriorNet bereikte 69,06% nauwkeurigheid, wat de beste vermelde vorige resultaten (67,48%) overtreft met 1,58 procentpunten.
• DREAMS: PriorNet behaalde een gewogen F1-score van 0,515, een aanzienlijke verbetering ten opzichte van de beste vorige resultaten (0,434).
• PAFE: PriorNet bereikte een gewogen F1-score van 0,780, wat de sterkste vorige resultaten (0,740) overtreft met 0,040.

Ablatiestudies:
Component-ablaties op EngageNet en DAiSEE toonden aan dat alle drie de voorgestelde componenten positief bijdragen.

• Nul-frame placeholders leverden de grootste single-component winst op (bijvoorbeeld +2,24% op EngageNet), wat bevestigt dat het behoud van ontbrekende-gezicht-gebeurtenissen cruciaal is.
• Prior-LoRA en het geavanceerde doel leverden kleinere maar consistente verbeteringen op.
• Het volledige model (combinatie van alle drie) leverde de hoogste prestaties op, wat aantoont dat de winsten voortkomen uit de complementaire interactie van deze priors in plaats van een enkele geïsoleerde modificatie.
• Diagnostische Analyse: Verdere analyse toonde aan dat het voordeel van nul-frame placeholders toeneemt naarmate het aantal gezichtsdetectiefouten toeneemt, wat de meest significante winsten oplevert in scenario's met hoge mate van ontbrekende data (+7,1% nauwkeurigheid in de groep met hoge mate van ontbrekende data).

5. Betekenis en Claims

Het artikel beweert dat expliciete prior-injectie een effectiever ontwerpprincipe is voor inschatting van betrokkenheid uit gezichtsvideo dan uitsluitend schalen van de architectuur. Specifiek toont PriorNet aan dat:

• Robuustheid kan worden verbeterd door "ontbrekende" data te behandelen als een signaal in plaats van ruis.
• Parameter-efficiënte adaptatie (Prior-LoRA) het mogelijk maakt dat sterke vooraf getrainde backbones zich specialiseren voor betrokkenheid zonder overfitting.
• Onzekerheidsbewuste doelstellingen noodzakelijk zijn om de inherente subjectiviteit van betrokkenheidslabels te hanteren.

Beperkingen en Bescheidenheid:
De auteurs stellen expliciet dat hun bevindingen begrensd zijn door:

• Detector-afhankelijkheid: Het placeholder-mechanisme is afhankelijk van het gedrag van de gezichtsdetector; winsten kunnen zowel gedragskarakteristieken als detectiefoutpatronen weerspiegelen.
• Protocol-heterogeniteit: De vier datasets verschillen aanzienlijk in labels en splits, dus de resultaten vertegenwoordigen een consistente directionele verbetering over diverse settings in plaats van een enkele unifyende leaderboard.
• Supervisie-signaal: De onzekerheidsmodellering wordt uitgevoerd onder hard-label supervisie in plaats van volledige annotator-stemverdelingen.

Het artikel concludeert dat hoewel inschatting van betrokkenheid niet "opgelost" is, PriorNet een methodologisch coherent raamwerk biedt voor het verbeteren van robuustheid onder omstandigheden van ontbrekend visueel bewijs, beperkte adaptatiebudgetten en subjectieve annotatie.