Technische Samenvatting: AdaTosk – Adaptieve Temporele Zachte Maskering voor Efficiënte Dynamische Gezichtsuitdrukkingherkenning

Probleemstelling

Dynamische Gezichtsuitdrukkingherkenning (DFER) heeft tot doel psychologische intenties te identificeren via non-verbale communicatie in videosequenties. Hoewel bestaande methoden effectief zijn, staan ze voor aanzienlijke uitdagingen op het gebied van efficiëntie en redundantie. Videogegevens bevatten inherent aanzienlijke temporele redundantie door continuïteit, wat leidt tot de verwerking van irrelevante informatie zoals achtergrondruis en semantisch repetitieve statische frames. Huidige benaderingen, waaronder die geïnspireerd zijn op Masked AutoEncoders (MAE), worstelen vaak met het onderscheid tussen kritieke uitdrukkingdynamiek en redundante tokens. Bijgevolg kunnen modellen ofwel onnodige kenmerken berekenen op irrelevante frames, of ze slagen er niet in om subtiele, moeilijk te detecteren verschuivingen in uitdrukkingen te vangen, wat resulteert in hoge rekenkosten zonder proportionele winst in nauwkeurigheid.

Methodologie: AdaTosk

De auteurs stellen AdaTosk voor, een nieuw toezichtgebaseerd temporeel zacht gemaskeerd autoencoder-netwerk ontworpen om deze inefficiënties aan te pakken. De architectuur integreert twee parallelle takken: een zelftoezichtgebaseerde reconstructietak en een toezichtgebaseerde classificatietak.

1. Dubbele-Tak Architectuur

• Zelftoezichtgebaseerde Reconstructietak: Deze tak maakt gebruik van een Willekeurige Binaire Harde Maskering (geïnspireerd door VideoMAE) om een groot deel van de videotokens te maskeren. Het model wordt getraind om de gemaskeerde tokens te reconstrueren vanuit de zichtbare tokens met behulp van een lichtgewicht decoder. Dit proces moedigt de encoder aan om betekenisvolle kenmerkrepresentaties te leren vanuit de overige zichtbare tokens.
• Toezichtgebaseerde Classificatietak: Deze tak verwerkt de optimale zichtbare tokens ($X_{opt}$) om uitdrukkingclassificatie uit te voeren. In tegenstelling tot de harde maskering, maakt deze tak gebruik van een Adaptieve Temporele Zachte Maskering ($S$) die verschillende graden van maskering toewijst aan zichtbare tokens op basis van hun temporele significantie en semantische redundantie.

2. Mechanisme voor Adaptieve Temporele Zachte Maskering

De kerninnovatie van AdaTosk is de adaptieve zachte maskering, die dynamisch de invloed van tokens aanpast. Het combineert twee onderscheidende strategieën:

• Klasse-agnostische Dynamische Zachte Maskering:

  • Doel: Sleutelmomenten van uitdrukkingdynamiek vast te leggen zonder bias van vooraf gedefinieerde categorieën.
  • Mechanisme: Het berekent frame-tot-frame kenmerkverschillen ($\tau$) tussen aangrenzende zichtbare frames. De top-$K$ frameparen met de grootste verschillen worden geïdentificeerd als "actieve frames". Een eenheid voor kanaalwijze informatie-interactie (Squeeze-and-Excitation-patroon) versterkt deze frames, en een eenheid voor temporele informatie-interactie genereert een zachte maskering ($S_{agnostic}$) die prioriteit geeft aan deze dynamische verschuivingen over de gehele sequentie.

• Klasse-semantische Gelijkaardige Zachte Maskering:

  • Doel: De accumulatie van semantisch vergelijkbare maar redundante tokens in de tijd te verminderen, terwijl essentiële informatie behouden blijft.
  • Mechanisme: Het modelleert de waarschijnlijkheid van het maskeren van tokens met behulp van een temporeel accumulatief score ($M$). Om continuïteit te hanteren, draagt een Markov-keten scores tussen frames over, waarbij de top-$r$ tokens worden uitgesloten om de rekenlast te verminderen. Cruciaal wordt deze score opnieuw gewogen door een semantische score ($A$) die is afgeleid van klasse-toezicht (som van absolute activeringen). Dit zorgt ervoor dat tokens met hoge semantische waarde behouden blijven, zelfs als ze temporele redundantie vertonen.
  • Eindmasker: Het definitieve adaptieve masker ($S$) is het elementsgewijze product van het klasse-agnostische en het klasse-semantische masker ($S = S_{agnostic} \odot S_{semantic}$).

3. Trainingsdoel

De totale verliesfunctie ($L$) combineert het reconstructieverlies ($L_{rec}$) van de zelftoezichtgebaseerde tak en het classificatieverlies ($L_{cls}$) van de toezichtgebaseerde tak, gebalanceerd door gewichten $\lambda_{rec}$ en $\lambda_{cls}$.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Integratie van Toezichtgebaseerde VideoMAE: AdaTosk is de eerste die een toezichtgebaseerd VideoMAE-raamwerk integreert in de DFER-taak, waarbij zichtbare tokens worden geoptimaliseerd om de herkenningsefficiëntie aanzienlijk te verbeteren.
2. Adaptieve Temporele Zachte Maskering: De auteurs stellen een innovatieve maskeringstrategie voor die adaptief de maskeringgraden aanpast. De twee componenten ervan – klasse-agnostische dynamische en klasse-semantische gelijkaardige zachte maskeringen – richten zich specifiek op de activering van sleutelmomenten van uitdrukkingdynamiek en het onderdrukken van temporele semantische redundantie.
3. Efficiëntie- en Prestatiewinst: Het model bereikt een balans tussen hoge prestaties en lage rekenkosten, waarbij de modelgrootte en FLOPs worden verminderd terwijl de nauwkeurigheid in vergelijking met state-of-the-art-methoden behouden blijft of verbetert.

Experimentele Resultaten

De auteurs hebben AdaTosk geëvalueerd op drie veelgebruikte DFER-benchmarks in het wild: DFEW, FERV39K en MAFW.

• Prestaties: AdaTosk (met de zachte maskering, aangeduid als AdaTosk†) presteert beter dan bestaande toezichtgebaseerde modellen met 9–10% in zowel het Ongewogen Gemiddelde Herinneringspercentage (UAR) als het Gewogen Gemiddelde Herinneringspercentage (WAR) over alle datasets. Het overtreft ook methoden gebaseerd op grote taalmodellen en andere VideoMAE-gebaseerde benaderingen (bijv. MAE-DFER, MMA-DFER) met marges variërend van 2,1% tot 4,8%.
• Efficiëntie:
  • In vergelijking met de baseline VideoMAE reduceert AdaTosk de parameters met ongeveer 12M en de FLOPs met 38G.
  • De toevoeging van de temporele zachte maskering (AdaTosk†) reduceert de parameters verder met 2M en de FLOPs met 4G in vergelijking met de versie zonder zachte maskering (AdaTosk), terwijl UAR en WAR tegelijkertijd met ongeveer 2% worden verbeterd.
  • Over het geheel genomen reduceert het model de rekenkosten met 6G FLOPs en de modelgrootte met 10M parameters in vergelijking met huidige state-of-the-art-methoden.

Betekenis en Beweringen

Het artikel beweert dat AdaTosk de kritieke beperking van bestaande methoden succesvol aanpakt: de neiging om subtiele uitdrukkingdynamiek over te slaan tijdens het verwerken van redundante informatie. Door de Adaptieve Temporele Zachte Maskering in te voeren, richt het model zich effectief op sleutelmomenten van uitdrukkingsevolutie en reduceert het de accumulatie van semantisch vergelijkbare tokens.

De auteurs stellen dat deze benadering efficiënte dynamische uitdrukkingherkenning mogelijk maakt zonder prestaties op te offeren. De resultaten tonen aan dat door temporele redundantie intelligent te beheren via zachte maskering, het model concurrerende, en vaak superieure, nauwkeurigheid bereikt met aanzienlijk lagere rekenkosten. De visualisatieresultaten bevestigen verder dat het model correcte gezichtsregio's identificeert (bijv. mond, wangen, wenkbrauwen) en dynamisch de maskeringintensiteit aanpast op basis van uitdrukkingsschommelingen en semantische belangrijkheid.