Strength-Parity Ensembling with Parameter-Isolated Experts for Multi-Task Affect Recognition

Technische Samenvatting: Strength-Parity Ensembling met Parameter-Geïsoleerde Experts voor Multi-Task Affect Recognition

Probleemdefinitie
Het artikel behandelt de multi-task learning (MTL) uitdaging van de 11e Affective Behavior Analysis in-the-wild (ABAW) competitie. Het doel is om drie verschillende affectieve attributen gezamenlijk te schatten van een enkel ongeconstrueerd gezicht: continue valentie–arousal, 8-weg categorische expressie, en 12-weg action unit (AU) detectie. De taak wordt bemoeilijkt door drie specifieke beperkingen:

1. Partiële en ongebalanceerde labels: De drie labelfamilies zijn geannoteerd op overlappende maar ongelijke subsets van frames, met individuele long-tailed distributies.
2. Geen pretraining op doelgegevens: De uitdaging verbiedt pretraining op de Aff-Wild2 corpus, waardoor modellen moeten adapteren vanaf externe datasets.
3. Ensemble-inefficiëntie: Hoewel leidende inzendingen vertrouwen op zware ensembling, worden de criteria voor het selecteren van welke aanvullende leden een reeds sterk ensemble verbeteren zelden expliciet gemaakt. Standaard diversificatiemethoden (bijv. re-seeding of verschillende fine-tuning curricula op dezelfde backbone) falen vaak omdat ze bijna identieke voorspellingen bereiken, waardoor er geen diversiteit is om overheen te middelen.

Methodologie
Het voorgestelde systeem is gebouwd op een basisarchitectuur bestaande uit twee bevroren, affect-gesuperviseerde ViT-B/16 backbones (één FSFM-geïnitialiseerd, één MAE-Face-geïnitialiseerd) en een Shared Affect-Latent (SAL) die ontbrekende labels marginaliseert over de taakdecoders. De kerninnovatie ligt in de Strength-Parity Rule en het mechanisme om aan deze te voldoen.

1. De Strength-Parity Rule:
   De auteurs stellen een concreet toelatingscriterium voor ensembleleden voor. Een nieuw lid verbetert het ensemble alleen als het gelijktijdig aan twee voorwaarden voldoet:

• Decorrelatie: Het moet gedecorreleerd zijn van de huidige ensembleleden (lage voorspellingscorrelatie).
• Near-Peer Strength: Het moet individueel accuraat zijn, presterend op een niveau dat vergelijkbaar is met de bestaande leden.
  Het artikel demonstreert dat standaardmethoden aan deze regel niet voldoen: re-seeding of het draaien van verschillende gesuperviseerde curricula op dezelfde backbone levert voorspellingen op met een correlatie van 0,98, wat effectief geen diversiteit toevoegt ondanks een hoge individuele accuratesse.

2. Parameter-Geïsoleerde Experts:
   Om leden te genereren die aan de strength-parity rule voldoen zonder de kosten van het trainen van volledig nieuwe backbones, maken de auteurs gebruik van Parameter-Isolatie adaptatie.

• Een enkele gedeelde backbone wordt bevroren.
• Verschillende affect-corpora (bijv. AffectNet, FSFM, MAE) worden gebruikt om deze backbone te adapteren via disjuncte low-rank subspaces (LoRA).
• Elke expert modificeert de bevroren projectiegewichten ($W_0$) met behulp van low-rank matrices ($W = W_0 + \alpha BA$) met een rank van 16.
• Resultaat: Deze beperking voorkomt de "re-convergentie" die wordt gezien bij volledige fine-tuning. Experts op dezelfde backbone behouden een voorspellingscorrelatie van 0,91 (significant lager dan 0,98) terwijl ze een hoge individuele accuratesse behouden. De sterkste expert, geadapteerd van AffectNet, bereikt een macro-F1 van 0,4762 voor expressieherkenning, waarmee de base backbones overtreft.

3. Systeemassemblage:
   Het uiteindelijke systeem middelt de per-taak voorspellingen van de sterkste leden.

• Valence-Arousal & AUs: Gebruikt het gemiddelde van de twee backbone-specialisten.
• Expression: Middelt de twee base SAL-leden met de parameter-geïsoleerde LoRA-experts.
• Kalibratie: Per-AU beslissingsdrempels worden gefit op de validatieset om F1 te maximaliseren.
• Byproduct Pooling: De valence–arousal voorspellingen die als bijproduct worden gegenereerd door de gedeelde-latent expression heads, worden gepooled in de VA-ensemble als een extra near-peer.

Belangrijkste Resultaten
Het systeem werd geëvalueerd op de s-Aff-Wild2 MTL validatiesplit (video-disjoint van de training).

• Baseline: De ConvNeXt baseline van de organisator scoorde 0,45.
• Base Systeem: Het twee-backbone shared-latent systeem bereikte 1,6669.
• Primair Resultaat: Het toevoegen van de AffectNet parameter-geïsoleerde expert verhoogde de expression score en de totale validatiescore naar 1,6949.
• Sterkste Configuratie: Door verdere LoRA-experts toe te voegen, per-AU kalibratie toe te passen en de gedeelde-latent VA-bijproduct te poolen, bereikte het systeem een piek validatiescore van 1,7259.
• Statistische Significantie: Winsten werden gemeten met een paired bootstrap over 50 validatievideo's. De verbetering door het toevoegen van het VA-bijproduct aan de VA-ensemble was statistisch significant ($p=0,005$), terwijl andere winsten werden genoteerd als "positief-binnen-ruis".

Significantie en Claims
Het artikel claimt drie primaire bijdragen:

1. Een Praktische Ensembling Regel: Het stelt de "strength-parity" regel vast, waarbij wordt verduidelijkt dat het toevoegen van een lid alleen gunstig is als het zowel gedecorreleerd als een near-peer is. Het benadrukt dat goedkope bronnen van diversiteit (zoals re-seeding) vaak falen omdat ze een gebrek aan decorrelatie vertonen.
2. Een Diversiteitsmechanisme: Het demonstreert dat parameter-isolatie (LoRA) op een enkele backbone succesvol gedecorreleerde near-peers kan creëren, wat het re-convergentieprobleem van volledige fine-tuning oplost zonder meerdere pre-trained backbones te vereisen.
3. Prestaties: Het stelt een nieuwe validatiebenchmark vast voor de 11e ABAW MTL track, die de baseline aanzienlijk overtreft.

De auteurs merken bescheiden de beperking van hun aanpak op: zodra een pool een paar gedecorreleerde near-peers bevat, vlakt de score af omdat verdere leden waarschijnlijk ofwel gecorreleerd ofwel zwakker zijn. Het dichten van de resterende kloof zou "genuin andere near-peer representaties" vereisen in plaats van nieuwe averaging strategieën.