An Adaptive Cross Attention Multimodal Transformer Architecture for Multilingual Speech Emotion Recognition

Technische Samenvatting: Adaptieve Cross-Attention Multimodale Transformer voor Multilinguale Spraak-Emotieherkenning

Probleemstelling
Huidige systemen voor Spraak-Emotieherkenning (SER) kampen met drie primaire beperkingen. Ten eerste zijn veel hoogpresterende systemen unimodaal, waardoor waardevolle lexicale en visuele bewijslast wordt weggegooid. Ten tweede vertrouwen bestaande multimodale systemen vaak op statische fusiemethoden (bijv. concatenatie of fixed-weight averaging) die niet kunnen adapteren aan de instantie-afhankelijke betrouwbaarheid van modaliteiten, waarbij de betrouwbaarheid van akoestische, tekstuele of visuele signalen varieert per utterance, spreker of taal. Ten derde is het veld overwegend Engelstalig georiënteerd, waarbij multilinguale en cross-linguale SER onderbelicht blijven, met name wat betreft efficiënte parameteradaptatie. Bovendien falen standaard evaluatieprotocollen vaak in het onderscheiden van binnen-corpus prestaties versus echte cross-corpus of cross-linguale generalisatie.

Methodologie: De ACAMT-architectuur
Het artikel stelt de Adaptive Cross-Attention Multimodal Transformer (ACAMT) voor, een framework dat is ontworpen om akoestische, tekstuele en visuele modaliteiten te integreren via een dynamisch, bidirectioneel mechanisme.

• Feature Extractie:

  • Akoestisch: Combineert handmatige features (40-dim MFCCs met delta's, 128-band log-mel spectrogrammen) met self-supervised embeddings van een vooraf getraind Wav2Vec 2.0 (facebook/wav2vec2-large-xlsr-53) model. De akoestische stroom maakt gebruik van een trainbare gewogen combinatie van alle transformer-lagen.
  • Textueel: Maakt gebruik van XLM-RoBERTa-base, een multilinguale transformer encoder die is voorgetraind op meer dan 100 talen, om transcripten te verwerken. Voor audio-only corpora worden transcripten gegenereerd via Whisper large-v3.
  • Visueel: Gebruikt een ResNet-18 backbone (voorgetraind op VGGFace2) gevolgd door een bidirectionele GRU om de dynamiek van gezichtsuitdrukkingen (onset–apex–offset) vast te leggen.

• Bidirectionele Cross-Attention Kern:
  In tegenstelling tot eerdere twee-modaliteitssystemen berekent ACAMT zes directionele cross-attention kaarten die alle paren van de drie modaliteiten dekken (Acoustic↔Text, Text↔Visual, Visual↔Acoustic).

  • Omdat de cross-attention outputs de lengte van de query-sequentie behouden (bijv. $A \to T$ heeft de akoestische lengte, $T \to A$ heeft de tekstuele lengte), concateneert de architectuur de twee directionele outputs voor elk paar en projecteert deze naar een vaste dimensie $d=256$.
  • Deze worden vervolgens gemiddeld over de tijd (mean-pooled) om drie vaste lengte paar-vectoren te creëren: $z_{AT}$, $z_{TV}$ en $z_{VA}$.

• Gemaskeerde Adaptieve Gating:
  De drie paar-vectoren worden gefuseerd via een gemaskeerde, per-instantie adaptieve gate.

  • Afhandeling van ontbrekende modaliteiten: Als een modaliteit niet beschikbaar is voor een specifieke corpus of utterance (bijv. video voor TESS of EMO-DB), wijst de gate $-\infty$ logits toe aan elk paar-vector dat afhankelijk is van die ontbrekende modaliteit. Dit zorgt ervoor dat de onbeschikbare pair exact nul gewicht krijgt na de softmax-operatie, in plaats van te vertrouwen op impliciete herverdeling.
  • Modality Dropout: Tijdens de training wordt een willekeurig gekozen beschikbare modaliteit met een kans van $p=0.15$ gemaskeerd om ervoor te zorgen dat de gate leert om gewichten robuust te herverdelen, zelfs wanneer een normaal beschikbare modaliteit afwezig is tijdens de testfase.

• Trainingsstrategie:
  Het model hanteert een tweefasig protocol:

1. Pretraining: Gezamenlijke training op de samengevoegde zes-corpus dataset om gedeelde akoestische en fusieparameters te leren.
2. Fine-tuning: Low-Rank Adaptation (LoRA) wordt toegepast op de query en value projectie matrices van de Wav2Vec 2.0, XLM-R en cross-attention blokken (rank $r=8$, schaling $\alpha=16$). Alle andere backbone parameters blijven bevroren, waarbij een trainbaar parameterbudget van ongeveer 0,5–1% van het volledige model wordt nagestreefd.

Evaluatieprotocol
Het artikel definieert een rigoureus, vier-regime evaluatieprotocol om generalisatie te testen:

1. Binnen-Corpus: Spreker-onafhankelijke 5-voudige cross-validatie (2-voudige voor TESS vanwege slechts 2 sprekers).
2. Pooled-Multilingual: 5-voudige CV over de geharmoniseerde zes-corpus set.
3. Leave-One-Corpus-Out (LOCO): Training op vijf corpora en testen op de zesde om cross-corpus generalisatie te meten.
4. Leave-One-Language-Out (LOLO): Training op twee talen en testen op de derde om cross-linguale transfer te meten.

De metrieken omvatten Accuracy, Precision, Recall, F1, ROC-AUC, Matthews Correlation Coefficient (MCC) en Cohen's Kappa.

Resultaten en Empirische Status
Het artikel vermeldt expliciet dat de volledige empirische training nog niet is voltooid. Vanwege een gebrek aan GPU-toegang en de beschikbaarheid van brondatasets in de auteuromgeving op het moment van schrijven, worden er geen gemeten nauwkeurigheidscijfers of prestatieresultaten gerapporteerd.

Het manuscript presenteert de architectuur, een gecorrigeerde wiskundige formulering en een volledig gespecificeerd evaluatieprotocol. Het positioneert de voorgestelde methode ten opzichte van eerder werk (bijv. MemoCMT, CNN-LSTM hybriden) in termen van architecturale scope (tri-modal, bidirectioneel, missing-modality aware), maar claimt geen superieure prestaties, aangezien de empirische validatie is geïdentificeerd als de directe volgende stap.

Significantie en Bijdragen
De auteurs positioneren de significantie van dit werk niet in de uitvinding van cross-attention of adaptieve gating afzonderlijk—beide zijn reeds aangetoond in eerdere twee-modaliteit of unimodale settings—maar in hun gezamenlijke instantiatie voor een tri-modale, meertalige context.

De belangrijkste bijdragen zijn:

1. Tri-Modale Bidirectionele Fusie: Een wiskundig consistente formulering voor zes-directionele cross-attention die dimensionaliteitsverschillen tussen variabel-lengte sequenties oplost.
2. Expliciete Afhandeling van Ontbrekende Modaliteiten: Een gating mechanisme dat de uitsluiting van onbeschikbare modaliteit-paren garandeert via masking, in plaats van uit te gaan van impliciete herverdeling.
3. Parameter-Efficiënte Multilinguale Adaptatie: Een specifiek LoRA-gebaseerd fine-tuning protocol ontworpen om laag-resource talen (Duits, Italiaans) naast Engels te behandelen zonder massieve backbones opnieuw te trainen.
4. Omvattend Evaluatieontwerp: Een vier-regime protocol dat binnen-corpus prestaties scheidt van cross-corpus en cross-linguale generalisatie, waarmee een gat in de literatuur wordt gedicht waar evaluatie vaak deze verschillende capaciteiten samenvoegt.

Het artikel concludeert met een overzicht van toekomstig werk, waaronder het uitbreiden van de taaldekking naar typologisch verschillende low-resource talen, modelcompressie voor on-device inferentie, fairness auditing, en het uitbreiden van het framework naar continue regressietaken.