Technische Samenvatting: ADMC – Attention-gebaseerd Diffusiemodel voor het Voltooien van Ontbrekende Modaliteiten

Probleemstelling

Multimodale emotie- en intentieherkenning is cruciaal voor geautomatiseerde mens-computerinteractie en vertrouwt op de fusie van spraak, tekst en visuele gegevens. Echter, in de praktijk krijgt men bij real-world toepassingen vaak te maken met ontbrekende modaliteiten als gevolg van sensorstoringen, incomplete gegevensverzameling, fouten in spraakherkenning, stilte van de gebruiker of visuele obstructie.

Bestaande benaderingen voor dit probleem kampen met twee primaire beperkingen:

1. Over-koppeling (Over-coupling): Traditionele methoden trainen vaak de extractie- en classificatienetwerken gezamenlijk. Dit creëert sterke afhankelijkheden tussen modaliteiten, wat leidt tot een scherpe daling in prestaties wanneer specifieke modaliteiten ontbreken.
2. Imprecieze Generatie: Huidige reconstructietechnieken (bijv. eenvoudige zero-padding, low-rank imputatie of standaard autoencoders) slagen er vaak niet in om ontbrekende kenmerken te genereren die overeenkomen met de authentieke multimodale feature-distributie, wat leidt tot suboptimale herkenningsresultaten.

Methodologie

De auteurs stellen ADMC (Attention-based Diffusion model for Missing modalities feature Completion) voor, een framework dat is ontworpen om de feature-extractie te ontkoppelen van de generatie en classificatie om modaliteit-specifieke kenmerken te behouden terwijl ontbrekende gegevens nauwkeurig worden gereconstrueerd. De methode werkt in drie afzonderlijke stadia:

1. Onafhankelijke Modaliteit-specifieke Feature-extractie

Om over-koppeling te voorkomen, traint ADMC onafhankelijk van elkaar de feature-extractienetwerken voor elke modaliteit (Akoestisch, Visueel, Tekstueel) met behulp van single-modality classificatie taken.

• Mechanisme: Netwerken ($Enc_a$, $Enc_v$, $Enc_t$) worden afzonderlijk getraind en zijn vastgesteld na training.
• Doel: Dit behoudt de unieke kenmerken van elke modaliteit, waardoor de representatie van een beschikbare modaliteit robuust blijft, zelfs wanneer andere afwezig zijn.

2. Attention-gebaseerd Diffusienetwerk (ADN)

De kern van het generatieve component is de ADN, die opereert in de latente ruimte van full-modality features om ontbrekende modaliteit-features te genereren.

• Forward Proces: Multimodale features worden geleidelijk gecorrumpeerd door over $N$ stappen Gaussische ruis toe te voegen. Een multi-head self-attention netwerk voorspelt de toegevoegde ruis bij elke stap om inter-modale afhankelijkheden te vangen.
• Reverse Proces: Startend vanaf ruis, denoiset het netwerk om de volledige feature set te reconstrueren. Cruciaal is dat tijdens de inferentie, de bekende (beschikbare) modaliteiten gemaskeerd en behouden worden ($F_o$), terwijl de ontbrekende delen worden gegenereerd ($F_{tva}$).
• Vergelijking: De reverse stap werkt de latente representatie bij door de gedenoised output te combineren met de ground-truth beschikbare modaliteiten met behulp van een masker $m$:
  $$F^{n-1}_{tva} = m \odot F^{n-1}_{o} + (1 - m) \odot F^{n-1}_{tva}$$

3. Modality Completion en Enhancement

Het framework adresseert twee scenario's:

• Scenario met Ontbrekende Modaliteit: Ontbrekende features worden vervangen door Gaussische ruis en gereconstrueerd via de ADN.
• Scenario met Volledige Modaliteit (MMER): De auteurs introduceren een MultiModal Enhancement Recognition (MMER) methode. Zelfs wanneer alle modaliteiten aanwezig zijn, wordt de ADN gebruikt om cross-modale features te genereren (bijv. het genereren van tekstuele features vanuit audio en visuele inputs). Deze gegenereerde features worden samengevoegd met de originele features om aanvullende aanwijzingen te bieden, wat de uiteindelijke herkenning verbetert.

4. Multimodale Feature Fusie (MF)

Een apart Multimodal Fusion netwerk, specifiek getraind voor elk scenario met ontbrekende modaliteiten, aggregeert de features. Het maakt gebruik van een self-attention mechanisme om modaliteit-gewichten te berekenen en voert een gewogen aggregatie uit, gevolgd door mean pooling om de uiteindelijke classificatievoorspelling te produceren.

Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van ADMC, dat onafhankelijk getrainde feature-extractienetwerken integreert met een attention-gebaseerd diffusiemodel om ontbrekende modaliteiten te behandelen.
2. ADN Architectuur: Voorstel van een Attention-based Diffusion Network dat inter-modale afhankelijkheden vangt via self-attention, waardoor ontbrekende features worden gegenereerd die nauw aansluiten bij authentieke multimodale distributies.
3. Prestaties in Dual-Scenario: Demonstratie dat de methode niet alleen uitblinkt in scenario's met ontbrekende modaliteiten, maar ook de prestaties in volledige modaliteitscontexten verbetert door cross-modale generatie (MMER).
4. State-of-the-Art Resultaten: Validatie op standaard benchmarks die significante verbeteringen laten zien ten opzichte van bestaande methoden.

Experimentele Resultaten

De methode werd geëvalueerd op de IEMOCAP (emotieherkenning) en MIntRec (intentieherkenning) datasets.

• Prestatiewinst:
  • IEMOCAP: Behaalde een gemiddelde verbetering van 1,9% in Weighted Accuracy (WA) ten opzichte van vorige state-of-the-art methoden.
  • MIntRec: Behaalde een gemiddelde verbetering van 9,4% in WA.
• Vergelijking: ADMC presteerde beter dan methoden gebaseerd op Autoencoders (CRA), Cycle Consistency (MMIN, IF-MMIN) en andere diffusie-gebaseerde benaderingen (IMDer).
• Ablatie studies:
  • Het verwijderen van onafhankelijke training (w/o ITFN) veroorzaakte prestatiedalingen, wat bevestigt dat gezamenlijke training leidt tot over-koppeling.
  • Het verwijderen van het diffusienetwerk (w/o ADN) en het gebruiken van zero-padding resulteerde in significante degradatie, wat de noodzaak van generatieve reconstructie bewijst.
  • Het vervangen van het self-attention mechanisme door een standaard U-Net (w/ U-Net) leverde lagere prestaties op, wat het belang van expliciete cross-modale afhankelijkheidsmodellering benadrukt.
• Robuustheid: Onder variërende ontbrekende ratio's ($p \in 0.1$ tot $0.5$), behield ADMC de hoogste prestaties en ondervond de minste degradatie vergeleken met de baselines.
• Efficiëntie: Hoewel diffusiemodellen extra inferentietijd toevoegen, merken de auteurs op dat met 1.000 stappen de latentie ongeveer 50ms per sample is op een RTX 4090. Ze suggereren dat acceleratietechnieken (bijv. DDIM) de stappen kunnen reduceren naar 50–100 met verwaarloosbaar prestatieverlies.

Betekenis en Claims

Het artikel claimt dat ADMC het fundamentele probleem van over-koppeling in multimodale leerprocessen aanpakt door de feature-extractie te ontkoppelen van de generatie- en fusieprocessen. Door de unieke kenmerken van individuele modaliteiten te behouden en een diffusiemodel te gebruiken dat door self-attention wordt gestuurd om ontbrekende gegevens te reconstrueren, bereikt het framework robuuste prestaties in zowel incomplete als volledige datascenario's.

De auteurs benadrukken dat hun aanpak een state-of-the-art oplossing biedt voor het voltooien van ontbrekende modaliteiten, wat een praktisch pad biedt voor geautomatiseerde mens-computerinteractiesystemen die opereren in real-world, imperfecte datamgevingen. Ze bevatten ook een verklaring over verantwoorde innovatie, waarbij ze potentiële biases in emotieherkenning erkennen en het instrument positioneren als een beslissingsondersteunend systeem dat menselijk toezicht vereist.