Robust Audio-Visual Target Speaker Extraction with Emotion-Aware Multiple Enrollment Fusion

Dit artikel presenteert een robuuste emotion-bewuste methode voor audio-visuele sprekerextractie die, door te trainen met een hoge mate van ontbrekende modaliteiten, stabiele prestaties behoudt bij testtijd-uitval van signalen en zo de uitdagingen van de cocktailparty-situatie effectief aanpakt.

De kern

Stel je voor dat je op een drukke feestzaal bent, vol met mensen die tegelijkertijd praten, lachen en muziek draait. Dit is wat experts de "cocktailparty-effect" noemen. Je hersenen zijn geweldig in het filteren van al dat lawaai om precies naar één persoon te luisteren. Maar voor computers is dit een enorme uitdaging.

Deze paper beschrijft een slimme nieuwe manier om computers te leren doen wat onze hersenen doen: de stem van één specifieke persoon eruit halen uit een chaos van geluid.

Hier is hoe ze dat doen, vertaald in begrijpelijke taal:

1. Het Probleem: De "Blinde" Luisteraar

Om de juiste stem te vinden, kijken computers vaak naar twee dingen:

• Geluid: De stem van de persoon die je wilt horen.
• Beeld: De lippenbewegingen en het gezicht van die persoon.

Het probleem is dat in de echte wereld niet alles perfect is. Soms bedekt iemand zijn mond, draait hij zijn hoofd weg, of valt de camera even uit. Als een computer alleen kijkt naar de lippen (het beeld), en die lippen zijn even niet zichtbaar, raakt de computer in paniek en stopt hij met luisteren. Het is alsof je probeert een gesprek te volgen met iemand die plotseling een doek voor zijn mond houdt; je raakt de draad kwijt.

2. De Oplossing: Een Team van Detectives

De auteurs van dit paper zeggen: "Laten we niet vertrouwen op één detective, maar een heel team inzetten." Ze combineren vier verschillende soorten informatie (cues) om de persoon te herkennen:

1. Lippen: Wat zie je bewegen? (Dit werkt goed, maar is kwetsbaar als de mond bedekt is).
2. Gezicht: Een foto van het gezicht (bijvoorbeeld een pasfoto). Dit vertelt de computer wie de persoon is, maar niet wat hij nu zegt.
3. Gezichtsuitdrukking: Is hij boos, blij of verbaasd? (Dit helpt bij de context).
4. Stemprofiel: Een korte opname van hoe die persoon normaal klinkt.

3. De Slimme Truc: Oefenen met "Ruil"

Het grootste inzicht in dit onderzoek is hoe ze de computer trainen.

• De oude manier: Je traint een computer met perfecte video en audio. Als je hem dan in de echte wereld zet (waar video soms wegvalt), faalt hij. Het is alsof je een atleet traint op een perfect vlak veld, en hem dan laat rennen in modder.
• De nieuwe manier: De auteurs trainen hun computer expres met veel storingen. Ze laten tijdens de training 80% van de beelden verdwijnen (alsof de camera vaak uitvalt). Ze dwingen de computer om te leren: "Oké, ik zie geen lippen meer? Geen probleem, ik gebruik dan mijn herinnering aan het gezicht en de stem om verder te gaan."

Dit is als een atleet die traint met zware gewichten. Als hij die gewichten later afzet, voelt hij zich lichter en sneller dan ooit.

4. Het Resultaat: De "Gezicht + Lippen" Combinatie

Ze ontdekten dat de beste combinatie is om één foto van het gezicht te combineren met de bewegende lippen.

• De foto zorgt voor de basisidentiteit (wie is het?).
• De lippen zorgen voor de actuele beweging (wat zegt hij?).

Zelfs als de lippen even bedekt zijn, weet de computer door de foto nog steeds wie hij moet zoeken. Zelfs als de foto even niet beschikbaar is, kan hij de lippen gebruiken. Ze vullen elkaar aan als een goed team.

Samenvatting in één zin

Dit onderzoek laat zien dat als je computers traint om te werken met "gebroken" informatie (waar beelden soms weg zijn), ze veel robuuster worden en beter kunnen luisteren in een drukke, chaotische wereld dan systemen die alleen zijn getraind op perfecte data.

Het is de digitale versie van: "Als je niet kunt zien wat iemand zegt, luister dan naar zijn stem en onthoud hoe hij eruitziet, zodat je niet de draad kwijtraakt."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Robust Audio-Visual Target Speaker Extraction with Multiple Enrollment Fusion" in het Nederlands.

Probleemstelling

Audio-Visuele Doel-Spreker Extractie (AVTSE) is cruciaal voor het isoleren van een specifieke stem in een luidruchtige omgeving (het "cocktailparty-effect"). Bestaande methoden maken vaak gebruik van frame-niveau visuele cues (zoals lipbewegingen) en utterance-niveau cues (zoals een statisch gezicht of stemprofiel).
Het hoofdprobleem dat dit paper adresseert, is de kwetsbaarheid van deze systemen in realistische scenario's. Frame-niveau cues (bijvoorbeeld lipbewegingen) zijn gevoelig voor onderbrekingen, gezichtsbedekking (occlusie) of signaalverlies. Wanneer deze cues tijdens het testen ontbreken, degradeert de prestatie van modellen die zijn getraind op perfecte data drastisch. Bestaande oplossingen focussen vaak op het compenseren van ontbrekende frames of simpele occlusiescenarios, maar onderzoeken niet systematisch de robuustheid van het fuseren van meerdere inschrijvingsmodaliteiten (multi-enrollment fusion) onder variërende mate van modality-missing.

Methodologie

Het paper stelt een nieuw AVTSE-systeem voor dat gebruikmaakt van meerdere inschrijvingsfusie (multiple enrollment fusion). De architectuur (zie Figuur 1 in het paper) bestaat uit de volgende componenten:

1. Encoder-decoder structuur:

   • Een spraakencoder die het gemengde signaal omzet naar een complex spectrogram via STFT.
   • Een decoder die het geschatte spectrogram terugzet naar een golfvorm via iSTFT.
   • Een separator backbone met zes TFGridBlock-modules (bevat intra-frame, sub-band temporele en cross-frame self-attention modules).

2. Meerdere Target Speaker Encoders (Cues):
   Het systeem integreert vier soorten cues om de spreker te karakteriseren:

   • Utterance-niveau (Statisch):
     • Inschrijvingsspraak (Enrollment Speech): Gebruikt een USEF-blok met cross-attention om stemkarakteristieken uit een referentie-opname te halen.
     • Gezicht (Face): Gebruikt InceptionResNetV1 om een statisch gezichtsfoto te verwerken.
   • Frame-niveau (Dynamisch):
     • Lippen (Lip): Gebruikt een pre-getraind ResNet-18 model voor lip-reading.
     • Expressie (Expression): Gebruikt ResEmoteNet om gezichtsuitdrukkingen te extraheren, gebaseerd op de hypothese dat paralinguïstische informatie (emotie) context biedt.

3. Fusie en Attractors:

   • Visuele embeddings (lip, gezicht, expressie) worden eerst verwerkt door een Visual Temporal Convolutional Network (V-TCN) attractor om ze naar een uniforme vorm te projecteren.
   • Alle cues worden kanaalsgewijs (channel-wise) geconcateneerd met het spectrogram en door een 2D-convolutielaag gevoerd voordat ze de separator ingaan.

4. Trainingsstrategie voor Robuustheid:
   Het kernpunt van de methode is een specifieke trainingsstrategie waarbij het model wordt blootgesteld aan extreme occlusie (tot 80% van de frames worden gemaskeerd/verwijderd) tijdens het trainen. Hierdoor leert het model niet afhankelijk te zijn van een volledige set van frame-niveau cues, maar om effectief te werken met wat er beschikbaar is.

Belangrijkste Bijdragen

• Systematisch Onderzoek naar Modality Missing: Het paper analyseert voor het eerst systematisch hoe verschillende combinaties van cues (lip, gezicht, expressie, spraak) presteren onder variërende graden van ontbrekende data tijdens het testen.
• Trainen met Hoge Occlusie: Het demonstreert dat trainen met een hoge missing-rate (80%) de robuustheid van het model drastisch verbetert, waardoor het stabiele prestaties behoudt zelfs bij zware ontbrekende cues tijdens het testen.
• Optimale Cues-Combinatie: Het identificeert dat het fuseren van één frame van een gezichtsfoto (utterance-niveau) met frame-niveau lipkenmerken de beste balans biedt tussen prestatie en robuustheid. Expressie-embeddings bleken binnen dit framework minder waardevol dan statische gezichtsinformatie.
• Open Source: Het model en de code zijn gedeeld voor reproducibiliteit.

Resultaten

De experimenten zijn uitgevoerd op de AVSEC-3 dataset (Audio-Visual Speech Enhancement Challenge).

• Prestaties onder ideale omstandigheden (0% occlusie):
  Een systeem dat alle vier de cues combineert, behaalt de beste resultaten. Het toevoegen van spraak- en gezichtscues verbetert de prestaties aanzienlijk ten opzichte van alleen lippen.
• Robuustheid bij Occlusie (Testen met 40% en 80% missing data):
  • Zonder occlusie-trainen: Modellen die zonder occlusie zijn getraind, zien hun prestaties (SISDR, PESQ, STOI) instorten bij 80% occlusie tijdens het testen (bijv. SISDR daalt van ~12.9 naar ~3.0 voor lip-only).
  • Met occlusie-trainen (80%): Modellen die zijn getraind met hoge occlusie, behouden hun prestaties bijna volledig. Bij 80% test-occlusie blijft de SISDR voor het lip-only model rond de 12.0, en voor het gecombineerde model zelfs hoger.
• Vergelijking met State-of-the-Art (SOTA):
  Op de AVSEC-3 leaderboard en dev-set presteert het voorgestelde "Lip-Face" systeem zeer competitief. Het behaalt vergelijkbare of betere scores in SISDR en STOI ten opzichte van andere toonaangevende systemen (zoals SAV-GridNet en AV-CrossNet), met name in de context van robuustheid tegen ontbrekende data.

Betekenis en Conclusie

Dit paper benadrukt dat voor praktische AVTSE-toepassingen robustheid tegen signaalverlies belangrijker is dan maximale prestatie onder ideale omstandigheden.
De belangrijkste conclusie is dat het trainen van modellen met zware data-ontbreking (high missing rate) essentieel is om real-world bruikbaarheid te garanderen. Daarnaast toont het aan dat een simpele maar effectieve strategie is om een statische gezichtsfoto (die makkelijk te verkrijgen is) te combineren met dynamische lipbewegingen. Dit creëert een systeem dat zowel sterk presteert als bestand is tegen de onvolkomenheden van de echte wereld, zoals bedekte gezichten of onderbroken video.