Addressing Missing and Noisy Modalities in One Solution: Unified Modality-Quality Framework for Low-quality Multimodal Data

Dit artikel introduceert het Unified Modality-Quality (UMQ)-kader, dat een gezamenlijke aanpak biedt voor het verwerken van zowel ontbrekende als ruisachtige modaliteiten in multimodale affectieve computing door middel van een kwalitatieve schatter, een kwaliteitsverbeteraar en een kwaliteitsbewuste mixture-of-experts-module, waardoor de modelrobustheid aanzienlijk wordt verhoogd ten opzichte van bestaande methoden.

De kern

Stel je voor dat je een gesprek hebt met een vriend, maar de telefoon heeft een slechte verbinding. Soms valt het geluid weg (dat is een ontbrekende modality), en soms klinkt je vriend alsof hij in een storm staat of door een ruisende radio spreekt (dat is een ruisende modality).

In de echte wereld werken computers met "multimodale data" precies zo. Ze kijken naar tekst, geluid en beelden tegelijk om te begrijpen hoe iemand zich voelt (bijvoorbeeld: is hij blij, boos of sarcastisch?). Maar net als bij je slechte telefoonverbinding, zijn deze data vaak imperfect: beelden zijn wazig, audio is ruisend, en soms mist een deel van de informatie helemaal.

De meeste oude computersystemen behandelen deze twee problemen apart. Ze hebben één speciale module voor het opvullen van ontbrekende stukjes en een andere voor het filteren van ruis. De auteurs van dit paper zeggen echter: "Waarom twee aparte teams hebben als we één super-team kunnen bouwen?"

Hier is een uitleg van hun oplossing, UMQ, in simpele taal met een paar creatieve vergelijkingen:

1. Het Grote Idee: Één Team voor Alle Problemen

De auteurs zien "ruis" en "ontbrekende data" eigenlijk als hetzelfde probleem: slechte kwaliteit. Of het nu een wazig beeld is of een volledig zwart scherm, voor de computer is het allemaal "slecht materiaal".

Ze bouwen daarom een Unificatie Framework (een alles-in-één systeem) dat beide problemen tegelijk aanpakt. In plaats van te proberen het gebroken glas te plakken en het vuile glas te wassen als twee aparte taken, maken ze een systeem dat het glas eerst beoordeelt en dan direct verbetert.

2. De Drie Helden van het Team

Het systeem werkt met drie hoofdonderdelen, die we kunnen vergelijken met een professioneel productieteam:

A. De Kwaliteitscontroleur (De "Smaaktest")

Stel je een kok voor die net een nieuwe soep heeft gemaakt. Voordat hij hem serveert, proeft hij eerst.

• Hoe het werkt: Het systeem heeft een "kwaliteitsschatter". Deze kijkt naar elke data-stroom (tekst, geluid, beeld) en geeft een cijfer: "Is dit goed of slecht?"
• De slimme truc: In plaats van te zeggen "Dit is een 8/10" (wat lastig is om precies te meten), leert het systeem door vergelijkingen. Het zegt: "Deze tekst is duidelijk beter dan die ruisende tekst." Door te leren wie er "beter" is dan wie, wordt het systeem veel slimmer in het detecteren van kwaliteit zonder dat het perfecte cijfers nodig heeft.

B. De Restaurator (De "Schoonmaak- en Herstel-Expert")

Nu de kwaliteitsschatter weet wat er mis is, komt de restaurator in actie.

• Het probleem: Als je een foto probeert te repareren door alleen te kijken naar de rest van de foto, krijg je vaak een vaag, onherkenbaar plaatje. Je mist de specifieke details van dat ene gezicht.
• De oplossing: De restaurator gebruikt twee soorten informatie:
  1. Specifieke info van de andere zintuigen: Als het beeld wazig is, kijkt hij naar wat de tekst zegt ("Hij lacht") om het beeld te helpen.
  2. Een "Standaardmodel" (De Baseline): Dit is het geniale deel. Het systeem heeft een soort "ideale versie" van elk type data onthouden (bijvoorbeeld: hoe ziet een normaal menselijk gezicht er gemiddeld uit?). Als een beeld ruisend is, vult de restaurator de gaten op met deze "ideale versie", maar dan aangepast aan de specifieke situatie.
  • Vergelijking: Het is alsof je een beschadigde tekening probeert te herstellen. Je kijkt niet alleen naar de rest van de tekening, maar je gebruikt ook je kennis van hoe een mens er normaal uitziet om de ontbrekende neus of ogen logisch weer in te vullen.

C. De Regisseur (De "Expert-Router")

Stel je een ziekenhuis voor met verschillende specialisten: een oogarts, een hartchirurg en een neuroloog. Als een patiënt binnenkomt met een oogprobleem, wil je niet dat de hartchirurg hem behandelt.

• Hoe het werkt: Omdat er zoveel combinaties mogelijk zijn (slechte tekst + goed geluid, of goed beeld + geen geluid, etc.), heeft het systeem een Mix van Experts.
• De slimme routering: Er is een "regisseur" die kijkt naar de kwaliteit van de data en de patiënt direct doorstuurt naar de juiste specialist. Als de tekst ruisend is, gaat het naar de expert die goed is in het omgaan met ruisende tekst. Als het geluid ontbreekt, gaat het naar de expert die gewend is om zonder geluid te werken.
• Dit zorgt ervoor dat het systeem niet één "algemene" oplossing probeert voor alles, maar voor elke specifieke situatie de perfecte specialist kiest.

3. Waarom werkt dit zo goed?

In de tests hebben ze dit systeem getest op verschillende moeilijke scenario's:

• Volledige data: Zelfs als alles perfect is, werkt het systeem beter dan de concurrenten omdat het de data eerst "opkrikt" naar een nog hogere kwaliteit.
• Ontbrekende data: Als een camera uitvalt, vult het systeem de gaten in met slimme schattingen.
• Ruisende data: Als er achtergrondgeluid is of een wazige camera, filtert het systeem de ruis eruit en herstelt het de details.

Conclusie

Kortom, UMQ is als een super-georganiseerd team dat nooit in paniek raakt als de kwaliteit van de input zakt. In plaats van te klagen over de slechte verbinding of het gebroken glas, hebben ze een systeem dat:

1. Snel inschat hoe slecht de situatie is.
2. Slimme schattingen maakt om de gaten op te vullen.
3. De juiste specialisten inschakelt voor elk specifiek probleem.

Hierdoor blijft de computer "slim" en betrouwbaar, zelfs in de rommeligste, realistische werkelijkheid waar data zelden perfect is.

Technische samenvatting

Probleemstelling

In real-world scenario's is multimodale data (bijv. tekst, audio, video) vaak van lage kwaliteit. Dit manifesteert zich voornamelijk op twee manieren:

1. Ontbrekende modaliteiten (Missing Modalities): Gegevens ontbreken volledig door sensorstoringen, apparatuurfalen of communicatieproblemen.
2. Ruizige modaliteiten (Noisy Modalities): Gegevens zijn aanwezig maar vervuild door achtergrondinterferentie, sensoronnauwkeurigheden of transmissie-artefacten.

Bestaande onderzoeken behandelen deze twee problemen vaak gescheiden. Dit beperkt de robuustheid en toepasbaarheid van modellen, aangezien beide problemen in de praktijk vaak gelijktijdig optreden. Het uitdaging is om een systeem te bouwen dat zowel ontbrekende als ruizige data kan verwerken zonder dat de prestaties van het model drastisch dalen.

Methodologie: Het UMQ Framework

De auteurs stellen UMQ (Unified Modality-Quality) voor, een raamwerk dat ontbrekende en ruizige modaliteiten behandelt als één unified "low-quality" probleem. Het framework bestaat uit drie kerncomponenten:

1. Kwaliteitsschatting met Rank-Guided Training (Quality Estimator)

In plaats van te vertrouwen op onnauwkeurige absolute kwaliteitslabels, traint UMQ een kwaliteitsschatter voor elke modality in een expliciet toezicht (supervised) proces.

• Rank-Guided Strategie: Omdat het bepalen van een absolute kwaliteitswaarde moeilijk is, gebruikt het model een rangschikkingsstrategie. Het vergelijkt de relatieve kwaliteit van verschillende representaties.
• Training: Het model leert dat representaties met een lagere voorspellingsfout (hoge kwaliteit) een hogere score moeten krijgen dan representaties met ruis of ontbrekende data (lage kwaliteit). Dit vermindert ruis in het trainingsproces veroorzaakt door imperfecte absolute labels.

2. Kwaliteitsverbetering (Quality Enhancer)

Om de kwaliteit van een enkele modality te herstellen, gebruikt de enhancer twee soorten informatie:

• Sample-specifieke informatie: Geleverd door andere modaliteiten (bijv. tekst helpt bij het herstellen van audio).
• Modality-specifieke informatie: Geleverd door een gedefinieerde modality baseline representation. Deze baseline vangt de globale verdeling en inherente eigenschappen van een specifieke modality (onafhankelijk van het specifieke voorbeeld).
• Decoupling: Het model splitst de input in "sample-specific" en "modality-specific" componenten via een decoupling-netwerk. De enhancer combineert deze met de baseline om een hogere kwaliteit representatie te genereren die zowel context als modality-essentie behoudt.

3. Modality-Quality Aware Mixture-of-Experts (MQ-MoE)

Aangezien er $2^{|M|}$ mogelijke combinaties zijn van hoge/lage kwaliteit voor elke modality (waarbij $|M|$ het aantal modaliteiten is), is een enkele predictor inefficiënt.

• Specialisatie: MQ-MoE gebruikt gespecialiseerde "expert" modules die elk een specifieke combinatie van modaliteitskwaliteit verwerken.
• Routing Mechanisme: Een router selecteert de juiste experts op basis van de geschatte kwaliteit van de input.
• Constraints: Er worden strakke beperkingen opgelegd (zoals $L_{same}$) om ervoor te zorgen dat samples met dezelfde kwaliteitsconfiguratie naar dezelfde experts worden gestuurd, terwijl verschillende configuraties verschillende experts activeren. Dit zorgt voor een zeer specifieke behandeling van elk type data-degradatie.

Belangrijkste Bijdragen

1. Unified Framework: De eerste aanpak die ontbrekende en ruizige modaliteiten gelijktijdig en uniform behandelt, wat de robuustheid in real-world scenario's aanzienlijk verbetert.
2. Rank-Guided Training: Een innovatieve trainingsstrategie voor de kwaliteitsschatter die gebruikmaakt van relatieve rangschikking in plaats van absolute labels, wat leidt tot nauwkeurigere kwaliteitsdetectie.
3. Informatie-gebaseerde Verbetering: De introductie van een "Quality Enhancer" die zowel sample-specifieke als modality-specifieke (baseline) informatie combineert, waardoor gegenereerde representaties niet alleen contextueel correct zijn maar ook de inherente kenmerken van de modality behouden.
4. MQ-MoE Architectuur: Een schaalbare architectuur die specifieke experts toewijst aan specifieke kwaliteitsproblemen, waardoor het systeem flexibel is voor complexe combinaties van ontbrekende en ruizige data.

Resultaten

UMQ is geëvalueerd op meerdere datasets voor sentimentanalyse (MSA), humorherkenning (MHD) en sarcasme-detectie (MSD), waaronder CMU-MOSI, CMU-MOSEI, CH-SIMS, UR-FUNNY en MUStARD.

• Volledige Modaliteiten: Zelfs met volledige data presteert UMQ state-of-the-art (SOTA), wat aantoont dat de kwaliteitsschatter en -verbeteraar ook nuttige representaties leren voor schone data.
• Ontbrekende Modaliteiten: Bij missingsnelheden van 10% tot 70% overtreft UMQ bestaande methoden (zoals GCNet, MMIN, MoMKE) consistent op alle datasets. Bijvoorbeeld, op CMU-MOSI verbeterde het de Acc7-score met 8,6 punten ten opzichte van GCNet.
• Ruizige Modaliteiten: Bij toevoeging van Gaussische ruis (tot 70%) behoudt UMQ stabiele prestaties en presteert het aanzienlijk beter dan concurrenten zoals C-MIB en Multimodal Boosting, vooral op de MAE (Mean Absolute Error) metric.
• Generalisatie: Het model toont ook robuustheid tegen onzichtbare ruissoorten (zoals Laplace-ruis en random erasing) die niet tijdens de training zijn gebruikt.

Betekenis en Impact

Dit paper biedt een fundamentele verschuiving in de aanpak van lage-kwaliteit multimodale data. Door ontbrekende en ruizige data niet als aparte problemen te zien, maar als een continuüm van "kwaliteitsdegradatie", biedt UMQ een robuuste oplossing voor real-world toepassingen waar data nooit perfect is. De combinatie van expliciete kwaliteitsmonitoring, herstel via baseline-informatie en gespecialiseerde experts maakt het framework zeer effectief voor emotionele computing en andere multimodale taken in onzekere omgevingen.