Technische Samenvatting: CONFER

Probleemstelling

Multimodale Emotieherkenning (MER) vertrouwt traditioneel op zelfgerapporteerde valentie- en arousal-scores als grondwaarheid-supervisie. Het paper betoogt echter dat deze labels inherent onbetrouwbare "zwakke observaties" zijn vanwege individuele beoordelingsgewoonten, cognitieve vooroordelen, geheugenverstoringen en de experimentele context. Bovendien negeren bestaande methoden vaak cross-modale conflicten—onenigheid tussen voorspellingen van verschillende modaliteiten (bijv. gezicht, audio, fysiologie).

Huidige benaderingen pakken modaliteit-heterogeniteit doorgaans aan via aandachtmechanismen of gating, maar dwingen conflicten af via fusiegewichten zonder te bepalen welke modaliteit welke andere moet beïnvloeden voor een specifieke sample. Vergelijkbaar hiermee schatten methoden voor zwakke labels de betrouwbaarheid van supervisie in op basis van globale statistieken of betrouwbaarheidsscores, waarbij ze falen om de paarwijze overeenstemming en het conflict tussen modaliteit-specifieke voorspellingen te benutten. Dit gebrek aan verbinding verhindert een efficiënte orchestratie van informatieoverdracht en robuust leren van ruisende zelfrapportages.

Methodologie: CONFER-framework

De auteurs stellen CONFER voor (Conflict-Aware Evidence Negotiation for Regime-Calibrated Weak Supervision), een verenigd graafgebaseerd framework dat modaliteitsexperts modelleert als knopen in een dynamische onderhandelingsgraaf. Het framework werkt in drie hoofdfases:

1. Constructie van Modaliteitsexperts

Elke modaliteit wordt behandeld als een onafhankelijke expert.

• Representatie: Encoders mappen temporele vensters naar embeddings. Een constructor aggregeert deze tot trial-niveau representaties met behulp van global mean pooling, sparse top-$k$ attention en temporele dispersie.
• Bewijsgeneratie: Elke expert produceert een voorspellend geloof ($\mu$) en een grensgebaseerde onzekerheidsscore ($u$), waarbij de onzekerheid toeneemt naarmate de voorspelling de beslissingsgrens nadert.
• Runtime Betrouwbaarheid: Betrouwbaarheid ($c$) wordt geschat door historische Out-of-Fold (OOF) prestaties te combineren met de huidige sample-onzekerheid. Dit zorgt ervoor dat betrouwbaarheid sample-specifiek is in plaats van statisch.

2. Conflict-bewuste Bewijsonderhandeling

Experts interageren via een dynamische graaf om conflicten iteratief op te lossen.

• Knoopstatus: Gedefinieerd door voorspellend geloof, onzekerheid en runtime betrouwbaarheid.
• Compatibiliteit & Randgewichten: Paarwijze compatibiliteit ($A_{mn}$) wordt berekend op basis van voorspellingsverschillen genormaliseerd door onzekerheid. Hoge onenigheid tussen zelfverzekerde experts leidt tot lage compatibiliteit.
• Asymmetrische Berichtoverdracht: Compatibiliteit wordt omgezet in ontvanger-specifieke directionele randgewichten ($\gamma_{m \leftarrow n}$). Dit maakt het mogelijk dat betrouwbare zenders invloed uitoefenen op minder betrouwbare ontvangers, terwijl de betrouwbaarheid van de ontvanger bepaalt hoeveel deze toegeeft aan inkomende informatie.
• Iteratie: Het proces doorloopt twee rondes ($\mu^{(0)} \to \mu^{(1)} \to \mu^{(2)}$), waarbij geloven worden bijgewerkt op basis van door peers ondersteunde aggregatie.

3. Regime-gekalibreerde Zwakke Supervisie

De uitkomst van de onderhandeling karakteriseert de sample in een van de drie regimes om de loss-functie te kalibreren:

• Consensus: Hoge overeenstemming en resterend laag conflict.
• Dissent (Meningsverschil): Aanhoudende onenigheid na onderhandeling.
• Ambiguïteit: Hoge algehele onzekerheid.
• Sample Weging: De afgeleide regime-kansen bepalen het gewicht ($\omega_i$) van de bijdrage van elke sample aan de zwakke-label loss. Samples in het "Consensus"-regime ontvangen het volledige gewicht, terwijl "Dissent" en "Ambiguïteit" samples worden lager gewogen (maar niet weggegooid) om te voorkomen dat het model overfit op onbetrouwbare supervisie.

Het framework wordt getraind in drie fasen: (A) het trainen van encoders voor initiële geloven, (B) OOF-kalibratie om betrouwbaarheidspriors en regime-coëfficiënten te schatten, en (C) gezamenlijke optimalisatie van de onderhandelingsmodule en de voorspellings-readout.

Belangrijkste Bijdragen

1. Verenigd Framework: CONFER integreert modaliteit-betrouwbaarheidsschatting, cross-modale onderhandeling en zwakke-label kalibratie in één enkel graafgebaseerd architectuur.
2. Dynamisch Onderhandelingsmechanisme: Het introduceert een methode om onzekerheidsbewuste compatibiliteit om te zetten in betrouwbaarheid-gestuurde, asymmetrische berichtoverdracht, waardoor cross-modaal conflict zowel de expert-coördinatie als de supervisie-betrouwbaarheidsschatting kan sturen.
3. Regime-gebaseerde Kalibratie: Door Consensus, Dissent en Ambiguïteit te definiëren, past de methode de bijdrage van zwakke labels dynamisch aan op basis van sample-specifieke conflictresolutie, in plaats van alle labels als even betrouwbaar of onbetrouwbaar te behandelen.

Experimentele Resultaten

De auteurs evalueerden CONFER op drie benchmarks: AMIGOS, MAHNOB-HCI en DEAP, met behulp van zowel subject-afhankelijke 10-voudige cross-validatie als strikte Leave-One-Subject-Out (LOSO) protocollen.

• Prestaties: CONFER behaalde competitieve resultaten, met name een nauwkeurigheid van 0,873 en 0,879 F1 op AMIGOS-V (Valence) en een nauwkeurigheid van 0,854 op MAHNOB-V onder strikte LOSO-evaluatie, waarmee het baselines zoals Late Fusion, TFN, MISA en diverse Expert Routing (MoE) methoden overtrof.
• Robuustheid: Het model vertoonde superieure robuustheid tegen synthetische zwakke-label corruptie. Onder 30% symmetrische labelcorruptie behield CONFER een nauwkeurigheid van 0,723, wat aanzienlijk beter is dan de baselines.
• Conflict-analyse: Ablatie-studies bevestigden dat het verwijderen van onderhandeling, zender-betrouwbaarheid of ontvanger-toegeving de prestaties verslechterde. Analyse toonde aan dat onderhandeling de grootste winsten oplevert (5,4–8,9 punten) op hoog-conflict samples, waarbij foutieve voorspellingen veel vaker worden gecorrigeerd dan dat het correcte voorspellingen verstoort.
• Supervisie Detectie: De afgeleide conflictregimes (Consensus, Dissent, Ambiguïteit) bleken effectieve indicatoren te zijn van supervisie-inconsistentie, waarbij ze voorspellende entropie overtroffen bij het detecteren van onbetrouwbare labels.

Betekenis en Claims

Het paper claimt dat CONFER aantoont dat cross-modaal conflict niet louter een bron van fouten is, maar een nuttig informatiesignaal. Door de onderhandeling tussen modaliteiten expliciet te modelleren, kan het framework:

1. Modaliteiten Coördineren: Expert-voorspellingen selectief bijwerken op basis van relatieve betrouwbaarheid en compatibiliteit, in plaats van een uniforme fusie af te dwingen.
2. Supervisie-betrouwbaarheid Schatten: De resolutie (of het gebrek daaraan) van cross-modaal conflict gebruiken om de betrouwbaarheid van zelfgerapporteerde labels op een per-sample basis te kalibreren.

De auteurs concluderen dat hun aanpak een robuustere mechanisme biedt voor leren van zwakke supervisie in multimodale settings, vooral wanneer men te maken heeft met de inherente onbetrouwbaarheid van zelfgerapporteerde emotionele toestanden en de heterogeniteit van sensorische data.