🤖 machine learning

CONFER: Conflict-Aware Evidence Negotiation for Regime-Calibrated Weak Supervision in Multimodal Emotion Recognition

Das Papier schlägt CONFER vor, ein graphbasiertes Framework, das kreuzmodale Konflikte verhandelt und schwache Supervision kalibriert, indem es die Zuverlässigkeit der Modalitäten dynamisch schätzt und Proben in Konsens-, Dissens- und Ambiguitätsregime kategorisiert, um eine robuste multimodale Emotionserkennung zu erreichen.

Ursprüngliche Autoren: Bojing Hou, Ruohao Li, Yitong Zhu, Luwen Yu, Yuyang Wang

Veröffentlicht 2026-08-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Bojing Hou, Ruohao Li, Yitong Zhu, Luwen Yu, Yuyang Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, wie sich ein Freund fühlt. Vielleicht schauen Sie sich sein Gesicht an, hören auf seine Stimme und beobachten seine Körpersprache. Normalerweise stimmen all diese Hinweise überein: Ein Stirnrunzeln, eine zittrige Stimme und hängende Schultern schreien förmlich nach „Traurigkeit“. Aber was ist, wenn Ihr Freund lächelt (das Gesicht sagt „glücklich“), während seine Stimme bricht (die Stimme sagt „traurig“) und er zittert (der Körper sagt „ängstlich“)? Dies ist die chaotische Realität der Multimodalen Emotionserkennung (Multimodal Emotion Recognition, MER), einem Teilgebiet der Informatik, bei dem Maschinen versuchen, menschliche Gefühle zu verstehen, indem sie verschiedene Arten von Daten wie Video, Audio und Gehirnsignale kombinieren.

Der schwierige Teil ist, dass Computer den „Lösungsschlüssel“ – das Label, das ein Mensch vergibt, um zu sagen, wie er sich fühlt – oft als absolute Wahrheit behandeln. Aber Menschen sind chaotisch! Wir lügen vielleicht, vergessen etwas oder haben einfach nur einen schlechten Tag, wenn wir unsere Emotionen bewerten, was unsere „Antworten“ unzuverlässig macht. Zudem ignorieren die meisten bestehenden Programme den Konflikt, wenn die verschiedenen Sensoren des Computers uneinig sind (wie etwa Gesicht vs. Stimme) und werfen die Daten einfach zusammen, in der Hoffnung, dass es schon passt. Diese Arbeit befasst sich mit dieser Verwirrung und stellt die Frage: Wie kann ein Computer wissen, welchem Hinweis er vertrauen soll, wenn sie gegeneinander kämpfen, und wie kann er erkennen, dass der „Lösungsschlüssel“ vielleicht falsch ist?

Hier kommt CONFER ins Spiel, ein cleveres neues System, das wie ein geschickter Mediator für eine Gruppe streitender Experten fungiert. Anstatt die verschiedenen Sensoren (die „Experten“) dazu zu zwingen, sofort einer Meinung zu sein, lässt CONFER sie verhandeln. Stellen Sie sich eine Rundtischdiskussion vor, bei der ein Gesichtsexperte, ein Stimmexperte und ein Gehirnwellenexperte versuchen zu entscheiden, ob eine Person glücklich oder traurig ist. In der Vergangenheit hätte der Computer einfach eine Abstimmung durchgeführt. Aber CONFER ist klüger. Es weiß, dass der Gesichtsexperte manchmal einen schlechten Tag hat (vielleicht ist die Beleuchtung schlecht) und dass der Stimmexperte manchmal zuverlässiger ist.

CONFER nutzt einen „dynamischen Graphen“, um diesen Experten die Möglichkeit zur Kommunikation zu geben. Sie rufen nicht nur ihre Meinungen in den Raum; sie teilen „Evidenz“ und „Unsicherheit“ mit. Wenn der Gesichtsexperte sehr unsicher ist (hohe Unsicherheit), aber der Stimmexperte sehr zuversichtlich ist, hört der Gesichtsexperte zu und passt seine Meinung an. Wenn beide zuversichtlich sind, aber uneins, markiert CONFER dies als ernsthaften Konflikt. Das System ignoriert die Uneinigkeit nicht; es nutzt sie, um herauszufinden, welcher Experte tatsächlich die Wahrheit sagt und welcher vielleicht halluziniert.

Das System besitzt auch einen speziellen Trick für den Umgang mit dem „Lösungsschlüssel“ (den selbstberichteten Labels). Es erkennt, dass, wenn alle Experten heftig miteinander streiten, das Label des Menschen ebenfalls unzuverlässig sein könnte. Daher sortiert CONFER jeden Moment in eines von drei Regimen ein:

Konsens: Alle sind sich einig und das Label ist wahrscheinlich korrekt.
Dissens: Die Experten sind uneins, aber das System kann dennoch herausfinden, wer recht hat.
Ambiguität: Alles ist im Chaos und das System entscheidet, dem menschlichen Label nur sehr wenig Vertrauen entgegenzubringen, da es wahrscheinlich falsch ist.

Die Forscher testeten CONFER auf drei großen Datensätzen, die echte Menschen mit Emotionen zeigen (AMIGOS, MAHNOB-HCI und DEAP). Sie fanden heraus, dass CONFER ein Lebensretter war, wenn die Sensoren stritten (hoher Konflikt). Beispielsweise erreichte es auf dem AMIGOS-Datensatz eine Genauigkeit von 0,873 unter strengen Testbedingungen, bei denen es Emotionen für Menschen vorhersagen musste, die es noch nie gesehen hatte. Auf dem MAHNOB-Datensatz erreichte es 0,854. Diese Zahlen sind beeindruckend und übertreffen andere Top-Methoden.

Vielleicht ist die spannendste Erkenntnis die Art und Weise, wie das System mit „korrupten“ Daten umgeht. Die Forscher manipulierten die menschlichen Labels (indem sie die Antworten zufällig vertauschten), um zu sehen, ob der Computer verwirrt würde. Während andere Methoden scheiterten, blieb CONFER stabil und behielt selbst dann eine Genauigkeit von 0,723 bei, als 30 % der Labels falsch waren. Dies deutet darauf hin, dass das System nicht nur Antworten auswendig lernt, sondern tatsächlich lernt, den richtigen Hinweisen zu vertrauen und das Rauschen zu ignorieren.

Kurz gesagt: CONFER beweist, dass Konflikt nicht nur ein Fehler ist, der behoben werden muss, sondern ein nützliches Signal. Indem es verschiedene Sensoren verhandeln lässt und erkennt, dass menschliche Labels nicht immer perfekt sind, wird das System wesentlich besser darin, die komplexe, chaotische Realität menschlicher Emotionen zu verstehen. Es zeigt, dass es manchmal der beste Weg ist, die Wahrheit zu finden, indem man auf die Argumente hört und nicht nur auf die endgültige Abstimmung.

Technisches Resümee: CONFER

Problemstellung

Die multimodale Emotionserkennung (Multimodal Emotion Recognition, MER) stützt sich traditionell auf selbstberichtete Valenz- und Arousal-Werte als Ground-Truth-Überwachung. Das Paper argumentiert jedoch, dass diese Labels inhärent unzuverlässige „schwache Beobachtungen“ sind, bedingt durch individuelle Bewertungs-Gewohnheiten, kognitive Verzerrungen, Gedächtnisverzerrungen und den experimentellen Kontext. Darüber hinaus vernachlässigen bestehende Methoden oft den cross-modalen Konflikt – die Unstimmigkeiten zwischen Vorhersagen verschiedener Modalitäten (z. B. Gesicht, Audio, Physiologie).

Aktuelle Ansätze adressieren die Heterogenität der Modalitäten typischerweise durch Attention-Mechanismen oder Gating, erzwingen jedoch eine Vereinigung von Konflikten mittels Fusionsgewichten, ohne zu bestimmen, welche Modalität in einem spezifischen Sample welche andere beeinflussen sollte. Ebenso schätzen Methoden für schwache Labels die Zuverlässigkeit der Überwachung basierend auf globalen Statistiken oder Konfidenzwerten ein, versäumen es jedoch, die paarweise Übereinstimmung und den Konflikt zwischen modalitätsspezifischen Vorhersagen zu nutzen. Diese Diskrepanz verhindert eine effiziente Orchestrierung der Informationsweitergabe und ein robustes Lernen aus verrauschten Selbstberichten.

Methodik: CONFER-Framework

Die Autoren schlagen CONFER vor (Conflict-Aware Evidence Negotiation for Regime-Calibrated Weak Supervision), ein einheitliches graphbasiertes Framework, das Modalitätsexperten als Knoten in einem dynamischen Verhandlungsgraphen modelliert. Das Framework operiert in drei Hauptphasen:

1. Konstruktion der Modalitätsexperten

Jede Modalität wird als unabhängiger Experte behandelt.

Repräsentation: Encoder bilden Zeitfenster auf Embeddings ab. Ein Konstruktor aggregiert diese unter Verwendung von Global Mean Pooling, Sparse Top- $k$ Attention und temporaler Dispersion zu Trial-Level-Repräsentationen.
Evidenzgenerierung: Jeder Experte erzeugt einen prädiktiven Glauben ( $\mu$ ) und einen grenzwertbasierten Unsicherheitswert ( $u$ ), wobei die Unsicherheit steigt, wenn die Vorhersage sich der Entscheidungsgrenze nähert.
Laufzeit-Zuverlässigkeit: Die Zuverlässigkeit ( $c$ ) wird durch Kombination der historischen Out-of-Fold (OOF)-Performance mit der aktuellen Stichprobenunsicherheit geschätzt. Dies stellt sicher, dass die Zuverlässigkeit stichprobenspezifisch und nicht statisch ist.

2. Konfliktbewusste Evidenzverhandlung (Conflict-Aware Evidence Negotiation)

Experten interagieren über einen dynamischen Graphen, um Konflikte iterativ zu lösen.

Knotenzustand: Definiert durch prädiktiven Glauben, Unsicherheit und Laufzeit-Zuverlässigkeit.
Kompatibilität & Kantengewichte: Die paarweise Kompatibilität ( $A_{mn}$ ) wird basierend auf der Diskrepanz der Vorhersagen, normiert durch die Unsicherheit, berechnet. Eine hohe Diskrepanz zwischen vertrauenswürdigen Experten führt zu einer geringen Kompatibilität.
Asymmetrische Nachrichtenübertragung: Die Kompatibilität wird in empfänger-spezifische gerichtete Kantengewichte ( $\gamma_{m \leftarrow n}$ ) umgewandelt. Dies ermöglicht es zuverlässigen Sendern, weniger zuverlässige Empfänger zu beeinflussen, während die eigene Zuverlässigkeit des Empfängers bestimmt, wie sehr er zugunsten eingehender Informationen nachgibt.
Iteration: Der Prozess läuft über zwei Runden ( $\mu^{(0)} \to \mu^{(1)} \to \mu^{(2)}$ ) und aktualisiert die Glaubensvorstellungen basierend auf der durch Peers unterstützten Aggregation.

3. Regime-kalibrierte schwache Überwachung (Regime-Calibrated Weak Supervision)

Das Ergebnis der Verhandlung charakterisiert die Stichprobe in eines von drei Regimen, um die Loss-Funktion zu kalibrieren:

Konsens (Consensus): Hohe Übereinstimmung und geringer Restkonflikt.
Dissens (Dissent): Persistente Uneinigkeit nach der Verhandlung.
Ambiguität (Ambiguity): Hohe Gesamtunsicherheit.
Stichproben-Gewichtung: Die inferierten Regime-Wahrscheinlichkeiten bestimmen das Gewicht ( $\omega_i$ ) des Beitrags jeder Stichprobe zum Loss der schwachen Überwachung. Stichproben im „Konsens“-Regime erhalten das volle Gewicht, während „Dissens“- und „Ambiguitäts“-Stichproben abgewertet werden (aber nicht verworfen), um zu verhindern, dass das Modell auf unzuverlässige Überwachung überfitet.

Das Framework wird in drei Phasen trainiert: (A) Training der Encoder für initiale Glaubensvorstellungen, (B) OOF-Kalibrierung zur Schätzung von Zuverlässigkeits-Priors und Regime-Koeffizienten sowie (C) gemeinsame Optimierung des Verhandlungsmoduls und des Vorhersage-Readouts.

Zentrale Beiträge

Einheitliches Framework: CONFER integriert Modalitäts-Zuverlässigkeitsschätzung, cross-modale Verhandlung und schwache Label-Kalibrierung in eine einzige graphbasierte Architektur.
Dynamischer Verhandlungsmechanismus: Es führt eine Methode ein, um unsicherheitsbewusste Kompatibilität in Zuverlässigkeit-gerichtete, asymmetrische Nachrichtenübertragung umzuwandeln, wodurch cross-modale Konflikte sowohl die Expertenkoordination als auch die Schätzung der Überwachungszuverlässigkeit leiten können.
Regime-basierte Kalibrierung: Durch die Definition der Regime Konsens, Dissens und Ambiguität passt die Methode den Beitrag schwacher Labels dynamisch an, basierend auf stichprobenspezifischer Konfliktlösung, anstatt alle Labels als gleichermaßen zuverlässig oder unzuverlässig zu behandeln.

Experimentelle Ergebnisse

Die Autoren evaluierten CONFER auf drei Benchmarks: AMIGOS, MAHNOB-HCI und DEAP, sowohl unter Verwendung von subjektabhängiger 10-facher Kreuzvalidierung als auch unter strikten Leave-One-Subject-Out (LOSO) Protokollen.

Performance: CONFER erzielte kompetitive Ergebnisse, erreichte insbesondere eine Genauigkeit von 0,873 und einen F1-Wert von 0,879 auf AMIGOS-V (Valenz) sowie eine Genauigkeit von 0,854 auf MAHNOB-V unter strikter LOSO-Evaluierung und übertraf damit Baselines wie Late Fusion, TFN, MISA und verschiedene Expert Routing (MoE) Methoden.
Robustheit: Das Modell zeigte eine überlegene Robustheit gegenüber synthetischer Schwächung der Labels (weak-label corruption). Unter einer symmetrischen Label-Korruption von 30 % behielt CONFER eine Genauigkeit von 0,723 bei und übertraf damit Baselines signifikant.
Konfliktanalyse: Ablationsstudien bestätigten, dass das Entfernen der Verhandlung, der Sender-Zuverlässigkeit oder der Empfänger-Nachgiebigkeit die Performance verschlechterte. Die Analyse zeigte, dass die Verhandlung die größten Gewinne (5,4–8,9 Punkte) bei konfliktreichen Stichproben erzielt, indem sie falsche Vorhersagen weita viel häufiger korrigiert, als sie korrekte Vorhersagen stört.
Überwachungs-Detektion: Die inferierten Konfliktregime (Konsens, Dissens, Ambiguität) erwiesen sich als effektive Indikatoren für die Inkonsistenz der Überwachung und übertrafen die prädiktive Entropie bei der Detektion unzuverlässiger Labels.

Bedeutung und Ansprüche

Das Paper behauptet, dass CONFER demonstriert, dass cross-modaler Konflikt nicht bloß eine Fehlerquelle, sondern ein nützliches Informationssignal ist. Durch die explizite Modellierung der Verhandlung zwischen den Modalitäten kann das Framework:

Modalitäten koordinieren: Die Vorhersagen der Experten selektiv basierend auf relativer Zuverlässigkeit und Kompatibilität aktualisieren, anstatt eine einheitliche Fusion zu erzwingen.
Überwachungszuverlässigkeit schätzen: Die Auflösung (oder das Ausbleiben) des cross-modalen Konflikts nutzen, um die Vertrauenswürdigkeit selbstberichteter Labels auf einer pro-Sample-Basis zu kalibrieren.

Die Autoren kommen zu dem Schluss, dass ihr Ansatz einen robusteren Mechanismus für das Lernen aus schwacher Überwachung in multimodalen Settings bietet, insbesondere beim Umgang mit der inhärenten Unzuverlässigkeit selbstberichteter emotionaler Zustände und der Heterogenität sensorischer Daten.