CF-Net: Conflict Fusion with Speaker Normalisation and Certainty Weighting for Ambivalence/Hesitancy Recognition

Stellen Sie sich vor, Sie versuchen, einen Raum zu lesen, indem Sie nicht darauf achten, was die Menschen sagen, sondern indem Sie die winzigen Risse aufspüren, in denen ihre Worte, ihre Stimme und ihr Gesicht nicht ganz zusammenpassen. Dies ist die faszinierende Welt der multimodalen Affekterkennung, ein Zweig der künstlichen Intelligenz, der versucht, menschliche Emotionen zu verstehen, indem er darauf hört, wie wir sprechen, beobachtet, wie wir uns bewegen, und liert, was wir tippen. Normalerweise, wenn Menschen glücklich sind, stimmen ihr Lächeln, ihr Lachen und ihr „Juhu!“ perfekt überein. Aber es gibt ein schwierigeres, menschlicheres Gefühl namens Ambivalenz und Zögern. Das ist dieser unangenehme Moment, in dem man „Ja“ sagen will, aber die Stimme wackelt, oder man selbstbewusst aussieht, während die eigenen Worte unsicher klingen. Es ist wie ein musikalisches Trio, bei dem der Schlagzeuger Jazz spielt, der Gitarrist Rock spielt und der Sänger eine Schlaflied summt; das „Gefühl“ liegt in keinem einzelnen Instrument, sondern in dem chaotischen, verwirrenden Zusammenstoß zwischen ihnen. Dies zu erkennen ist für Computer unglaublich schwer, da die meisten KIs darauf trainiert sind, klare, glückliche Lächeln zu erkennen, nicht diese subtilen, widersprüchlichen Signale.

Hier kommt CF-Net ins Spiel, ein neuer digitaler Detektiv, der von den Forschern Tung Hung Bui, Hong Hai Nguyen und Van Thong Huynh entwickelt wurde, um genau dieses spezifische Rätsel zu lösen. Sie nahmen an der 3. Edition der Ambivalence/Hesitancy Video Recognition Challenge (Teil des ABAW 11. Wettbewerbs) mit einem System teil, das darauf ausgelegt ist, aufzuhören zu raten und stattdessen auf die Argumente zwischen den verschiedenen „Sinnen“ eines Menschen zu hören.

Das Problem: Die „Identitätsfalle“ und das „Verwirrungssignal“

Die Forscher standen vor einer schwierigen Situation. Sie verfügten über einen Datensatz namens BAH, der Videoclips von Menschen in Interviews enthielt. Das Ziel war es, zu erkennen, wann ein Sprecher ambivalent fühlte. Dabei gab es drei große Hürden:

1. Das Signal ist ein Missverhältnis: Im Gegensatz zu einem klaren „glücklichen“ Gesicht wird Ambivalenz durch Inkongruenz definiert. Wenn eine Person etwas Positives sagt, aber ihre Stimme zittrig klingt, muss der Computer dieses Widerspruchsverhältnis bemerken, nicht nur die Worte oder die Stimme allein.
2. Das „Fremden-Problem“: Die Testvideos zeigten Menschen, die der Computer zuvor noch nie gesehen hatte. Wenn die KI lernte, das Gesicht oder die Stimmlage einer bestimmten Person zu erkennen (wie etwa das Auswendiglernen des Lachens eines Freundes), würde sie bei Fremden völlig versagen. Sie musste lernen, das Wer des Sprechers zu ignorieren und sich stattdessen auf das Wie zu konzentrieren.
3. Die „Vielleicht“-Labels: Manchmal konnten sich selbst menschliche Experten nicht einig sein, ob ein Clip Ambivalenz zeigte oder nicht. Der Datensatz enthielt einen „Gewissheitswert“ (certainty score) für jeden Clip, der angab, wie sehr sich die menschlichen Annotatoren einig waren. Die KI musste wissen, wann sie einem Label vertrauen kann und wann sie vorsichtig sein sollte.

Die Lösung: CF-Nets dreistufiger Zaubertrick

Das Team entwickelte CF-Net, ein System, das wie ein hochintelligenter Vermittler in einem Dreierstreit zwischen Vision (was wir sehen), Audio (was wir hören) und Text (was gesagt wird) fungiert.

Schritt 1: Der „Geisterfilter“ (Sprecher-Normalisierung)
Zuerst analysiert das System das Video und das Audio. Aber hier ist der Trick: Bevor die Emotion analysiert wird, führt es eine „Sprecher-Normalisierung“ durch. Stellen Sie sich vor, Sie wollen die Leistung eines Sängers beurteilen, aber Sie ziehen zuerst dessen einzigartige, permanente Stimmtextur ab, sodass Sie nur die Veränderungen in seinem Tonfall für dieses spezifliche Lied hören. CF-Net macht dies mathematisch. Es berechnet das durchschnittliche „Gesicht“ und die durchschnittliche „Stimme“ jedes Sprechers und zieht diese ab. Dies entfernt das „Identitäts-Leck“ – das Risiko, dass die KI einfach lernt, dass „Person A nervös aussieht“ – und zwingt das System, sich nur auf das momentane Zögern oder den Konflikt zu konzentrieren.

Schritt 2: Der „Konflikt-Detektor“ (ConflictFusion)
Als Nächst-es nimmt das System die bereinigten Signale von Augen, Ohren und Text. Anstatt sie einfach nur zusammenzuquetschen (was voraussetzen würde, dass sie alle übereinstimmen), nutzt CF-Net ein spezielles Modul namens ConflictFusion. Betrachten Sie dies als einen Schiedsrichter, der nicht nur den Spielern zuhört, sondern gezielt misst, wie weit ihre Meinungen auseinanderliegen. Es berechnet die „Distanz“ zwischen dem Text und der Stimme, dem Text und dem Gesicht sowie der Stimme und dem Gesicht. Wenn der Text „Mir geht es großartig“ sagt, die Stimme aber zittrig klingt, sieht das System eine große Lücke. Es wandelt diese Lücke in ein Merkmal um und lehrt die KI explizit, dass der Widerspruch das Signal ist, nach dem sie sucht.

Schritt 3: Der „Ehrlichkeits-Check“ (Certainty Weighting)
Schließlich wird das System darauf trainiert, bescheiden zu sein. Die Forscher gaben der KI einen „Certainty Head“ mit – eine zusätzliche Gehirnzelle, die versucht zu erraten, wie sicher sich die menschlichen Annotatoren bei einem Clip waren. Wenn die Menschen unsicher waren (niedrige Certainty), wird der KI gesagt: „Sei dir deiner Antwort nicht zu sicher; das ist ein schwieriger Fall.“ Dies geschieht durch einen speziellen mathematischen Trick namens certainty-weighted focal loss, der der KI sagt, dass sie besonders auf die klaren, offensichtlichen Beispiele achten und bei den verwirrenden eher behutsam vorgehen soll.

Die Ergebnisse: Ein leichter Griff, ein schwerer Sieg

Das Team testete CF-Net auf dem BAH-Datensatz. Sie versuchten nicht, die massiven, vortrainierten Gehirne (Backbones), die Bilder und Klänge lesen, neu zu trainieren; sie hielten diese eingefroren, um Zeit zu sparen und Overfitting zu verhindern. Sie trainierten lediglich die kleinen „Klebestücke“, die diese miteinander verbinden.

Die Ergebnisse waren beeindruckend. Auf dem Validierungsset (einem Übungstest) erreichte CF-Net einen Macro F1-Score von 0,7155. Aber die wahre Magie geschah auf dem privaten Testset, das völlig neue Sprecher enthielt, die die KI noch nie gesehen hatte. Dort stieg der Wert auf 0,7364 (mit einer Average Precision von 0,7392).

Dies ist signifikant, da viele andere Systeme bei den Übungstests besser abschnitten, aber beim echten Test schlechter wurden (ein Zeichen dafür, dass sie nur die Übungsgesichter auswendig gelernt hatten). CF-Net tat das Gegenteil: Es wurde besser, als es mit Fremden konfrontiert wurde. Dies beweist, dass der „Geisterfilter“ (Sprecher-Normalisierung) und der „Ehrlichkeits-Check“ (Certainty Weighting) tatsächlich funktionierten und der KI halfen, auf neue Menschen zu generalisieren, anstatt durch das Auswendiglernen der alten Personen zu „schummeln“.

In einem Bereich, in dem andere Teams Stunden damit verbrachten, massive Modelle fein abzustimmen und dennoch mit dem „Fremden-Problem“ kämpften, schaffte es CF-Net, die besten bisherigen Testergebnisse mit einem leichtgewichtigen Ansatz zu erzielen, der in unter 15 Minuten auf einer einzigen handelsüblichen Grafikkarte trainiert wurde. Es zeigte, dass man nicht wissen muss, wer die Person ist, um menschliches Zögern zu verstehen; man muss nur genau zuhören, wo Worte, Stimme und Gesicht nicht übereinstimmen.