Simple Features and Honest Calibration for Ambivalence and Hesitancy Recognition in Video
Dieses Paper präsentiert ein System zur Erkennung von Ambivalenz und Zögern in Videointerviews, das ASR-bereinigte Zeitmerkmale sowie eine auf Affekt spezialisierte multimodale Fusion nutzt und zeigt, dass einfaches AP-gewichtetes Ensembling mit ehrlicher Kalibrierung komplexe Architekturen und überfitte Validierungsstrategien bei der ABAW 2026 BAH Challenge übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: Ist diese Person hin- und hergerissen zwischen zwei Entscheidungen oder zögert sie nur? Die Hinweise sind in einem kurzen Video versteckt, in dem jemand Interviewfragen beantwortet. Dieses Papier ist der Bericht des Detektivs darüber, wie er den Fall gekläkt hat, unter Verwendung eines neuen Satzes von Werkzeugen, und – was noch wichtiger ist – darüber, was nicht funktioniert hat.
Das große Rätsel: Das Finden des „Wobbles“
Das Ziel war es, Ambivalenz und Zögern (A/H) aufzuspüren – dieses innere Gefühl von „Ich bin mir nicht sicher“, bei dem eine Person in zwei Richtungen gezogen wird. Das Team testete seine detektivischen Fähigkeiten an einem Datensatz namens BAH, der 1.427 Videos von 300 verschiedenen Personen enthält. Sie mussten erraten, ob die Person im Video Anzeichen von Unsicherheit zeigte.
Der „magische“ Hinweis: Das Gespenst im Transkript
Die größte Überraschung? Das Team fand ein „Geister-Signal“, nach dem niemand sonst gesucht hatte.
Stellen Sie sich einen Spracherkennungs-Roboter (einen ASR) vor, der das Video hört. Seine Aufgabe ist es, die Wörter aufzuschreiben. Um den Text sauber zu halten, löscht der Roboter „um“, „uh“ und lange Pausen. Aber hier ist der Trick: Er kann die Zeit, die diese Laute eingenommen haben, nicht löschen.
Das Team stellte fest, dass, obwohl die Wörter „um“ weg sind, der leere Raum, in dem sie sich einmal befanden, in den Zeitstempeln immer noch vorhanden ist. Sie entwickelten ein neues Werkzeug namens „AS-erased time“ (ASR-gelöschte Zeit). Es misst die Lücken zwischen den verbleibenden Wörtern.
- Warum es cool ist: Dieses Lücken-messende Werkzeug erwies sich als der stärkste nonverbale Hinweis, den sie fanden. Es erreichte einen AP von 0,718 (ein Maß dafür, wie gut der Hinweis ist).
- Die Unabhängigkeit: Es war so einzigartig, dass es kaum mit irgendeinem anderen Hinweis übereinstimmte (Korrelation von nur 0,11–0,36). Es war, als fände man einen Fingerabdruck, den noch kein anderer Detektiv je gesehen hatte.
Der „Text“ ist der Star, das Gesicht ist ein Nebencharakter
Das Team testete drei Hauptarten von Hinweisen: Text (was gesagt wurde), Audio (wie es klang) und Video (wie das Gesicht aussah).
- Text ist König: Die Worte, die die Menschen benutzten, waren bei weitem der beste Hinweis. Wenn sie ein spezielles Textmodell verwendeten, das auf Emotionen trainiert wurde, erzielten sie einen AP von 0,818. Selbst eine einfache Liste von „Zögerlichkeits-Markern“ (wie das Zählen, wie oft jemand „aber“ oder „vielleicht“ sagte) war fast genauso gut (AP 0,800).
- Audio ist der Zweitplatzierte: Wenn das Audiomodell speziell darauf trainiert wurde, Emotionen zu erkennen (nicht nur Sprache), war es hilfreich (AP 0,764). Aber wenn sie ein allgemeines Sprachmodell verwendeten, war es fast nutzlos.
- Video ist der kämpfende Nebencharakter: Dies war eine harte Wahrheit. Egal wie sie es versuchten – mit schicken Gesichtsscan-Modellen, dem Verfolgen von Augenbewegungen oder dem Beobachten von Augenbrauenzucken – die Video-Hinweise blieben schwach. Sie bewegten sich um einen AP von 0,63 bis 0,67. Das Papier legt nahe, dass der Computer mit nur 778 Trainingsvideos die subtilen Gesichtssignale des Zögerns einfach nicht lernen konnte. Das Gesicht lieferte schlichtweg nicht genug Informationen.
Die „Konflikt“-Falle: Was nicht funktionierte
Viele frühere Detektive dachten, der Schlüssel zur Lösung läge darin, nach einem Konflikt zwischen den Kanälen zu suchen. Sie dachten: „Wenn der Text ‚Ja‘ sagt, aber das Gesicht ‚Nein‘ zeigt, dann ist das Ambivalenz!“
Das Team testete diese Idee, indem es eine „Konflikt-Maschine“ baute, die nach solchen Unstimmigkeiten suchte.
- Das Ergebnis: Es half nicht. Ob sie nach Konflikten suchten, sie ignorierten oder die Daten unterschiedlich aufteilten, die Ergebnisse änderten sich kaum (weniger als 0,05 Änderung). Das Papier schließt „Konflikt-Design“ explizit als Geheimwaffe aus. Das Signal lag nicht im Clash zwischen den Kanälen; es lag einfach im Text und den Lücken.
Die „Overfitting“-Falle: Schummle nicht beim Test
Hier ist die wichtigste Lektion darüber, wie sie gewonnen haben.
Das Team hatte eine kleine Gruppe von 124 Videos zum Üben (den Validierungssatz) und eine größere Gruppe von 525 Videos für den echten Test.
- Der Fehler: Wenn man versucht, seine „Regler“ (Gewichte und Schwellenwerte) gezielt darauf abzustimmen, den höchsten Wert auf dem Übungssatz zu erhalten, betrügt man sich selbst. Das Team versuchte dies, und ihr Score auf dem Übungssatz war ein glänzender 0,741, aber als sie den echten Test machten, stürzte er auf 0,690 ab. Das nennt man Overfitting (Überanpassung) – man lernt die Übungsfragen auswendig, anstatt die Lektion zu verstehen.
- Die Lösung: Sie hörten auf, die Regler zu drehen. Stattdessen nutzten sie eine einfache, feste Regel: 0,5 (eine 50/50-Vermutungslinie) und gewichteten die Hinweise basierend darauf, wie genau sie historisch gesehen waren (AP-Gewichtung).
- Der Sieg: Indem sie dieser einfachen, ehrlichen Regel folgten, sprang ihr Score im echten Test auf 0,731. Dies schlug den bisherigen Gewinner (der 0,694 erreichte).
Die abschließende Bilanz
Das Team kombinierte sechs verschiedene „Detektive“ (Modelle) zu einem einzigen Team.
- Das Ergebnis: Ihr endgültiges System erreichte einen 0,731 Macro-F1 im öffentlichen Test.
- Wie sicher sind sie sich? Sie führten eine statistische Prüfung (einen „Bootstrap“) durch und fanden heraus, dass es eine 97%-ige Wahrscheinlichkeit gibt, dass ihr Score tatsächlich besser ist als der bisherige Gewinner von 0,694. Es ist ein starker Vorsprung, aber keine garantierte Festlegung.
Das Fazkto (Takeaway)
Das Papier kommt zu dem Schluss, dass man, um Zögern zu erkennen, auf die Worte und die Stille zwischen ihnen hören muss, nicht auf das Gesicht.
- Versuchen Sie nicht, den Computer dazu zu bringen, einen „Konflikt“ zwischen den Augen und dem Mund zu finden; das funktioniert hier nicht gut.
- Vertrauen Sie dem Text und den „Geister-Zeitlücken“, die durch die Spracherkennung hinterlassen wurden.
- Seien Sie ehrlich bei Ihren Tests: Justieren Sie Ihre Einstellungen nicht nur deshalb, um auf dem Übungstest gut auszusehen, sonst werden Sie beim echten Test scheitern.
Das System des Teams ist ein einfaches, mit einem Befehl ausführbares Skript, das beweist, dass der beste Weg, ein Rätsel zu lösen, manchmal nicht mit einer superkomplexen Maschine ist, sondern mit einem einfachen, ehrlichen Blick auf die Lücken in der Geschichte.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.