💻 computer science

BROTHER: Behavioral Recognition Optimized Through Heterogeneous Ensemble Regularization for Ambivalence and Hesitancy

Diese Arbeit stellt einen stark regularisierten, multimodalen Ansatz namens BROTHER vor, der mittels eines PSO-basierten Hard-Voting-Ensembles aus heterogenen Klassifikatoren komplexe Verhaltenszustände wie Ambivalenz und Zögern in natürlichen Videos mit einem Macro F1-Score von 0,7465 zuverlässig erkennt.

Ursprüngliche Autoren: Alexandre Pereira, Bruno Fernandes, Pablo Barros

Veröffentlicht 2026-03-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alexandre Pereira, Bruno Fernandes, Pablo Barros

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Wenn jemand „Vielleicht" sagt, aber eigentlich „Nein" meint

Stellen Sie sich vor, Sie sitzen in einem Gespräch. Jemand sagt: „Ich weiß nicht genau... vielleicht mache ich das, vielleicht auch nicht." Die Person zögert, zuckt mit den Schultern, ihre Stimme wird leiser, und sie benutzt Füllwörter wie „ähm" oder „eigentlich".

Das ist Ambivalenz und Zögern (auf Englisch Ambivalence and Hesitancy). Es ist keine klare Emotion wie „Wut" oder „Freude", die man sofort auf einem Gesicht sieht. Es ist ein innerer Konflikt, ein grauer Bereich. Für einen Computer ist das extrem schwer zu erkennen, weil er normalerweise nur nach klaren Mustern sucht.

Die Forscher von der Universität Pernambuco in Brasilien haben einen neuen Weg gefunden, um diese versteckten Signale zu finden. Sie nennen ihr System BROTHER.

Wie funktioniert BROTHER? (Die Metapher des Detektiv-Teams)

Stellen Sie sich das System nicht als einen einzelnen Roboter vor, sondern als ein Detektiv-Team, das aus vier verschiedenen Spezialisten besteht. Jeder Spezialist schaut sich die Situation aus einer anderen Perspektive an:

Der visuelle Detektiv (Das Auge):
Er schaut sich das Video an. Aber er sucht nicht nur nach Lächeln. Er nutzt eine hochmoderne KI (SigLip2), die selbst winzige Veränderungen im Gesichtsausdruck oder im Blick erkennt. Er achtet darauf, ob das Bild stabil ist oder ob die Person nervös zuckt.
Der Hör-Detektiv (Das Ohr):
Er hört sich die Stimme an. Nicht nur was gesagt wird, sondern wie. Ist die Stimme zitterig? Gibt es lange Pausen? Ist die Tonlage unsicher? Dafür nutzt er eine KI namens HuBERT, die wie ein sehr sensibles Mikrofon funktioniert.
Der Text-Detektiv (Der Verstand):
Er liest das, was gesagt wurde. Er analysiert die Worte. Benutzt die Person viele Füllwörter („äh", "also")? Sagt sie Dinge, die sich widersprechen? Dieser Detektiv ist besonders wichtig, denn die Studie zeigt: Die Worte verraten das Zögern am deutlichsten.
Der Statistik-Detektiv (Der Mathematiker):
Das ist der kreative Neuling. Dieser Detektiv mischt alles zusammen. Er rechnet aus: „Wie oft hat die Person in den letzten 10 Sekunden gezögert?" oder „Wie sehr schwankt die Lautstärke im Vergleich zum Durchschnitt?" Er wandelt die rohen Daten in klare Zahlen um, die Muster zeigen, die die anderen drei vielleicht übersehen.

Das große Problem: Zu viele Meinungen

Jeder dieser Detektive hat jetzt eine eigene Meinung: „Ich denke, die Person zögert!" oder „Nein, das ist nur Nachdenken."

Normalerweise würde man einen einzigen Chef-Algorithmus nehmen, der alle Meinungen zusammenfasst. Aber die Forscher dachten: „Das ist zu starr!" Wenn man nur einen Chef hat, kann er sich leicht täuschen lassen oder sich zu sehr auf eine einzige Art von Zögern spezialisieren.

Die Lösung: Ein riesiges Komitee.
Statt eines Chefs haben sie 15 verschiedene Teams gebildet. Jedes Team kombiniert die Meinungen der vier Detektive auf eine andere Art und Weise.

Team 1 schaut nur auf die Worte.
Team 2 schaut auf Worte und Tonfall.
Team 3 schaut auf alles gleichzeitig.

Für jedes dieser 15 Teams haben sie drei verschiedene „Köpfe" (Maschinenlern-Modelle) getestet:

Einen schnellen Denker (MLP).
Einen vorsichtigen Sammler von Fakten (Random Forest).
Einen lernenden Experten (GBDT).

Am Ende behielten sie für jedes der 15 Teams nur den besten Kopf, der am wenigsten Fehler machte.

Der kluge Moderator: Der „Schwarm" (PSO)

Jetzt haben wir 15 sehr gute Experten, die alle eine Stimme haben. Aber wie entscheiden wir, wem wir am meisten glauben?

Hier kommt der Schwarm-Algorithmus (Particle Swarm Optimization) ins Spiel. Stellen Sie sich einen Schwarm Vögel vor, die gemeinsam nach dem besten Weg suchen.

Jeder Vogel (jede Gewichtung) fliegt ein bisschen anders.
Sie tauschen sich aus und lernen voneinander.
Der Clou: Der Algorithmus hat eine spezielle Regel eingebaut: „Sei nicht zu selbstsicher!"

Wenn ein Team zu gut auf den Trainingsdaten abschneidet, aber schlecht auf neuen, unbekannten Daten (wie bei einem echten Test), wird es bestraft. Der Algorithmus sucht nach der perfekten Balance, bei der das Team nicht auswendig lernt (was man „Overfitting" nennt), sondern wirklich versteht, wie menschliches Zögern funktioniert.

Er gibt den wichtigsten Teams (besonders denen, die die Worte gut analysieren) mehr Stimmgewicht und ignoriert die Teams, die nur Rauschen produzieren.

Das Ergebnis: Ein Meisterwerk der Zusammenarbeit

Am Ende hat dieses System einen Test bestanden, bei dem es um das Erkennen von Zögern in echten, ungesteuerten Videos ging.

Das Ergebnis: Sie erreichten eine Genauigkeit (F1-Score) von 0,7465. Das ist für so eine schwierige Aufgabe ein sehr starkes Ergebnis.
Die wichtigste Erkenntnis: Die Sprache (die Worte) war der stärkste Einzelindikator. Aber das System war nur dann wirklich gut, wenn es die Worte mit den Blicken und der Stimme kombinierte.

Fazit in einem Satz

Die Forscher haben bewiesen, dass man menschliches Zögern nicht mit einem starren Regelwerk fangen kann. Man braucht stattdessen ein intelligentes Team aus verschiedenen Spezialisten, das sich gegenseitig kontrolliert und gemeinsam entscheidet, wann jemand wirklich unsicher ist – genau wie ein erfahrener Gesprächspartner, der nicht nur auf das sagt, sondern auch auf das hört, was nicht gesagt wird.

1. Problemstellung

Die automatische Erkennung komplexer psychologischer Zustände wie Ambivalenz (Zwiespältigkeit) und Zögerlichkeit (Hesitancy) in natürlichen Videoszenarien stellt eine erhebliche Herausforderung im Bereich des Affective Computing dar. Im Gegensatz zu grundlegenden Emotionen (z. B. Wut oder Freude), die oft durch klare Gesichtsausdrücke gekennzeichnet sind, manifestieren sich Ambivalenz und Zögerlichkeit als subtile, multimodale Konflikte. Sie erfordern ein tiefes kontextuelles und zeitliches Verständnis, da sie oft in einem „Graubereich" zwischen positiven und negativen Perspektiven liegen.

Herkömmliche Emotionserkennungssysteme scheitern häufig daran, dass sie Eingaben in starre Kategorien zwängen und die Widersprüche sowie zeitlichen Verschiebungen ignorieren, die für diesen Zustand charakteristisch sind. Die Autoren nutzen den Datensatz der 10. ABAW Competition (Ambivalence and Hesitancy Video Recognition Challenge), der in natürlichen Umgebungen aufgezeichnet wurde, um diese Komplexität abzubilden.

2. Methodik

Das vorgeschlagene System, BROTHER, ist eine hochregulisierte, multimodale Fusions-Pipeline, die auf einem heterogenen Ensemble-Lernansatz basiert.

A. Modale Merkmalsextraktion (4 Modalitäten)

Statt vorgefertigter Klassifikatoren zu verwenden, extrahiert das System robuste unimodale Merkmale aus vier Quellen:

Visuell: Nutzung von SigLip2 (nach Gesichtserkennung mit RetinaFace) zur Extraktion von Bildmerkmalen. Die Features werden normalisiert, gefiltert (zur Entfernung von Rauschen/fehlenden Gesichtern) und durch Mittelwertbildung sowie erste und zweite Ableitungen über die Zeit aggregiert (2304 Dimensionen), bevor sie via PCA auf 512 Dimensionen reduziert werden.
Audio: Nutzung von HuBERT zur Extraktion nicht-sprachlicher akustischer Hinweise (Ton, Rhythmus) in 1-Sekunden-Chunks.
Text: Nutzung von F2LLM für Transkripte, um globale Kontexte und authentische sprachliche Nuancen zu erfassen.
Statistisch (Neuartig): Eine vierte, speziell entwickelte Modalität, die mathematisch aus den ersten drei abgeleitet wird. Sie aggregiert zeitliche und strukturelle Muster durch statistisches Pooling (Min, Max, Mittelwert, Standardabweichung).
- Visuell/Audio: Enthält Metriken wie Gültigkeitsverhältnis, Ähnlichkeitsmittelwert, RMS, Spektralzentroid, Stille-Ratio und Tonhöhenschwankungen.
- Text: Umfasst spezifische Verhaltensmarker wie Zögerlichkeit (Füllerwörter, Korrekturen pro Satz) und Ambivalenz (Gegensätzliche Pole wie positiv/negativ/neutral über den gesamten Kontext), basierend auf Prompt-basierten Embeddings.

B. Heterogenes Klassifikations-Committee

Anstatt eines einzelnen Modells wird ein „Ausschuss" (Committee) aus 15 verschiedenen Kombinationen der vier Modalitäten trainiert. Für jede Kombination werden drei unterschiedliche Architekturen getestet:

Multi-Layer Perceptron (MLP)
Random Forest (RF)
Gradient Boosted Decision Trees (GBDT)

Für jede Modalitätskombination wird das Modell ausgewählt, das den niedrigsten Binary Cross-Entropy (BCE)-Loss auf dem Validierungsdatensatz erreicht. Dies stellt sicher, dass nur gut kalibrierte Modelle mit verlässlichen Wahrscheinlichkeiten in das Ensemble aufgenommen werden.

C. Partikel-Schwarm-Optimierung (PSO) für Hard-Voting

Um die 15 ausgewählten Modelle zu fusionieren, wird Particle Swarm Optimization (PSO) eingesetzt, um optimale Gewichte für ein Hard-Voting-Verfahren zu finden.

Regularisierung: Der entscheidende Innovationspunkt ist die Fitness-Funktion der PSO. Sie maximiert nicht nur die Leistung, sondern bestraft aktiv die Lücke zwischen Trainings- und Validierungs-F1-Score (Train-Validation Gap).
Formel: $Fitness = \text{Harmonisches Mittel}(F1_{train}, F1_{val}) - \lambda \cdot |F1_{train} - F1_{val}|^2$ .
Der Parameter $\lambda$ (Strafkoeffizient) steuert die Stärke der Regularisierung, um Overfitting zu unterdrücken und redundante Klassifikatoren zu eliminieren.

3. Wichtige Beiträge

Spezialisierte Statistische Modalität: Einführung einer vierten Modalität, die explizit zeitliche Variationen und verhaltensbezogene Sprachmuster (Zögern, Ambivalenz) quantifiziert, anstatt sich nur auf Rohdaten zu verlassen.
Heterogenes Ensemble: Kombination verschiedener ML-Architekturen (MLP, RF, GBDT) über alle möglichen Modalitätskombinationen hinweg, um die Stärken jedes Subsets zu nutzen.
PSO-basierte Regularisierung: Ein neuartiger Ansatz zur Gewichtung von Ensembles, der Overfitting durch eine dynamische Strafe für die Diskrepanz zwischen Trainings- und Validierungsleistung verhindert.
Vermeidung starrer Klassifikation: Der Ansatz verzichtet auf vorgefertigte Emotionsklassifikatoren, um die Nuancen von inneren Konflikten besser zu erfassen.

4. Ergebnisse

Die Evaluation auf dem unsichtbaren Testdatensatz ergab folgende Ergebnisse:

Leistung: Das System erreichte einen Macro F1-Score von 0,7465 auf dem Testset (und 0,7578 auf dem Validierungsset).
Einfluss der Modalitäten: Die Text-Modalität erwies sich als stärkster unabhängiger Prädiktor (F1: 0,7275), während die reine Video-Modalität schwächelte (F1: 0,4704).
Ensemble-Dynamik: Der Random Forest (RF) dominierte bei komplexen, hochdimensionalen Multimodal-Kombinationen.
Optimale Regularisierung: Ein Strafkoeffizient von $\lambda = 0,2$ (20% Penalty) führte zu den besten Testergebnissen.
- Bei $\lambda = 0$ wurden 12 von 15 Modellen gewichtet.
- Bei $\lambda = 0,8$ reduzierte sich das Ensemble auf nur 6 hochzuverlässige Modelle, wobei die Text-Modalität und die Kombination Text+Video+Stats die höchsten Gewichte behielten. Dies zeigt, dass die PSO effektiv redundante Klassifikatoren unterdrückt.

5. Bedeutung

Das Paper demonstriert, dass Ambivalenz und Zögerlichkeit erfolgreich als multimodaler zeitlicher Konflikt behandelt werden können. Der vorgestellte Ansatz beweist, dass eine intelligente, gewichtete Fusion spezialisierter Feature-Extraktoren mit einem stark regulierten Ensemble-Lernverfahren eine robuste Lösung für die Verhaltensanalyse „in-the-wild" (in natürlichen Umgebungen) bietet. Die Methode übertrifft einfache Baselines und generative Modelle, indem sie spezifisch auf die subtilen, widersprüchlichen Natur dieser psychologischen Zustände eingeht, ohne dabei in Overfitting zu verfallen.