🤖 AI

Debiased Multimodal Personality Understanding through Dual Causal Intervention

Dieser Artikel schlägt ein Dual Causal Adjustment Network (DCAN) vor, das Back-Door- und Front-Door-kausale Interventionen einsetzt, um Subjektverzerrungen beim multimodalen Verständnis von Persönlichkeit zu mindern, und erzielt auf Benchmark-Datensätzen Verbesserungen bei der Genauigkeit und Fairness auf dem Stand der Technik, während gleichzeitig ein neuer demografisch annotierter Datensatz für weitere Forschung eingeführt wird.

Ursprüngliche Autoren: Yangfu Zhu, Zitong Han, Nianwen Ning, Yuting Wei, Yuandong Wang, Hang Feng, Zhenzhou Shao

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yangfu Zhu, Zitong Han, Nianwen Ning, Yuting Wei, Yuandong Wang, Hang Feng, Zhenzhou Shao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Stereotypen-Falle"

Stellen Sie sich vor, Sie versuchen, die Persönlichkeit einer Person nur zu erraten, indem Sie ein kurzes Video ansehen, in dem sie spricht. Sie schauen sich ihr Gesicht an, hören ihrer Stimme zu und lesen ihre Worte.

Das Papier argumentiert, dass aktuelle Computerprogramme (KI) darin schlecht sind, weil sie in eine Stereotypen-Falle tappen.

Die Analogie:
Stellen Sie sich ein KI-Modell als einen Schüler vor, der eine Prüfung schreibt.

Der echte Test: Der Schüler sollte das tatsächliche Verhalten der Person betrachten (z. B. „Sie erzählt eine Geschichte darüber, wie sie einem Freund hilft"), um zu erraten, dass sie „freundlich" ist.
Die Spickzettel (die Verzerrung): Stattdessen stellt der Schüler fest, dass in der Vergangenheit fast alle „freundlichen" Personen in den Trainingsvideos weiße Frauen mit sanften Stimmen waren. Also hört der Schüler auf, das Verhalten zu betrachten, und rät einfach: „Wenn es eine weiße Frau mit sanfter Stimme ist, muss sie freundlich sein."

Das ist gefährlich. Wenn die KI eine weiße Frau sieht, die tatsächlich nicht sehr freundlich ist, wird sie trotzdem raten, dass sie freundlich ist, weil sie sich auf den „Spickzettel" (soziodemografische Merkmale) und nicht auf die echten Beweise (Verhalten) verlässt. Dies führt zu unfairen und ungenauen Ergebnissen.

Die Lösung: Ein „kausaler Detektiv"

Die Autoren, angeführt von Yangfu Zhu und Zhenzhou Shao, entwickelten ein neues System namens DCAN (Dual Causal Adjustment Network). Sie behandeln die KI wie einen Detektiv, der ein Rätsel lösen muss, indem er die echten Hinweise von den Ablenkungen trennt.

Sie verwenden zwei spezifische „Werkzeuge" (basierend auf dem Konzept der Kausalen Intervention), um das Problem zu beheben:

1. Das „Back-Door"-Werkzeug (Behebung der sichtbaren Verzerrung)

Das Problem: Die KI wird durch offensichtliche Dinge wie Rasse, Geschlecht oder Alter abgelenkt.
Die Analogie: Stellen Sie sich vor, Sie versuchen, die Kochkünste eines Kochs zu beurteilen. Aber jedes Mal, wenn Sie einen Koch mit einer roten Mütze sehen, ist er zufällig ein großartiger Koch. Sie könnten beginnen zu denken: „Rote Mützen = Gutes Kochen."
Die Lösung: Das Modul Back-Door Adjustment fungiert wie ein Filter. Es erstellt ein „Wörterbuch" aller verschiedenen Personentypen (z. B. „Rote Mütze", „Blaue Mütze", „Keine Mütze"). Wenn die KI einen neuen Koch betrachtet, prüft sie dieses Wörterbuch und sagt: „Warte, ich habe rote Mützen schon gesehen. Ich muss die Mütze ignorieren und einfach die Suppe probieren." Es unterbricht mathematisch die Verbindung zwischen dem Aussehen der Person und der Persönlichkeitsannahme.

2. Das „Front-Door"-Werkzeug (Behebung der versteckten Verzerrung)

Das Problem: Manche Verzerrungen sind unsichtbar. Vielleicht ist die Person müde, gestresst oder hat einen schlechten Tag, und die KI verwechselt diese vorübergehende Stimmung mit ihrer dauerhaften Persönlichkeit.
Die Analogie: Stellen Sie sich vor, Sie beurteilen die Intelligenz eines Schülers. Aber der Schüler ist aktuell krank und hustet. Sie könnten denken: „Husten = Dumm." Sie können die „Krankheit" nicht direkt sehen, aber sie verwirrt Ihre Beurteilung.
Die Lösung: Das Modul Front-door Adjustment fungiert wie ein Übersetzer. Es sucht nach einem „Vermittler", der die wahre Bedeutung des Videos repräsentiert und die Krankheit ignoriert. Es fragt: „Wenn wir das Husten und den Stress weglassen, was sagt die eigentliche Antwort des Schülers?" Es zwingt die KI, aus der Bedeutung der Worte und Handlungen zu lernen, nicht aus dem versteckten Kontext, der irreführend sein könnte.

Der neue „Fairness"-Testdatensatz

Um zu beweisen, dass ihr System funktioniert, konnten die Autoren nicht einfach alte Daten verwenden, da diese voller dieser Stereotypen waren. Also bauten sie einen brandneuen Datensatz namens DMSP (Demographic-annotated Multimodal Student Personality).

Was es ist: Eine Sammlung von Videos, in denen Schüler sprechen.
Warum es besonders ist: Sie haben jeden Schüler sorgfältig mit Alter, Geschlecht und anderen Details gekennzeichnet. Sie stellten zudem sicher, dass die Daten ausgewogen waren, damit die KI nicht einfach durch Raten basierend darauf, wer die Person ist, schummeln konnte.
Das Ziel: Zu testen, ob die KI die Persönlichkeit fair erraten kann, unabhängig davon, wer die Person ist.

Die Ergebnisse: Intelligenter und fairer

Als sie ihren neuen „kausalen Detektiv" (DCAN) gegen andere führende KI-Modelle testeten:

Es war genauer: Es errat die Persönlichkeit öfter richtig (mit einer Genauigkeit von etwa 92–93 %).
Es war viel fairer: Es hörte auf, Fehler aufgrund von Rasse, Geschlecht oder Alter zu machen.
- Beispiel: Auf dem neuen Datensatz hatten die alten Modelle einen „Fairness-Fehler" von etwa 16–20 %. Das neue DCAN-Modell senkte diesen Fehler auf etwa 5–6 %. Es lernte im Wesentlichen, den „Spickzettel" zu ignorieren und sich auf das echte Verhalten zu konzentrieren.

Zusammenfassung

Kurz gesagt sagt dieses Papier: „Die aktuelle KI lässt sich zu leicht von Stereotypen darüber täuschen, wie Menschen aussehen."

Die Autoren entwickelten ein neues System, das zwei mathematische „Filter" verwendet, um diese Stereotypen auszublenden (sowohl die offensichtlichen wie das Geschlecht als auch die versteckten wie die Stimmung). Sie bewiesen, dass es funktioniert, indem sie einen neuen, fairen Testdatensatz mit Schüler-Videos erstellten. Das Ergebnis ist eine KI, die Persönlichkeit basierend darauf versteht, was Menschen tun, und nicht nur darauf, wer sie sind.

Technisches Fazit: Entzerrtes multimodales Persönlichkeitsverständnis durch duale kausale Intervention

Problemstellung
Das multimodale Persönlichkeitsverständnis zielt darauf ab, intrinsische Merkmale (z. B. Big Five, MBTI) aus Videodaten zu inferieren, die visuelle, auditive und linguistische Signale enthalten. Während Deep-Learning-Ansätze durch die Fusion heterogener Modalitäten hohe Genauigkeiten erreicht haben, leiden sie häufig unter Verzerrungen bezüglich der Probanden. Modelle lernen oft spuriosen Korrelationen zwischen demografischen Attributen (beobachtbare Störgrößen wie Alter, Geschlecht, Ethnie) oder transienten psychologischen Zuständen (nicht beobachtbare Störgrößen) und Persönlichkeitsmerkmalen. Beispielsweise könnte ein Modell aufgrund der Verteilung der Trainingsdaten fälschlicherweise die demografische Gruppe „weiße Frau" mit hoher Verträglichkeit assoziieren, was zu unfairen und ungenauen Vorhersagen für Probanden führt, die nicht diesem spezifischen demografischen Profil entsprechen. Aktuelle Methoden fehlen ein einheitliches Rahmenwerk, um gleichzeitig beobachtbare und latente Störgrößen zu adressieren, und bestehende Benchmarks verfügen oft nicht über umfassende demografische Annotationen oder konzentrieren sich ausschließlich auf Big Five-Merkmale, was die Fairness-Analyse einschränkt.

Methodik: Dual Causal Adjustment Network (DCAN)
Die Autoren schlagen ein Struktur-Kausales Modell (SCM) vor, um die kausalen Beziehungen zwischen multimodalen Eingaben ( $X$ ), Persönlichkeitsmerkmalen ( $Y$ ), Modalitätsmediatoren ( $M_x$ ), beobachtbaren Störgrößen ( $C^o_x$ ) und nicht beobachtbaren Störgrößen ( $C^u_x$ ) zu formalisieren. Um Verzerrungen zu mindern, führen sie DCAN ein, ein End-to-End-Netzwerk, das zwei kausale Interventionsmechanismen integriert:

Back-door-Adjustment Causal Learning (BACL):
- Ziel: Beobachtbare demografische Störgrößen (z. B. Alter, Geschlecht, Ethnie).
- Mechanismus: Konstruktion modalspezifischer prototypischer Störwortbücher ( $D_{back}$ $D_{ba c k}$ ).
  - Text: Identifiziert Wörter mit signifikanten Wahrscheinlichkeitsunterschieden zwischen demografischen Gruppen, um ein Wörterbuch zu bilden.
  - Visuell/Audio: Clustert Embeddings nach demografischen Tripeln (Ethnie, Geschlecht, Alter), um globale Prototypen zu erstellen, die über einen Exponential Moving Average (EMA) aktualisiert werden.
- Intervention: Ruft Störgrößen-Repräsentationen über Aufmerksamkeit ab und wendet eine Residualverbindung auf die Eingabemerkmale an. Dies blockiert effektiv den Back-door-Pfad ( $X \leftarrow C^o_x \rightarrow Y$ ) und approximiert den kausalen Effekt $P(Y|do(X))$, indem über die Verteilung der Störgrößen marginalisiert wird.
Front-door-Adjustment Causal Learning (FACL):
- Ziel: Nicht beobachtbare/latente Störgrößen (z. B. transiente emotionale Zustände, psychologische Schwankungen), die von BACL nicht erfasst werden können.
- Mechanismus: Einführung eines Mediators ( $M$ ), um den Pfad $F_m \rightarrow M \rightarrow Y$ zu bilden. Es werden zwei Wörterbücher konstruiert: ein globales Merkmalswörterbuch ( $D_{global}$ ), das den Eingaberaum approximiert, und ein Mediator-Wörterbuch ( $D_{med}$ ), das als Wissensprior dient.
- Intervention: Nutzt einen Dual-Aufmerksamkeitsmechanismus, um relevante Prototypen aus diesen Wörterbüchern basierend auf dem BACL-Ausgang abzurufen. Dies approximiert die Front-door-Adjustment-Formel, isoliert den genuine kausalen Effekt durch Intervention am Mediator und behandelt somit Verzerrungen, die keinen direkten beobachtbaren Pfad aufweisen.
Fusion und Vorhersage:
- Die entzerrten Repräsentationen beider Module werden mittels eines Cross-Modal-Transformers fusioniert.
- Das Modell wird mit einer einheitlichen Verlustfunktion trainiert, die den Mean Squared Error (MSE) und $L_2$ -Regularisierung kombiniert, um kontinuierliche Merkmalswerte für sowohl Big Five- als auch MBTI-Taxonomien vorherzusagen.

Hauptbeiträge

Kausale Analyse: Die Arbeit ist die erste, die Verzerrungen bezüglich der Probanden im multimodalen Persönlichkeitsverständnis durch eine kausale Linse untersucht und dabei explizit sowohl beobachtbare als auch nicht beobachtbare Störgrößen modelliert.
Dualer kausaler Rahmen: Das vorgeschlagene DCAN kombiniert auf einzigartige Weise Back-door- und Front-door-Adjustments in einem einzigen Netzwerk, um demografische und latente Verzerrungen gemeinsam zu mindern, und geht über die standardmäßige likelihood-basierte Abbildung ( $P(Y|X)$ ) hinaus hin zur kausalen Intervention ($P(Y|do(X))$).
Neuer Datensatz (DMSP): Die Autoren haben den Demographic-annotated Multimodal Student Personality (DMSP)-Datensatz erstellt. Im Gegensatz zu bestehenden Benchmarks (z. B. CFI-V2), die sich primär auf Big Five-Merkmale konzentrieren und detaillierte demografische Annotationen vermissen lassen, enthält DMSP 839 dyadische Interaktionsvideos, die mit MBTI-Merkmalen und sensiblen Attributen (Geschlecht, Alter) annotiert sind, was eine rigorose Fairness-Evaluation ermöglicht.
Umfassende Evaluation: Die Arbeit liefert umfangreiche Experimente, die Verbesserungen sowohl bei der Vorhersagegenauigkeit als auch bei Fairness-Metriken (Demographic Parity und Equal Opportunity) belegen.

Experimentelle Ergebnisse
Umfangreiche Experimente wurden auf dem Benchmark CFI-V2 und dem neuen Datensatz DMSP durchgeführt.

Genauigkeit: DCAN erzielte State-of-the-Art-Leistung mit 92,11 % Genauigkeit auf CFI-V2 (eine Verbesserung von 0,12 % gegenüber dem bisherigen Bestwert PMGRT) und 92,90 % Genauigkeit auf DMSP (eine Verbesserung von 1,21 % gegenüber MM-ResVGG).
Fairness: Das Modell reduzierte Verzerrungen signifikant. Auf CFI-V2 betrugen die Verbesserungen bei Demographic Parity (DP) und Equal Opportunity (EO) 6,57 % bzw. 7,97 %. Auf dem DMSP-Datensatz verbesserten sich diese Metriken um 15,38 % bzw. 20,06 %.
Generalisierung: Out-of-Distribution (OOD)-Tests zeigten, dass DCAN eine robuste Leistung über demografische Aufteilungen (Alter, Geschlecht, Ethnie) hinweg beibehält, bei denen Baseline-Modelle versagen, insbesondere beim Umgang mit Geschlechterstereotypen in der MBTI-Dimension T/F (Thinking/Feeling).
Ablation: Das Entfernen entweder von BACL oder FACL führte zu einer Leistungsverschlechterung, was bestätigt, dass sowohl beobachtbare als auch latente Störgrößen gleichzeitig adressiert werden müssen.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass DCAN durch den Wechsel von korrelationsbasiertem Lernen zu kausaler Intervention intrinsische Persönlichkeitssignale erfolgreich von spuriosen demografischen Assoziationen entkoppelt. Die Autoren betonen, dass dieser Ansatz entscheidend für die Entwicklung fairer und zuverlässiger menschenzentrierter KI-Systeme ist, insbesondere in Anwendungen wie der Überwachung der psychischen Gesundheit und personalisierten Empfehlungen, wo Verzerrungen zu schädlichen Ergebnissen führen können. Die Einführung des DMSP-Datensatzes wird als notwendiger Schritt hervorgehoben, um die Lücke in bestehenden Benchmarks hinsichtlich demografischer Annotationen und MBTI-basierter Fairness-Analysen zu schließen. Die Arbeit schließt, dass kausale Entzerrung unerlässlich ist, um Persönlichkeitsverständnismodelle auf diverse und nicht gesehene Probandenpopulationen zu generalisieren.