Technisches Resümee: ANA – Eine KI-gestützte, multimodale, emotionsbewusste Anwendung basierend auf der IFS-Therapie

1. Problemstellung und Motivation

Aktuelle Systeme zur Unterstützung der psychischen Gesundheit, die Künstliche Intelligenz nutzen, sind überwiegend auf unimodale, textbasierte Interaktionen beschränkt. Diese Systeme verfügen oft nicht über die Kapazität, komplexe menschliche Emotionen zu erfassen, die durch Tonfall, Gesichtsausdrücke und Handgesten vermittelt werden. Darüber hinaus leiden bestehende multimodale Modelle häufig unter schwachen Integrationsstrategien, wie etwa einer einfachen Merkmalskonkatenierung ohne Berücksichtigung intermodaler Abhängigkeiten, sowie einem Mangel an Ausrichtung an etablierten psychologischen Theorien.

Speziell besteht eine Lücke bei computationalen Modellen, die multimodale Daten (Text, Sprache, Vision, Gestik) mit der Internal Family Systems (IFS) Therapie integrieren. Die IFS-Therapie postuliert, dass der menschliche Geist aus mehreren distinkten „inneren Teilen“ (z. B. dem Inneren Kritiker, dem Beschützer, dem Überwältigten Teil) mit einzigartigen emotionalen Profilen besteht. Die Arbeit argumentiert, dass eine effektive Modellierung dieser psychologischen Konstrukte einen strukturierten Ansatz erfordert, der heterogene emotionale Signale spezifischen psychologischen Konstrukten zuordnet – eine Aufgabe, die unimodale Systeme nicht bewältigen können.

2. Vorgeschlagene Lösung: Das ANA-Modell

Die Autoren schlagen ANA vor (A Multimodal Application for Modeling Emotional States and Adaptive Interaction), ein System, das darauf ausgelegt ist, IFS-Therapiekonzepte nachzuahmen. ANA nutzt ein multimodales Lernparadigma, um Benutzereingaben über vier verschiedene Modalitäten hinweg zu analysieren: Text, Stimme, Gesichtsausdruck und Handgestik.

2.1 Systemarchitektur und Arbeitsablauf

Das System arbeitet durch einen „Reframe Session“-Arbeitsablauf:

1. Zugriffskontrolle: Vor der Interaktion validiert das System den Status des Benutzers. Wenn ein Benutzer drei oder mehr „ungeheilte“ innere Charaktere besitzt, wird der Zugriff auf multimodale Eingaben eingeschränkt, um den Benutzer nicht zu überfordern.
2. Eingabemodalitäten:
   • Video: Extrahiert gleichzeitig Text, vokale Emotionen, Handgesten und Gesichtsausdrücke.
   • Nur Text: Verarbeitet schriftliche Eingaben.
   • Nur Stimme: Verarbeitet Audiosignale und Tonfall.
   • Hinweis: Arabische Eingaben werden vor der Analyse automatisch ins Englische übersetzt.
3. Verarbeitung: Jede Modalität wird durch einen spezifischen Encoder verarbeitet, um Merkmale zu extrahieren.
4. Fusion: Ein Fusionsmodul integriert diese Signale, um das interne Charakterprofil des Benutzers zu aktualisieren und eine Bewertung des emotionalen Zustands vorzunehmen.
5. Ausgabe: Das System identifiziert den dominanten „inneren Charakter“ sowie den emotionalen Zustand und speichert die Daten zur Verhaltensverfolgung.

3. Methodik

3.1 Datenvorverarbeitung

• Text: Umfasst Normalisierung, Tokenisierung, Entfernung von Stoppwörtern, Vokabular-Kodierung sowie Padding/Truncation, um Sequenzen fester Länge zu erstellen.
• Stimme: Beinhaltet Resampling (16 kHz), Rauschreduzierung, Stille-Trimmen, Framing und Merkmalsextraktion (MFCCs, Chroma, Mel-Spektrogramm, ZCR, RMS, Spektrale Zentroid-Werte). Die Merkmale werden standardisiert und mittels PCA reduziert.
• Handgestik: Verwendet MediaPipe zur Erkennung von 21 Hand-Landmarken. Die Koordinaten werden relativ zum Handgelenk normalisiert (Translation und Skalierung), in einen 42-dimensionalen Vektor flachgedrückt (flattened) und für die Klassifizierung vorbereitet.
• Gesichtsausdruck: Bilder werden in Graustufen konvertiert, auf 48x48 Pixel skaliert, normalisiert und während des Trainings augmentiert (Rotation, Scherung, Zoom).

3.2 Modalitätsspezifische Encoder

Das System verwendet spezialisierte Encoder für jeden Eingabetyp:

• Text-Encoder: Ein hybrides CNN + BiLSTM-Modell. CNN-Schichten extrahieren lokale N-Gramm-Merkmale, gefolgt von Max-Pooling und BiLSTM-Schichten, um langfristige Abhängigkeiten zu erfassen. Die Ausgabe klassifiziert den „inneren Charakter“ (z. B. Innerer Kritiker, Beschützer).
• Stimme-Encoder: Nutzt handgefertigte akustische Merkmale (MFCCs, Pitch, Energie), die mittels PCA reduziert und mithilfe eines K-Nearest-Neighbors (KNN) Algorithmus klassifiziert werden, um emotionale Zustände zu erkennen.
• Handgestik-Encoder: Ein Multi-Layer Perceptron (MLP) Klassifikator, der normalisierte Landmark-Vektoren verarbeitet, um statische und dynamische Gesten zu erkennen.
• Gesichtsausdruck-Encoder: Ein Convolutional Neural Network (CNN) (basierend auf Caffe SSD/ResNet-10 zur Detektion), das Emotionen aus Gesichtsbildern klassifiziert.

3.3 Fusionsstrategien

Die Arbeit evaluiert drei Fusionsansätze:

1. Early Fusion: Konkatenierung der Merkmale vor der Klassifizierung.
2. Late Fusion: Jede Modalität trifft eine unabhängige Vorhersage, die anschließend über gewichtetes Voting kombiniert wird.
3. Hybrid Fusion: Eine Kombination aus Merkmals- und Entscheidungsebene-Fusion.
   Die Ergebnisse zeigen, dass Late Fusion die effektivste Strategie ist, da sie es jeder Modalität ermöglicht, unabhängige Entscheidungen zu treffen, bevor sie aggregiert werden, was das System robust gegenüber fehlenden oder verrauschten Eingaben macht.

4. Experimentelle Ergebnisse

4.1 Datensätze

Die Studie nutzte diverse Datensätze für das Training und die Evaluierung:

• Text: Aggregiert aus Quellen wie Counseling, DailyDialog, GoEmotions und RedditMentalHealth (360.000 Stichproben).
• Stimme: Benchmark-Datensätze einschließlich RAVDESS, TESS, CREMA-D, SAVEE und EMO-DB (4.800 Stichproben).
• Gesicht: FER-2013, AffectNet und CK+ (35.887 Stichproben).
• Handgestik: Ein benutzerdefinierter Datensatz (ANAHandGestures.csv), erstellt mittels MediaPipe (6.153 Stichproben).

4.2 Leistungsmetriken

Die unimodalen Modelle erreichten folgende Genauigkeiten:

• Stimm-Emotionserkennung (KNN): 98 % (Höchste Leistung; zurückzuführen auf starke akustische Separierbarkeit).
• Text-Klassifikation des inneren Charakters (CNN+BiLSTM): 97 %.
• Handgestenerkennung (MLP): 93 %.
• Gesichtsausdruckserkennung (CNN): 88 % (Niedriger aufgrund der Sensibilität gegenüber Beleuchtung und Ausdrucksüberlappung).

4.3 Analyse

• Stimme und Text wurden als die stärksten Prädiktoren für den emotionalen Zustand und den inneren Charakter identifiziert.
• Gesicht und Handgesten dienten als komplementäre Signale, die nicht-verbale Rückmeldungen lieferten, die Mehrdeutigkeiten in Text oder Stimme auflösen konnten (z. B. das Erkennen eines „Beschützers“, der Traurigkeit hinter einem Lächeln verbirgt).
• Konfusionsmatrizen zeigten eine diagonale Dominanz über alle Modalitäten hinweg, wobei Fehler primär zwischen ähnlichen Emotionsklassen auftraten (z. B. neutral vs. traurig).
• ROC-Analysen bestätigten hohe AUC-Werte für alle Modalitäten, was auf eine starke Klassentrennung hindeutet.

5. Zentrale Beiträge

Die Arbeit skizziert die folgenden spezifischen Beiträge:

1. Strukturiertes multimodales Modell: Entwicklung eines Systems, das vier Modalitäten (Text, Stimme, Gesicht, Gestik) speziell innerhalb des Rahmens des Affective Computing und der IFS-Therapie integriert.
2. Spezialisierte Encoder:
   • Ein CNN-BiLSTM Text-Encoder zur Klassifizierung des inneren Charakters.
   • Ein PCA-KNN Stimme-Emotionserkennungssystem.
   • Ein CNN-basierter Gesichtsausdruck-Erkennungssystem.
   • Ein leichtgewichtiges, auf MediaPipe basierendes Handgesten-Erkennungsmodul.
3. Multimodale Fusion: Implementierung eines Fusionssystems, das diese Modalitäten kombiniert, um sowohl emotionale Zustände als auch die inneren psychologischen Charaktere zu erkennen.
4. Bereitstellung: Ein funktionaler Web-Inferenzdienst (Flask-basiert) mit einer mobilen Schnittstelle, die Echtzeit-multimodale Analysen inklusive Arabisch-zu-Englisch-Übersetzung und Zugriffskontrolle basierend auf dem psychologischen Status des Benutzers ermöglicht.

6. Bedeutung und Ansprüche

Die Autoren behaupten, dass das ANA-Modell über gängige Chatbot-basierte Mental-Health-Systeme hinausgeht, indem es ein reicheres, verkörpertes Interaktionsmodell schafft. Durch die Nutzung von multimodalem Lernen erreicht das System ein robusteres Verständnis des Benutzers als unimodale Systeme.

• Validierung der Multimodalität: Die Studie zeigt, dass die Kombination von Modalitäten die individuellen Schwächen (z. B. Text-Ambiguität oder Gesichtsozzusion) kompensiert und dadurch die Verständniskapazität des Systems im Vergleich zu Single-Input-Modi effektiv verdoppelt.
• Therapeutische Ausrichtung: Das System bildet technische KI-Outputs (Emotionserkennung) erfolgreich auf psychologische Konstrukte (IFS-innere Teile) ab und schließt so die Lücke zwischen Deep Learning und klinischen Therapiemodellen.
• Praktischer Nutzen: Die Deployment-Architektur unterstützt die Echtzeitverarbeitung und bewältigt reale Herausforderungen wie Rauschen, Lichtvariationen und fehlende Modalitäten durch adaptive Fusionsstrategien.

Die Arbeit kommt zu dem Schluss, dass, obwohl einzelne Modalitäten Limitationen aufweisen (z. B. sinkende Genauigkeit der Gesichtserkennung bei schlechten Lichtverhältnissen), der integrierte multimodale Ansatz eine umfassende und kontextsensitive Bewertung des internen psychologischen Zustands eines Benutzers ermöglicht, was die Effektivität des vorgeschlagenen Modells für personalisierte psychologische Unterstützung validiert.