Technische Samenvatting: ANA – Een AI-gestuurde Multimodale Emotiebewuste Applicatie Gebaseerd op IFS-therapie

1. Probleemstelling en Motivatie

Huidige mentale gezondheidszorgsystemen die gebruikmaken van Kunstmatige Intelligentie zijn voornamelijk beperkt tot unimodale, tekstgebaseerde interacties. Deze systemen missen vaak het vermogen om complexe menselijke emoties te onderscheiden die worden overgebracht via toon, gezichtsuitdrukkingen en handgebaren. Bovendien lijden bestaande multimodale modellen vaak aan zwakke integratiestrategieën, zoals eenvoudige kenmerkconcatenatie zonder rekening te houden met intermodale afhankelijkheden, en een gebrek aan afstemming op gevestigde psychologische theorieën.

Specifiek is er een kloof in computationele modellen die multimodale data (tekst, spraak, visie, gebaren) integreren met Internal Family Systems (IFS) therapie. IFS stelt dat de menselijke geest bestaat uit meerdere onderscheidende "innerlijke delen" (bijv. de Innerlijke Criticus, Beschermer, Overweldigd Deel) met unieke emotionele profielen. Het artikel betoogt dat het effectief modelleren van deze psychologische constructen een gestructureerde aanpak vereist die heterogene emotionele signalen naar specifieke psychologische constructen mapt, een taak die unimodale systemen niet kan bereiken.

2. Voorgestelde Oplossing: Het ANA-model

De auteurs stellen ANA voor (A Multimodal Application for Modeling Emotional States and Adaptive Interaction), een systeem ontworpen om IFS-therapieconcepten na te bootsen. ANA maakt gebruik van een multimodaal leermodel om gebruikersinputs te analyseren over vier verschillende modaliteiten: Tekst, Stem, Gezichtsuitdrukkingen en Handgebaren.

2.1 Systeemarchitectuur en Workflow

Het systeem werkt via een "Reframe Sessie"-workflow:

1. Toegangscontrole: Voordat de interactie begint, valideert het systeem de status van de gebruiker. Als een gebruiker drie of meer "onbehandelde" innerlijke karakters heeft, wordt de toegang tot multimodale inputs beperkt om de gebruiker niet te overweldigen.
2. Inputmodaliteiten:
   • Video: Extraheert gelijktijdig tekst, vocale emotie, handgebaren en gezichtsuitdrukkingen.
   • Alleen Tekst: Verwerkt geschreven input.
   • Alleen Stem: Verwerkt spraaksignalen en toon.
   • Opmerking: Arabische inputs worden automatisch vertaald naar het Engels vóór analyse.
3. Verwerking: Elke modaliteit wordt verwerkt door een specifieke encoder om kenmerken te extraheren.
4. Fusie: Een fusiemodule integreert deze signalen om het interne karakterprofiel van de gebruiker bij te werken en een beoordeling van de emotionele staat te geven.
5. Output: Het systeem identificeert het dominante "innerlijke karakter" en de emotionele staat, en slaat gegevens op voor gedragsmonitoring.

3. Methodologie

3.1 Data Preprocessing

• Tekst: Omvat normalisatie, tokenisatie, stopwoordverwijdering, vocabulaire-encodering en padding/truncatie om vaste lengte sequenties te creëren.
• Stem: Omvat resampling (16 kHz), ruisonderdrukking, stilte-trimming, framing en kenmerkextractie (MFCCs, Chroma, Mel-spectrogram, ZCR, RMS, Spectral Centroid). Kenmerken worden gestandaardiseerd en gereduceerd via PCA.
• Handgebaren: Gebruikt MediaPipe om 21 handlandmarks te detecteren. Coördinaten worden genormaliseerd (translatie en schaal) ten opzichte van de pols, platgeslagen tot een 42-dimensionale vector en voorbereid voor classificatie.
• Gezichtsuitdrukkingen: Afbeeldingen worden omgezet naar grijswaarden, geresized naar 48x48 pixels, genormaliseerd en geaugmenteerd (rotatie, shear, zoom) tijdens de training.

3.2 Modaliteit-specifieke Encoders

Het systeem maakt gebruik van gespecialiseerde encoders voor elk type input:

• Tekst Encoder: Een hybride CNN + BiLSTM model. CNN-lagen extraheren lokale N-gram kenmerken, gevolgd door max pooling en BiLSTM-lagen om langetermijnafhankelijkheden te vangen. De output classificeert het "innerlijke karakter" (bijv. Innerlijke Criticus, Beschermer).
• Stem Encoder: Maakt gebruik van handmatige akoestische kenmerken (MFCCs, toonhoogte, energie) die via PCA zijn gereduceerd en geclassificeerd met een K-Nearest Neighbors (KNN) algoritme om emotionele staten te herkennen.
• Handgebar Encoder: Een Multi-Layer Perceptron (MLP) classifier die genormaliseerde landmark-vectoren verwerkt om statische en dynamische gebaren te herkennen.
• Gezichtsuitdrukking Encoder: Een Convolutionele Neurale Netwerk (CNN) (gebaseerd op Caffe SSD/ResNet-10 voor detectie) die emoties classificeert vanuit gezichtsafbeeldingen.

3.3 Fusiestrategieën

Het artikel evalueert drie fusie-benaderingen:

1. Early Fusion: Het concateneren van kenmerken vóór classificatie.
2. Late Fusion: Elke modaliteit doet een onafhankelijke voorspelling, die vervolgens worden gecombineerd via gewogen stemming.
3. Hybride Fusie: Een combinatie van kenmerk-niveau en beslissingsniveau fusie.
   De resultaten geven aan dat Late Fusion de meest effectieve strategie is, omdat het elke modaliteit in staat stelt onafhankelijke beslissingen te nemen voordat ze worden geaggregeerd, wat het systeem robuust maakt tegen ontbrekende of ruisgevoelige inputs.

4. Experimentele Resultaten

4.1 Datasets

De studie maakte gebruik van diverse datasets voor training en evaluatie:

• Tekst: Geaggregeerd uit bronnen zoals Counseling, DailyDialog, GoEmotions, en RedditMentalHealth (360.000 samples).
• Stem: Benchmark datasets inclusief RAVDESS, TESS, CREMA-D, SAVEE, en EMO-DB (4.800 samples).
• Gezicht: FER-2013, AffectNet, en CK+ (35.887 samples).
• Handgebaren: Een aangepaste dataset (ANAHandGestures.csv) gemaakt met MediaPipe (6.153 samples).

4.2 Prestatie-indicatoren

De unimodale modellen behaalden de volgende nauwkeurigheden:

• Stem Emotieherkenning (KNN): 98% (Hoogste prestatie; toegeschreven aan sterke akoestische scheidbaarheid).
• Tekst Innerlijk Karakter Classificatie (CNN+BiLSTM): 97%.
• Handgebaar Herkenning (MLP): 93%.
• Gezichtsuitdrukking Herkenning (CNN): 88% (Lager door gevoeligheid voor verlichting en expressie-overlap).

4.3 Analyse

• Stem en Tekst werden geïdentificeerd als de sterkste voorspellers van de emotionele staat en het innerlijke karakter.
• Gezicht en Handgebaren dienden als complementaire signalen, die niet-verbale feedback boden die ambiguïteit in tekst of stem hielpen oplossen (bijv. het detecteren van een "Beschermer" die verdriet verbergt achter een glimlach).
• Verwarringsmatrices toonden diagonale dominantie over alle modaliteiten, waarbij fouten primair optraden tussen vergelijkbare emotionele klassen (bijv. neutraal versus verdrietig).
• ROC-analyse bevestigde hoge AUC-waarden voor alle modaliteiten, wat wijst op sterke klasse-scheiding.

5. Belangrijkste Bijdragen

Het artikel schetst de volgende specifieke bijdragen:

1. Gestructureerd Multimodaal Model: Ontwikkeling van een systeem dat vier modaliteiten (tekst, stem, gezicht, gebaar) integreert, specifiek binnen het kader van Affective Computing en IFS-therapie.
2. Gespecialiseerde Encoders:
   • Een CNN-BiLSTM tekst encoder voor innerlijke karakter classificatie.
   • Een PCA-KNN stem emotie herkenningssysteem.
   • Een CNN-gebaseerd gezichtsemotie herkenningssysteem.
   • Een lichtgewicht MediaPipe-gebaseerd handgebaar herkenningsmodule.
3. Multimodale Fusie: Implementatie van een fusiesysteem dat deze modaliteiten combineert om zowel emotionele staten als innerlijke psychologische karakters te herkennen.
4. Deployment: Een functionele web-inferentiedienst (gebaseerd op Flask) met een mobiele interface die real-time multimodale analyse afhandelt, inclusief Arabisch-naar-Engels vertaling en toegangscontrole op basis van de psychologische status van de gebruiker.

6. Betekenis en Claims

De auteurs beweren dat het ANA-model verder gaat dan gangbare chatbot-gebaseerde mentale gezondheidssystemen door een rijker, belichaamd interactiemodel te creëren. Door gebruik te maken van multimodale leerprocessen, bereikt het systeem een robuuster begrip van de gebruiker dan unimodale systemen.

• Validatie van Multimodaliteit: De studie demonstreert dat het combineren van modaliteiten de individuele zwakheden compenseert (bijv. tekstuele ambiguïteit of gezichtsocclusie), waardoor de begripscapaciteit van het systeem effectief wordt verdubbeld vergeleken met single-input modi.
• Therapeutische Afstemming: Het systeem slaagt erin technische AI-outputs (emotieherkenning) succesvol te mappen naar psychologische constructen (IFS innerlijke delen), waardoor de kloof tussen deep learning en klinische therapeutische modellen wordt overbrugd.
• Praktisch Nut: De deployment-architectuur ondersteunt real-time verwerking en gaat om met real-world uitdagingen zoals ruis, variaties in verlichting en ontbrekende modaliteiten door middel van adaptieve fusiestrategieën.

Het artikel concludeert dat hoewel individuele modaliteiten beperkingen hebben (bijv. de nauwkeurigheid van gezichtsherkenning daalt bij slechte verlichting), de geïntegreerde multimodale aanpak een uitgebreide en contextbewuste beoordeling van de interne psychologische staat van een gebruiker biedt, wat de effectiviteit van het voorgestelde model voor gepersonaliseerde mentale gezondheidssteun valideert.