FAIR_XAI: Improving Multimodal Foundation Model Fairness via Explainability for Wellbeing Assessment

Technische Samenvatting: FAIR_XAI

1. Probleemstelling (The Problem)

De integratie van Vision-Language Models (VLM's) in de geestelijke gezondheidszorg biedt enorme kansen voor de automatische beoordeling van welzijn en depressie. Echter, de inzet van deze modellen in klinische settings wordt bemoeilijkt door twee kritieke barrières:

• Het "Black-Box" dilemma: Een gebrek aan transparantie maakt het voor clinici onmogelijk om te bepalen of een diagnose gebaseerd is op klinische biomarkers of op foutieve correlaties.
• Demografische Bias: Er bestaat een groot risico dat deze modellen vooroordelen (zoals gender- of raciale bias) overnemen uit hun trainingsdata, wat leidt tot onrechtvaardige diagnoses voor minderheidsgroepen.

Het onderzoek richt zich op de vraag hoe de prestaties, de aard van de bias en de effectiviteit van Explainable AI (XAI) interventies variëren tussen gecontroleerde laboratoriumomgevingen en natuurlijke klinische omgevingen.

2. Methodologie (Methodology)

De auteurs introduceren het FAIR_XAI-framework, dat gebruikmaakt van twee verschillende pijplijnen voor depressieclassificatie (binair: depressief vs. niet-depressief):

• Generatieve Pijplijn (Zero-shot): Gebruikt state-of-the-art VLM's (Qwen2-VL en Phi-3.5-Vision) via prompting. De input bestaat uit een gecombineerde prompt van demografische metadata, geselecteerde klinische biomarkers (geëxtraheerd via mutual information) en instructies.
• Embedding-gebaseerde Pijplijn: Hierbij worden bevroren (frozen) VLM-tekst-embeddings gecombineerd met audio- (OpenSMILE) en gezichtsfeatures (OpenFace 2.0) via een early fusion mechanisme en een lichtgewicht classificatiekop.

Interventiestrategieën:

1. Prompt-gebaseerde interventie: Gebruik van Chain-of-Thought (CoT) redenering en expliciete "fairness rules" in de prompt om het model te dwingen klinische indicatoren te gebruiken en demografische factoren te negeren.
2. Counterfactual Fairness Algorithm (CFA): Een training-time interventie voor de embedding-pijplijn die features die sterk correleren met gevoelige attributen (zoals gender) straft via een aangepaste loss-functie.

Evaluatiemetrieken:

• Prestaties: Accuracy, F1-score en Cohen’s Kappa ($\kappa$).
• Fairness: Equal Accuracy (EA), Equal Opportunity (EO) en Disparate Impact (DI).
• Explainability: $\Delta REF$ (Ratio-based Explanation Fairness), die meet of de kwaliteit van de redenering consistent is tussen meerderheids- en minderheidsgroepen.

3. Belangrijkste Bijdragen (Key Contributions)

• Cross-domain Benchmark: Een vergelijking van VLM-prestaties tussen de laboratoriumdataset (AFAR-BSFT) en de natuurlijke dataset (E-DAIC).
• Fairness Audit: Een diepgaande analyse die aantoont dat bias niet alleen aanwezig is, maar ook architectuur-specifiek verschilt.
• Evaluatie van XAI-interventies: Een kritische blik op de relatie tussen procedurele transparantie (uitlegbaarheid) en de daadwerkelijke rechtvaardigheid van de uitkomst.

4. Resultaten (Results)

De resultaten laten een complex en soms tegenstrijdig beeld zien:

• Prestatievariatie (RQ1): Er is een enorme discrepantie tussen modellen en omgevingen. Op de E-DAIC dataset presteerde Phi-3.5-Vision uitstekend (80,4% accuracy), terwijl Qwen2-VL faalde (33,9%). In lab-settings (AFAR-BSFT) vertoonden beide modellen een neiging tot over-prediction (hoge sensitiviteit, lage specificiteit).
• Architectuur-specifieke Bias (RQ2): Bias is niet uniform. Qwen2-VL vertoonde voornamelijk gender-bias, terwijl Phi-3.5-Vision sterker werd beïnvloed door raciale bias. Bovendien kon het combineren van bepaalde modaliteiten (bijv. tekst + gezicht) de bias juist versterken in plaats van verminderen.
• De Paradox van XAI (RQ3): De interventies leverden gemengde resultaten op:
  • Bij Qwen2-VL verbeterde de logische consistentie van de uitleg ($\Delta REF$), maar dit leidde tot een verergering van de raciale bias in de uitkomst.
  • Bij Phi-3.5-Vision leidde de interventie tot "fairness through failure": de bias nam af, maar de voorspellende kracht stortte in (sub-random performance).
  • De CFA-methode leidde tot model collapse, waarbij het model simpelweg alle patiënten als "niet-depressief" classificeerde om de bias te minimaliseren.

5. Betekenis en Conclusie (Significance)

De belangrijkste wetenschappelijke implicatie is dat procedurele transparantie (uitlegbaarheid) niet gelijkstaat aan rechtvaardige uitkomsten. Een model kan een logische verklaring geven die gebaseerd is op bevooroordeelde interne representaties.

Aanbevelingen voor de klinische praktijk:

• VLM's mogen nooit autonoom diagnosticeren; ze moeten enkel dienen als ondersteunend screeningsinstrument.
• Ontwikkelaars moeten fairness testen op meerdere demografische assen tegelijkertijd.
• Er moet gewaakt worden voor "hallucinerende" uitleg: een plausibele verklaring is geen bewijs voor een correcte of eerlijke diagnose.