DynaBridge: Dynamic Summary-Guided Cross-Task Multimodal Fusion for DASS-Structured Mental Health Assessment

Technische Samenvatting: DynaBridge voor DASS-gestructureerde mentale gezondheidsbeoordeling

Probleemstelling
Huidige multimodale benaderingen voor het beoordelen van depressie, angst en stress (DAS) behandelen de uiteindelijke risicolabels vaak als onafhankelijke classificatiedoelen, waarbij de onderliggende psychometrische structuur van de beoordelingsinstrumenten wordt genegeerd. Specifiek, in de Depression Anxiety Stress Scales (DASS-21), worden risicoscores afgeleid van vaste subsets van 21 ordinale symptoomitems. Het behandelen van itemreacties en subschaalrisico's als onafhankelijke outputs kan leiden tot inconsistente voorspellingen. Bovendien bieden Large Language Models (LLM's) weliswaar semantische samenvattingsmogelijkheden, maar het gebruik van deze modellen als directe diagnostische voorspellers is riskant vanwege het potentieel voor hallucinaties en een gebrek aan afstemming met observeerbare gedragscues of psychometrische regels.

Methodologie: DynaBridge
De auteurs stellen DynaBridge voor, een dynamisch door samenvattingen gestuurd cross-task multimodal framework dat ontworpen is om akoestische, visuele en tekstuele cues te overbruggen met door LLM gegenereerde semantische bewijslast en de DASS-21 psychometrische structuur. Het framework werkt via de volgende fasen:

1. Multimodale en door samenvattingen gestuurde representatie:

   • Input: Het model verwerkt gegevens uit vier sessies: één sessie met vaste tekstlezing (alleen akoestisch/visueel) en drie vrije-respons sessies (dagelijkse staat, positieve herinnering, negatieve herinnering) die audio, video en transcripten bevatten.
   • Sessie-encodering: Akoestische, visuele en tekstuele kenmerken worden per sessie gecodeerd en geaggregeerd tot een deelnemersniveau-representatie ($h_i$).
   • Dynamische samenvattinggeneratie: Een bevroren LLM genereert drie niveaus van DASS-bewuste samenvattingen alleen op basis van de vrije-respons transcripten, zonder toegang tot grondwaarheid-labels of modelvoorspellingen.
     • Fase 1: Globale affectieve/gedragsmatige cues op deelnemersniveau.
     • Fase 2: Bewijs georganiseerd in categorieën voor Depressie, Angst en Stress.
     • Fase 3: Item-niveau bewijs voor de 21 DASS-items, waarbij bewijs wordt gemarkeerd als expliciet, zwak of niet-geobserveerd.
   • Fusie: Deze samenvattingen worden gecodeerd in een semantische representatie ($e^{sum}_i$) en gefuseerd met de multimodale deelnemersrepresentatie om een gedeelde latente ruimte ($z_i$) te creëren.

2. Cross-Task Voorspellingskoppen:

   • Ordinale Item-voorspelling: Het model voorspelt een waarschijnlijkheidsverdeling over de vier ordinale niveaus (0–3) voor elk van de 21 DASS-items, waarbij onzekerheid behouden blijft.
   • DASS-gestructureerde Item-naar-Risico Reconstructie: Gebruikmakend van de vooraf gedefinieerde DASS-21 mapping, worden de verwachte itemscores gereconstrueerd naar subschaalscores (Depressie, Angst, Stress). Deze worden gemapt naar risicokansen.
   • Risicofusie: De uiteindelijke risicovoorspelling combineert de directe multimodale risicovoorspelling en de gereconstrueerde risicobewijslast (afgeleid van itemvoorspellingen) via een dimensie-specifieke interpolatieweging. Dit zorgt voor consistentie tussen fijnmazig itembewijs en grove risicolabels.

3. Vertrouwensbewuste Item-verfijning (Alleen bij Inferentie):

   • Tijdens inferentie, indien de door de LLM gegenereerde samenvatting expliciet, hoog-betrouwbaar bewijs levert voor een specifelijk item, wordt de voorspelde itemverdeling van het model conservatief verfijnd.
   • Deze verfijning wordt afgeschermd door zowel de betrouwbaarheid van de samenvatting als de eigen betrouwbaarheid van het model, om te voorkomen dat ononderbouwde LLM-cues sterke gedragsvoorspellingen overschrijven.

4. Trainingsdoelstelling:

   • Het model wordt geoptimaliseerd met behulp van een gewogen som van verliezen: risiconiveau-supervisie, item-niveau ordinale supervisie (met een afstandsstraf), reconstructie-supervisie, en een consistentieverlies om directe en gereconstrueerde risicovoorspellingen op elkaar af te stemmen.

Belangrijkste Bijdragen

• Gestructureerde Cross-Task Formulering: Het artikel formuleert DASS-beoordeling als een gestructureerd ordinaal cross-task probleem, waarbij de relatie tussen item-niveau responsen en subschaal risicovoorspelling expliciet wordt gelegd in plaats van ze als onafhankelijke targets te behandelen.
• Dynamische Samenvatting-gestuurde Fusie: Het introduceert een framework dat bevroren door LLM gegenereerde semantische samenvattingen als een aparte modaliteit integreert, dienend als gestructureerde bewijsextractoren in plaats van pseudo-label generatoren.
• Reconstructie en Verfijningsmechanismen: De auteurs stellen DASS-bewuste item-naar-risico reconstructie voor om psychometrische consistentie af te dwingen, en een vertrouwensbewuste verfijningsstrategie om semantische cues tijdens inferentie conservatief te incorporeren.

Resultaten
Geëvalueerd op de officiële AdoDAS validatiesplit (een privacy-beschermende benchmark voor adolescenten mentale gezondheid), presteerde DynaBridge beter dan de officiële baseline en representatieve multimodale methoden (bijv. CubeMLP, Summary-enhanced Fusion).

• Risicovoorspelling (A1): Behaalde een gemiddelde F1 van 0.5012 (vs. 0.4604 baseline) en een gemiddelde AUROC van 0.7585.
• Item-voorspelling (A2): Behaalde een gemiddelde Quadratic Weighted Kappa (QWK) van 0.3216 (vs. 0.2675 baseline) en de laagste Mean Absolute Error (MAE).
• Ablatie-studies: Bevestigden dat dynamische samenvattingen, ordinale modellering, item-naar-risico reconstructie en vertrouwensbewuste verfijning elk incrementeel bijdroegen aan de prestatiewinst.

Betekenis en Claims
Het artikel claimt dat DynaBridge de waarde aantoont van het overbruggen van multimodale gedragscues, semantische samenvattingen en de specifieke psychometrische structuur van vragenlijst-afgeleide labels. Door de DASS-21 item-naar-subschaal mapping te respecteren, bereikt het model meer consistente en interpreteerbare voorspellingen. De auteurs benadrukken dat DynaBridge een screening-georiënteerd computationeel systeem is, geen klinisch diagnostisch instrument. De betekenis ligt in het verbeteren van de inspecteerbaarheid van het beoordelingsproces (het traceren van risico's terug naar itembewijs) en het benutten van de gestructureerde aard van psychologische schalen om multimodale fusie te verbeteren, in plaats van te vertrouwen op end-to-end black-box classificatie. De resultaten suggereren dat het exploiteren van de psychometrische structuur van labels voordelig is voor multimodale mentale gezondheidsbeoordeling.