DynaBridge: Dynamic Summary-Guided Cross-Task Multimodal Fusion for DASS-Structured Mental Health Assessment

Sintesi Tecnica: DynaBridge per la Valutazione della Salute Mentale Strutturata su DASS

Problematica
Gli attuali approcci multimodali per la valutazione di depressione, ansia e stress (DAS) trattano spesso i label di rischio finali come target di classificazione indipendenti, ignorando la sottostante struttura psicometrica degli strumenti di valutazione. Nello specifico, nelle scale Depression Anxiety Stress (DASS-21), i punteggi di rischio sono derivati da sottoinsiemi fissi di 21 item ordinali relativi ai sintomi. Trattare le risposte agli item e i rischi delle sottoscale come output indipendenti può portare a previsioni incoerenti. Inoltre, sebbene i Large Language Models (LLM) offrano capacità di riepilogo semantico, utilizzarli come predittori diagnostici diretti è rischioso a causa del potenziale di allucinazioni e del disallineamento con i segnali comportamentali osservabili o le regole psicometriche.

Metodologia: DynaBridge
Gli autori propongono DynaBridge, un framework multimodale dinamico guidato da riepiloghi cross-task, progettato per collegare indizi acustici, visivi e testuali con evidenze semantiche generate da LLM e la struttura psicometrica del DASS-21. Il framework opera attraverso le seguenti fasi:

1. Rappresentazione Multimodale e Guidata dal Riepilogo:

   • Input: Il modello elabora dati provenienti da quattro sessioni: una sessione di lettura a testo fisso (solo acustica/visiva) e tre sessioni a risposta libera (stato quotidiano, memoria positiva, memoria negativa) contenenti audio, video e trascrizioni.
   • Codifica delle Sessioni: Le caratteristiche acustiche, visive e testuali vengono codificate per sessione e aggregate in una rappresentazione a livello di partecipante ($h_i$).
   • Generazione di Riepiloghi Dinamici: Un LLM congelato genera tre livelli di riepiloghi consapevoli del DASS solo dalle trascrizioni delle risposte libere, senza accedere ai label di ground-truth o alle predizioni del modello.
     • Fase 1: Indizi affettivi/comportamentali globali del partecipante.
     • Fase 2: Evidenze organizzate nelle categorie Depressione, Ansia e Stress.
     • Fase 3: Evidenze a livello di item per i 21 item del DASS, contrassegnando l'evidenza come esplicita, debole o non osservata.
   • Fusione: Questi riepiloghi vengono codificati in una rappresentazione semantica ($e^{sum}_i$) e fusi con la rappresentazione multimodale del partecipante per creare uno spazio latente condiviso ($z_i$).

2. Teste di Predizione Cross-Task:

   • Predizione Ordinale degli Item: Il modello predice una distribuzione di probabilità su quattro livelli ordinali (0–3) per ciascuno dei 21 item del DASS, preservando l'incertezza.
   • Ricostruzione Item-to-Risk Strutturata sul DASS: Utilizzando la mappatura predefinita del DASS-21, i punteggi attesi degli item vengono ricostruiti in punteggi di sottoscala (Depressione, Ansia, Stress). Questi vengono mappati in probabilità di rischio.
   • Fusione del Rischio: La predizione finale del rischio combina la predizione del rischio multimodale diretta e l'evidenza del rischio ricostruita (derivata dalle predizioni degli item) tramite un peso di interpolazione specifico per dimensione. Ciò garantisce la coerenza tra l'evidenza fine degli item e i label di rischio grossolani.

3. Raffinamento degli Item Consapevole della Confidenza (Solo Inferenza):

   • In fase di inferenza, se il riepilogo generato dall'LLM fornisce un'evidenza esplicita e ad alta confidenza per un particolare item, la distribuzione predetta dal modello viene raffinata in modo conservativo.
   • Questo raffinamento è regolato sia dalla confidenza del riepilogo che dalla confidenza del modello stesso, per evitare che indizi LLM non supportati sovrascrivano forti predizioni comportamentali.

4. Obiettivo di Addestramento:

   • Il modello è ottimizzato utilizzando una somma pesata di perdite: supervisione a livello di rischio, supervisione ordinale a livello di item (con una penalità di distanza), supervisione della ricostruzione e una perdita di coerenza per allineare le predizioni dirette e quelle ricostruite del rischio.

Contributi Chiave

• Formulazione Cross-Task Strutturata: Il documento formula la valutazione DASS come un problema cross-task ordinale strutturato, collegando esplicitamente le risposte a livello di item con la predizione del rischio della sottoscala, anziché trattarle come target indipendenti.
• Fusione Guidata da Riepiloghi Dinamici: Introduce un framework che integra riepiloghi semantici generati da LLM congelati come una distinta modalità, fungendo da estrattori di evidenza strutturata piuttosto che da generatori di pseudo-label.
• Meccanismi di Ricostruzione e Raffinamento: Gli autori propongono una ricostruzione item-to-risk consapevole del DASS per imporre la coerenza psicometrica e una strategia di raffinamento consapevole della confidenza per incorporare conservativamente gli indizi semantici durante l'inferenza.

Risultati
Valutato sull'ufficiale split di validazione AdoDAS (un benchmark preservante la privacy per la salute mentale degli adolescenti), DynaBridge ha superato il baseline ufficiale e i metodi multimodali rappresentativi (es. CubeMLP, Summary-enhanced Fusion).

• Predizione del Rischio (A1): Ha raggiunto un F1 medio di 0.5012 (rispetto allo 0.4604 del baseline) e un AUROC medio di 0.7585.
• Predizione degli Item (A2): Ha raggiunto un Quadratic Weighted Kappa (QWK) medio di 0.3216 (rispetto allo 0.2675 del baseline) e il più basso Mean Absolute Error (MAE).
• Studi di Ablazione: Hanno confermato che i riepiloghi dinamici, la modellazione ordinale, la ricostruzione item-to-risk e il raffinamento consapevole della confidenza hanno tutti contribuito incrementalmente ai guadagni di performance.

Significato e Rivendicazioni
L'articolo sostiene che DynaBridge dimostra il valore di collegare gli indizi comportamentali multimodali, i riepiloghi semantici e la specifica struttura psicometrica dei label derivati dai questionari. Rispettando la mappatura item-sottoscala del DASS-21, il modello ottiene predizioni più coerenti e interpretabili. Gli autori sottolineano che DynaBridge è un sistema computazionale orientato allo screening, non uno strumento di diagnosi clinica. Il suo significato risiede nel migliorare l'ispezionabilità del processo di valutazione (tracciando i rischi fino all'evidenza dell'item) e nello sfruttare la natura strutturata delle scale psicologiche per migliorare la fusione multimodale, piuttosto che affidarsi a una classificazione black-box end-to-end. I risultati suggeriscono che sfruttare la struttura psicometrica dei label è vantaggioso per la valutazione multimodale della salute mentale.