Riepilogo Tecnico: Team MKC a CLPsych 2026

Definizione del Problema

Il documento affronta la sfida di catturare e caratterizzare i cambiamenti nella salute mentale attraverso le timeline dei social media, un compito critico data la prevalenza globale dei disturbi della salute mentale e la limitata accessibilità alle cure professionali. Sebbene i Large Language Models (LLM) abbiano mostrato promesse in domini generali, la loro applicazione alla psicologia clinica è ostacolata dalla scarsità di dati di addestramento dovuta a preoccupazioni sulla privacy. Gli autori si concentrano sul task condiviso CLPsych 2026, che utilizza un dataset introdotto da Tsakalidis et al. (2022b) per identificare i "Momenti di Cambiamento" (MOC — Moments of Change), ovvero punti temporali in cui i cambiamenti nell'umore di un utente diventano osservabili. Il problema centrale riguarda una pipeline di cinque task interrelati:

1. Valutazione a livello di post: Classificazione dei sotto-elementi ABCD e degli stati del sé (adattivi/maladattivi) per i singoli post.
2. Aggregazione a livello di utente: Stima del tasso di presenza di ciascuno stato mentale nella cronologia di un utente.
3. Modellazione Temporale: Identificazione di "Switch" (cambiamenti improvvisi) ed "Escalation" (intensificazioni graduali) in post ordinati cronologicamente.
4. Sintesi (Summarization): Generazione di riassunti degli eventi di cambiamento.
5. Estrazione di Pattern: Rilevamento di firme dinamiche ricorrenti di miglioramento e deterioramento.

Un ostacolo tecnico significativo identificato è il grave squilibrio delle classi e la scarsità di dati all'interno del dataset, dove alcune sottodimensioni contengono un solo esempio di addestramento o nessuno.

Metodologia

Gli autori propongono una pipeline unificata in cinque fasi basata su LLM, progettata per integrare la valutazione a livello di post con la modellazione temporale a livello di utente.

Fase 1: Classificazione a livello di post

Il sistema classifica 12 target indipendenti per ogni post (6 sottodimensioni per gli stati adattivi e 6 per quelli maladattivi).

• Architettura: Qwen3-4B-Embedding (Qwen Embed) funge da estrattore di feature, perfezionato tramite LoRA.
• Strategia di Addestramento: Le embedding vengono immesse in 12 classificatori indipendenti addestrati con perdita Cross-Entropy. Per affrontare lo squilibrio delle classi, gli autori utilizzano il pesaggio per frequenza inversa (limitato a un massimo di 10 per evitare instabilità) e una strategia di validazione incrociata a 5 fold con ensemble.

Fase 2: Valutazione della presenza dello stato del sé

Questa fase predice punteggi numerici (scala Likert da 1 a 5) per gli stati del sé adattivi e maladattivi.

• Architettura: Predittori dedicati effettuano la regressione di valori scalari a partire dalle embedding della Fase 1.
• Strategia di Addestramento: I modelli utilizzano la perdita Huber pesata, dove i pesi sono derivati dalla frequenza inversa dei bin di punteggio. L'output è scalato nell'intervallo [1, 5]. Come per la Fase 1, viene utilizzato un ensemble di validazione incrociata a 5 fold.

Fase 3: Rilevamento del Momento di Cambiamento (MOC)

Questa fase rileva due tipi di transizione: Switch (cambiamento improvviso tra post consecutivi) ed Escalation (intensificazione graduale).

• Architettura: Qwen Embed è perfezionato con LoRA, collegato a due classificatori lineari indipendenti.
• Input: Una finestra scorrevole di dimensione 2 (post al tempo $t-1$ e $t$) per predire le transizioni al tempo $t$.
• Strategia di Addestramento: Binary Cross-Entropy con pesatura adattiva delle classi e un ensemble di validazione incrociata a 5 fold. Gli autori notano che i modelli più grandi (8B) vanno in overfitting sul piccolo dataset (~500 campioni), motivo per cui preferiscono il modello 4B.

Fase 4: Sintesi della sequenza (Sequence Summarization)

L'obiettivo è generare un riassunto in linguaggio naturale dell'intera sequenza, incorporando le annotazioni dei passaggi precedenti.

• Architettura: Supervised Fine-Tuning (SFT) su Qwen3.5-4B e Qwen3-4B-Instruct utilizzando LoRA.
• Inferenza: Il modello prende come input le predizioni delle Fasi 1–3 anziché i dati reali (ground truth), simulando fedelmente l'impostazione della pipeline.
• Sfida: Gli autori hanno osservato che il fine-tuning su questo piccolo dataset a volte ha degradato le prestazioni rispetto al prompting zero-shot, probabilmente a causa della propagazione del rumore e del rischio che il modello sovrascriva la conoscenza pre-addestrata.

Fase 5: Estrazione della firma dinamica

Questo passaggio finale analizza come i componenti dello stato del sé interagiscono attraverso le sequenze per identificare pattern ricorrenti di deterioramento e miglioramento.

• Approccio: Un approccio zero-shot utilizzando Qwen3.5-9B.
• Processo: Per evitare errori di Out-of-Memory, le sequenze vengono suddivise in gruppi per estrarre le firme, che vengono poi riassunte.

Risultati Chiave

• Fasi 1 e 2 (Classificazione e Regressione): Sul set di validazione, il pesaggio adattivo ha migliorato costantemente le prestazioni per la Fase 1. Tuttavia, per la Fase 2, i modelli non pesati hanno ottenuto risultati migliori. Sul set di test, l'ensemble K-fold ha fornito chiari miglioramenti rispetto ai baseline a singolo modello per entrambi i passaggi, grazie a un utilizzo più completo dei dati di addestramento.
• Fase 3 (Rilevamento MOC): Il modello Qwen3-4B ha superato la variante 8B, confermando che i modelli più grandi vanno in overfitting sul dataset limitato. L'ensemble K-fold ha ulteriormente aumentato il punteggio F1 a 0,55.
• Fase 4 (Sintesi): I modelli sottoposti a fine-tuning (Qwen3.5-4B e Qwen3-4B) hanno ottenuto prestazioni inferiori rispetto al baseline zero-shot in termini di coerenza e punteggi di contraddizione. Gli autori attribuiscono ciò al rumore proveniente dai passaggi precedenti e al rischio che il fine-tuning cancelli la conoscenza pre-addestrata.
• Fase 5 (Firme): L'approccio zero-shot ha prodotto punteggi di 0,7266 per il Miglioramento e 0,2301 per il Deterioramento.

Significato e Contributi

Il documento presenta una pipeline completa che unifica la valutazione a livello di post e la modellazione temporale a livello di utente per l'analisi della salute mentale. I suoi principali contributi includono:

1. Framework Unificato: Un sistema coeso che gestisce l'intero spettro, dalla classificazione granulare del post all'estrazione di pattern temporali di alto livello.
2. Robustezza allo Squilibrio: L'uso efficace del pesaggio per frequenza inversa e dell'ensemble K-fold per mitigare il grave squilibrio delle classi e la scarsità di dati inerenti ai dataset di salute mentale.
3. Insight Empirici sulla Scalabilità dei Modelli: Lo studio evidenzia che, in domini con scarse risorse e alto rumore, modelli più piccoli (4B) combinati con strategie di ensemble possono superare modelli più grandi (8B) soggetti a overfitting.
4. Cautela sul Fine-Tuning: I risultati suggeriscono che in contesti con risorse estremamente limitate, il prompting zero-shot può talvolta essere superiore al fine-tuning, poiché quest'ultimo rischia di sovrascrivere la preziosa conoscenza pre-addestrata.

Limitazioni e Lavoro Futuro

Gli autori riconoscono limitazioni significative, principalmente la scarsità di dati di addestramento (circa 500 campioni) e la conseguente disparità delle classi. Notano che alcune sottodimensioni avevano dati insufficienti per un apprendimento affidabile.

• Soluzione Proposta: Gli autori suggeriscono di utilizzare gli LLM per generare post sintetici degli utenti per le sottodimensioni sottorappresentate, al fine di creare un dataset più bilanciato.
• Considerazioni Etiche: Il documento sottolinea che questa pipeline è un artefatto di ricerca, non uno strumento diagnostico. Avverte dei rischi di falsi positivi/negativi in contesti clinici e delle complessità etiche della generazione di dati sintetici su temi sensibili come l'autolesionismo, raccomandando la revisione di esperti clinici prima di utilizzare tali dati per l'addestramento.