SynSym: A Synthetic Data Generation Framework for Psychiatric Symptom Identification

1. Il Problema

L'identificazione dei sintomi psichiatrici sui social media mira a inferire sintomi mentali specifici e dettagliati (es. anedonia, insonnia, umore depresso) dai post degli utenti, andando oltre la semplice classificazione del disturbo. Tuttavia, la costruzione di dataset su larga scala per questo compito è estremamente difficile a causa di:

• Costi e risorse: L'etichettatura richiede esperti clinici, rendendo il processo oneroso e lento.
• Mancanza di standard: Non esistono linee guida di annotazione uniformi per i sintomi, portando a una bassa accordo tra annotatori e a etichette inaffidabili (spesso assegnate da non esperti).
• Scarsità e squilibrio dei dati: I dataset esistenti sono piccoli, con classi di sintomi rari rappresentate da poche centinaia di istanze, e spesso limitati a una singola piattaforma o stile linguistico.
• Generalizzabilità: I modelli addestrati su dati reali specifici faticano a generalizzare su nuove piattaforme o stili di espressione diversi (es. linguaggio figurativo vs. clinico).

2. Metodologia: Il Framework SynSym

Gli autori propongono SynSym, un framework di generazione di dati sintetici basato su Large Language Models (LLM) per creare dataset ad alta qualità e generalizzabili. Il framework non richiede fine-tuning specifico del task sull'LLM e si articola in quattro fasi principali:

1. Espansione del Concetto del Sintomo (Symptom Concept Expansion):

   • Partendo da una lista di sintomi ad alto livello (es. "Ideazione suicida") e una breve descrizione clinica, l'LLM espande ciascun sintomo in sotto-concetti più granulari e specifici.
   • Questo passaggio aumenta la diversità delle espressioni generate, catturando diverse sfumature di manifestazione reale del sintomo.

2. Generazione di Espressioni a Sintomo Singolo (Single-Symptom Expression Generation):

   • Vengono generate espressioni sintetiche per ogni sotto-concetto in due stili linguistici distinti:
     • Stile Clinico: Frasi formali, obiettive e terminologicamente precise (simili alla documentazione medica).
     • Stile Colloquiale: Descrizioni informali in prima persona, tipiche dei social media.
   • Questo approccio bilancia la necessità di coprire il linguaggio tecnico (spesso evitato dagli LLM per sicurezza) con il linguaggio naturale degli utenti.

3. Generazione di Espressioni Multi-Sintomo (Multi-Symptom Expression Generation):

   • Simula la co-occorrenza reale di più sintomi in un singolo post.
   • Le combinazioni di sintomi non sono generate casualmente, ma guidate da conoscenza clinica (basata su letteratura precedente) sui pattern di comorbidità tipici (es. depressione e ansia).
   • Questo evita correlazioni spurie e garantisce che i dati riflettano scenari clinici realistici.

4. Valutazione e Controllo Qualità (Synthetic Expression Evaluation):

   • Un LLM valuta la coerenza semantica tra l'espressione generata e il sintomo target.
   • Le espressioni con un punteggio di allineamento basso (≤ 2 su una scala a 5 punti) vengono scartate per garantire l'affidabilità del dataset finale.

3. Contributi Chiave

• Primo Framework di Sintesi per Sintomi: SynSym è il primo framework a utilizzare LLM per generare dati sintetici specifici per l'identificazione di sintomi psichiatrici (task multi-label), superando i limiti delle classificazioni binarie di disturbo.
• Diversità Linguistica e Clinica: Integra stili clinici e colloquiali e rispetta le regole di co-occorrenza clinica, risolvendo il problema della scarsità di dati e della mancanza di diversità stilistica.
• Validazione Esperta: Il dataset sintetico è stato validato da due psichiatri certificati, che hanno confermato l'alta validità clinica sia dei sotto-concetti espansi (punteggio medio > 4.6) che delle espressioni generate (punteggio medio ~5.0).
• Risorsa Pubblica: Il dataset sintetico (18.254 campioni) e il codice sono stati resi pubblici, offrendo una risorsa significativa per la ricerca futura.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset di benchmark per la depressione (PsySym, PRIMATE, D2S) con stili linguistici molto diversi.

• Prestazioni con Dati Solo Sintetici: I modelli addestrati esclusivamente su dati generati da SynSym hanno ottenuto prestazioni comparabili a quelli addestrati su dati reali, dimostrando che i dati sintetici sono clinicamente significativi e generalizzabili.
• Miglioramento con Fine-Tuning: I modelli pre-addestrati su SynSym e successivamente fine-tuned su piccoli set di dati reali hanno superato tutti i baselines (inclusi BERT, DeBERTa, MentalBERT e approcci Zero-Shot con GPT-4o) nella maggior parte delle metriche (F1 Macro e Recall).
• Generalizzabilità Cross-Dataset: I modelli addestrati su SynSym hanno mostrato una capacità di trasferimento eccezionale tra dataset diversi (es. da Reddit a Twitter), superando di gran lunga i modelli addestrati su singoli dataset reali o su dati aggregati multi-sorgente.
• Estendibilità: Il framework è stato testato con successo anche su altri disturbi (PTSD, Disturbi Alimentari, ADHD), dimostrando di funzionare anche in scenari con dati reali estremamente scarsi.
• Confronto con Back-Translation: A differenza della semplice traduzione inversa (back-translation) che ha degradato le prestazioni su alcuni dataset a causa del rumore, SynSym ha migliorato costantemente le prestazioni, confermando che la qualità clinica e la diversità strutturale sono più importanti della semplice quantità di dati.

5. Significato e Implicazioni

• Alternativa ai Dati Reali: SynSym si propone come una risorsa alternativa valida per l'addestramento di modelli NLP in ambito salute mentale, specialmente in contesti dove l'annotazione umana è costosa o eticamente complessa.
• Robustezza Clinica: Dimostra che è possibile generare dati sintetici che non solo imitano il linguaggio, ma rispettano la logica clinica e le comorbidità, un passo fondamentale per applicazioni mediche affidabili.
• Impatto Etico: Gli autori hanno prestato particolare attenzione alla sicurezza, progettando prompt per evitare contenuti grafici o romantici su temi sensibili (come il suicidio), mantenendo comunque la necessità clinica di descrivere sintomi ad alto rischio.

In conclusione, SynSym rappresenta un avanzamento significativo nel campo dell'NLP clinico, offrendo una soluzione scalabile ed efficace alla carenza di dati di alta qualità per l'identificazione dei sintomi psichiatrici.