Leveraging LLMs for Translating and Classifying Mental Health Data

Sintesi Tecnica: Utilizzo degli LLM per la Traduzione e la Classificazione di Dati sulla Salute Mentale

Problematica
Sebbene i Large Language Models (LLM) offrano un potenziale per l'identificazione precoce di condizioni di salute mentale attraverso i marcatori linguistici nel testo generato dagli utenti, la loro applicazione rimane fortemente sbilanciata verso dataset in lingua inglese. Esiste una significativa lacuna nella ricerca riguardante le prestazioni di questi modelli in lingue a basse risorse e in contesti non inglesi. Inoltre, l'efficacia dell'uso degli LLM per tradurre automaticamente dati sulla salute mentale dall'inglese a un'altra lingua e successivamente classificarli rimane poco esplorata. Questo studio affronta queste lacune investigando se un LLM possa prevedere accuratamente la gravità della depressione nei post in inglese e se tale prestazione venga mantenuta quando i post vengono tradotti automaticamente in greco, una lingua che manca di risorse specifiche per questo compito.

Metodologia
Gli autori propongono una pipeline che utilizza un LLM multilingue allo stato dell'arte (GPT-3.5-turbo) sia per i compiti di traduzione che di classificazione.

• Dataset: Lo studio utilizza il dataset DEPSEVERITY (Naseem et al., 2022), composto da 3.553 post di Reddit etichettati con quattro livelli di gravità della depressione: Minima, Lieve, Moderata e Grave. Il dataset è segnalato come altamente sbilanciato, con la maggior parte dei post che rientra nella categoria "Minima".
• Procedura:
  1. Baseline (Inglese): L'LLM viene istruito per classificare gli originali post in inglese nei quattro livelli di gravità utilizzando il learning zero-shot.
  2. Traduzione: Lo stesso LLM traduce i post inglesi in greco.
  3. Classificazione Target (Greco): I testi tradotti in greco vengono reinseriti nell'LLM con un prompt per prevedere i livelli di gravità.
  4. Valutazione: La prestazione viene misurata utilizzando Precision, Recall e F1-score, confrontando le classi predette con le etichette di ground truth in entrambe le lingue. Il parametro della temperatura è stato impostato a 0 per garantire la riproducibilità.
• Strategia di Prompting: Prima degli esperimenti principali, gli autori hanno condotto un prompting preliminare per comprendere la logica interna dell'LLM. Il modello ha identificato pattern quali emozioni negative persistenti, autocritica e cambiamenti comportamentali, adattando i livelli di gravità per adattarli ai contesti dei social media (ad esempio, definendo "Grave" i post che indicano rischio di autolesionismo o completo ritiro sociale).

Risultati Chiave
I risultati sperimentali indicano che l'LLM fatica ad distinguere accuratamente tra i livelli specifici di gravità della depressione in entrambe le lingue, sebbene la prestazione vari per classe e lingua.

• Prestazioni in Inglese: Il modello ha ottenuto il punteggio F1 più alto per la classe "Minima" (0,25) e la classe "Grave" (0,22). L'F1-score macro complessivo è stato basso, pari a 0,17. Gli autori attribuiscono questa difficoltà alle distinzioni sottili tra i livelli di gravità nei post degli utenti rispetto ad altre condizioni.
• Prestazioni in Greco: Dopo la traduzione, la prestazione è generalmente diminuita in la maggior parte delle classi.
  • La classe "Lieve" ha visto un leggero calo (F1: 0,07 in inglese vs 0,06 in greco).
  • La classe "Minima" è scesa significativamente (F1: 0,25 in inglese vs 0,14 in greco).
  • Anche la classe "Grave" è scesa (F1: 0,22 in inglese vs 0,20 in greco).
  • Notevolmente, la classe "Moderata" ha mostrato un miglioramento nell'F1-score (0,17 in inglese vs 0,23 in greco).
• Analisi degli Errori: Gli autori hanno analato casi specifici in cui l'LLM ha classificato erroneamente sintomi di ansia o panico come depressione. Ad esempio, un post che descriveva panico e ansia è stato classificato come "Grave" dall'LLM, mentre il ground truth era "Minimo". Gli autori suggeriscono che l'LLM possa confondere il disagio generale (panico/ansia) con la gravità depressiva, una sfumatura che le etichette di ground truth distinguevano.
• Costo: Gli esperimenti sono stati condotti con un costo totale delle API inferiore a 30 dollari, dimostrando che tali valutazioni possono essere eseguite senza costose infrastrutture GPU o fine-tuning.

Significatività e Rivendicazioni
Il documento sostiene che, sebbene gli LLM mostrino potenziale, non sono ancora abbastanza affidabili per determinare esclusivamente la gravità della depressione, specialmente quando si fa affidamento sulla traduzione automatica per lingue a basse risorse come il greco.

• Limiti dell'Automazione: Lo studio sottolinea che la prestazione degli LLM varia significativamente tra le lingue e le classi di gravità. Gli autori enfatizzano che i risultati attuali sono insufficienti per una diagnosi diretta del paziente.
• Ruolo della Supervisione Umana: In linea con le conclusioni di Stade et al. (2024), gli autori affermano che la diagnosi di salute mentale non dovrebbe mai essere lasciata interamente a sistemi automatici. La supervisione umana rimane cruciale per evitare diagnosi errate.
• Potenziale Utilità: Piuttosto che sostituire i clinici, gli autori suggeriscono che questo approccio potrebbe essere prezioso per la formazione dei professionisti della salute mentale, in particolare nelle regioni non anglofone dove le risorse sono scarse.
• Necessità Future: Il lavoro evidenzia la necessità di ulteriori ricerche su approcci culturalmente e linguisticamente sensibili, una migliore raccolta di dati per le lingue a basse risorse e lo sviluppo di tecniche di transfer learning più robuste per gestire le sfumature della terminologia della salute mentale attraverso diverse culture.