Building Multilingual Datasets for Predicting Mental Health Severity through LLMs: Prospects and Challenges

Riassunto Tecnico: Costruzione di Dataset Multilingue per la Predizione della Gravità della Salute Mentale tramite LLM

1. Il Problema (Problem Statement)

Nonostante l'integrazione crescente dei Large Language Models (LLM) in ambito medico, esiste un divario significativo nella ricerca riguardante l'efficacia di tali modelli per il supporto alla salute mentale in contesti non anglofoni. La maggior parte degli studi attuali si concentra sulla lingua inglese, trascurando le sfumature linguistiche e culturali di altre lingue. Inoltre, i processi diagnostici tradizionali sono laboriosi e richiedono molto tempo; sebbene gli LLM possano analizzare grandi volumi di dati testuali (es. social media) per rilevare sintomi, la loro affidabilità cross-linguistica e il rischio di diagnosi errate in contesti multilingue rimangono poco esplorati.

2. Metodologia (Methodology)

Gli autori propongono un framework innovativo per valutare la capacità degli LLM di prevedere la gravità delle condizioni di salute mentale attraverso la traduzione automatica. La metodologia si articola in tre fasi principali:

1. Creazione del Dataset Multilingue: Partendo da due dataset inglesi consolidati — DEP-SEVERITY (livelli di depressione da Reddit) e C-SSRS (scala di gravità del suicidio) — gli autori hanno utilizzato un LLM per tradurre i post originali in sei lingue diverse: greco, turco, francese, portoghese, tedesco e finlandese.
2. Task di Predizione: I testi tradotti sono stati sottoposti a prompt (sia 0-shot che 1-shot) per classificare la gravità della condizione (es. depressione minima, lieve, moderata o grave).
3. Valutazione: Sono stati testati diversi modelli, tra cui GPT-3.5-turbo, GPT-4o-mini e Llama 3.1, misurando metriche di precisione, recall e F1-score. È stata inoltre condotta una tecnica di back-translation (traduzione inversa verso l'inglese) per testare l'impatto della traduzione sulle prestazioni.

3. Contributi Chiave (Key Contributions)

• Nuovo Dataset Multilingue: La creazione di un dataset derivato da contenuti generati dagli utenti, tradotto automaticamente per coprire diverse famiglie linguistiche (Romance, Germanic, Uralic, Hellenic, Altaic).
• Valutazione Cross-Linguistica: Uno studio approfondito che analizza come la diversità linguistica influenzi l'accuratezza della classificazione della salute mentale.
• Analisi degli Errori: Un'indagine qualitativa che evidenzia come le sfumature culturali e linguistiche possano portare a discrepanze tra il testo originale e la classificazione del modello tradotto.
• Efficienza Economica: Dimostrazione che l'uso di LLM per l'espansione di dataset medici è un metodo a basso costo rispetto all'annotazione umana o all'uso di infrastrutture GPU massicce.

4. Risultati (Results)

• Variabilità delle Prestazioni: Si osserva una notevole inconsistenza nelle prestazioni tra le lingue. Ad esempio, le prestazioni migliorano in francese e tedesco rispetto all'inglese in alcuni casi, mentre calano drasticamente in turco (probabilmente a causa della scarsità di risorse mediche digitali in quella lingua).
• Superiorità dei Modelli Avanzati: GPT-4o-mini si è dimostrato molto più stabile e coerente di GPT-3.5-turbo nel mantenere la precisione nelle diverse lingue.
• Effetto della Traduzione: La tecnica di back-translation ha mostrato che tradurre il testo in una lingua target prima della predizione può talvolta assistere le prestazioni del modello.
• Difficoltà di Classificazione: La distinzione tra livelli di gravità intermedi (es. tra ideazione e comportamento suicidario) rimane una sfida critica per gli LLM, con una tendenza a errori di interpretazione del contesto.

5. Significato e Implicazioni (Significance)

Il lavoro sottolinea un monito fondamentale: gli LLM non devono essere utilizzati come strumenti diagnostici autonomi in ambito medico. La variabilità delle prestazioni tra le lingue comporta un rischio concreto di diagnosi errate (misdiagnosis). Tuttavia, la ricerca apre la strada a strumenti di supporto più inclusivi e accessibili globalmente, capaci di assistere i professionisti della salute mentale anche in contesti con scarse risorse linguistiche, a patto che vengano adottate precauzioni rigorose e che l'intervento umano rimanga centrale nel processo clinico.