Evaluating Transformer Models for Suicide Risk Detection on Social Media

Ogni anno, centinaia di migliaia di persone si tolgono la vita, una tragedia che spesso lascia dietro di sé una scia di tentativi non segnalati e un dolore duraturo per famiglie e comunità. Nell'era digitale, la storia di come le persone arrivino a questo punto è sempre più scritta nella piazza pubblica dei social media. Piattaforme come Reddit ospitano migliaia di post in cui gli individui condividono i loro pensieri più oscuri, a volte descrivendo esplicitamente piani per porre fine alla propria vita, altre volte accennando a una lotta silenziosa. Per i professionisti della salute mentale, la sfida è immensa: come possono trovare questi grida d'aiuto tra i miliardi di post quotidiani, e come possono distinguere tra chi sta pensando al suicidio e chi sta attivamente pianificando un atto? È qui che interviene il campo dell'elaborazione del linguaggio naturale, utilizzando programmi informatici addestrati per leggere e comprendere il testo umano. Questi strumenti non sostituiscono il giudizio umano, ma offrono un modo per scansionare rapidamente enormi quantità di informazioni, cercando modelli specifici che segnalano il pericolo. L'obiettivo non è prevedere il futuro con certezza, ma identificare il rischio abbastanza presto da offrire supporto a coloro che potrebbero altrimenti essere trascurati.

Un team di ricercatori polacchi, che lavora sotto il nome di kubapok, ha recentemente messo alla prova questa idea in una competizione globale progettata per migliorare il modo in cui le macchine rilevano il rischio di suicidio. Sono partecipati alla IEEE BigData 2024 Cup, una sfida che chiedeva ai partecipanti di costruire un sistema capace di leggere i post sui social media e classificarli in quattro categorie distinte. La prima categoria, chiamata "indicatore", comprende post che menzionano il suicidio ma non mostrano un rischio immediato, come qualcuno che parla della lotta di un amico. La seconda, "ideazione", cattura post in cui una persona sta pensando al suicidio ma non ha un piano specifico. La terza, "comportamento", descrive post in cui la persona ha un piano o sta compiendo azioni di autolesionismo. L'ultima categoria, "tentativo", è riservata a post che descrivono passati tentativi di suicidio che non hanno portato alla morte. Ai ricercatori è stato fornito un dataset di migliaia di veri post da Reddit, alcuni etichettati con queste categorie e altri lasciati non etichettati, e dovevano insegnare a un computer a fare queste distinzioni con precisione.

Per risolvere questo problema, il team ha sperimentato tre approcci diversi utilizzando modelli informatici avanzati noti come transformer. Questi sono sistemi di grandi dimensioni che hanno letto enormi quantità di testo e imparato come funziona il linguaggio. Il primo approccio ha utilizzato un modello chiamato DeBERTa, che agisce come un lettore che analizza il testo per comprenderne il significato. Il team ha addestrato questo modello sui post etichettati per vedere se potesse apprendere le differenze tra i quattro livelli di rischio. Il secondo approccio ha utilizzato un modello molto più grande e potente chiamato GPT-4o, ma questa volta non lo hanno addestrato sui dati specifici. Invece, hanno fornito al modello un insieme di esempi e gli hanno chiesto di ragionare sul compito passo dopo passo, un metodo noto come "chain-of-thought prompting", sperando che la conoscenza esistente del modello fosse sufficiente. Il terzo approccio ha utilizzato anch'esso il modello GPT-4o, ma questa volta lo hanno effettivamente addestrato sul dataset specifico della competizione, permettendo al modello di regolare le proprie impostazioni interne per adattarsi meglio al compito assegnato.

I risultati dei loro esperimenti hanno rivelato un chiaro vincitore. Mentre il modello DeBERTa addestrato ha performato bene, e l'un-trained GPT-4o ha faticato a fare distinzioni accurate anche con molti esempi, la versione di GPT-4o che è stata specificamente addestrata sui dati della competizione si è dimostrata la più efficace. Questo modello perfezionato (fine-tuned) ha raggiunto la massima accuratezza nell'identificare la corretta categoria di rischio per ogni post. Quando i risultati finali sono stati conteggiati, la soluzione del team, basata su questo modello addestrato, si è assicurata il secondo posto su tredici squadre che hanno raggiunto la valutazione finale, finendo appena dietro la prima classificata. I ricercatori hanno scoperto che il modello addestrato era coerente e affidabile, mentre i loro altri tentativi mostravano una maggiore variazione nelle prestazioni. Questo risultato suggerisce che anche un modello informatico di uso generale, quando dotato di un set specifico di esempi da cui imparare, può diventare uno strumento altamente efficace per individuare le sottili differenze tra chi sta pensando al suicidio e chi è in pericolo immediato.

Nonostante questo successo, i ricercatori sono cauti nel sottolineare i limiti di ciò che il loro sistema può fare. I dati utilizzati provenivano interamente da post pubblici su Reddit, raccolti durante un periodo specifico che ha incluso la pandemia globale. Ciò significa che il sistema potrebbe non funzionare altrettanto bene su altre piattaforme o con persone che non usano i social media nello stesso modo. Inoltre, i dati della competizione mancavano del ricco contesto che un medico umano utilizzerebbe, come la storia clinica completa di un paziente o una conversazione faccia a faccia. Il sistema vedeva solo il testo di un singolo post, senza i commenti circostanti o l'attività precedente dell'utente che avrebbero potuto fornire indizi cruciali. Gli autori sostengono che, affinché questi strumenti siano davvero efficaci nel salvare vite, i futi dataset debbano essere costruiti con standard più rigorosi, coinvolgendo forse la collaborazione diretta con professionisti della salute mentale per verificare i livelli di rischio delle persone che pubblicano i post. Fino ad allora, questi modelli fungono da potenti assistenti, capaci di scansionare il rumore digitale per trovare i segnali che contano, ma non sono un sostituto della cura sfumata fornita dagli esperti umani.