Riepilogo Tecnico: SuiChat-CN

Enunciato del Problema

Il suicidio rimane una sfida critica di salute pubblica globale, che richiede strategie di prevenzione tempestive ed efficaci. Sebbene la ricerca computazionale abbia fatto progressi nella rilevazione del rischio di suicidio su piattaforme social basate su post (ad esempio Twitter, Weibo), questi approcci si basano sull'analisi isolata dei messaggi. Questo paradigma è insufficiente per gli ambienti di messaggistica istantanea (IM) come le chat di gruppo su Telegram, che presentano proprietà linguistiche e interazionali distinte:

• Frammentazione e Brevità: I messaggi sono brevi e spesso mancano di un contesto autonomo.
• Dinamiche Multi-partecipanti: Le conversazioni coinvolgono più partecipanti, richiedendo il tracciamento dell'alternanza dei turni e dei ruoli degli interlocutori.
• Sfumature Implicite e Culturali: I segnali di rischio spesso si basano su metafore, omonimi, gergo o eufemismi culturalmente specifici piuttosto che su parole chiave esplicite.
• Dipendenza dal Contesto: Come illustrato nel documento, un messaggio che appare innocuo in isolamento (ad esempio "sale") può indicare un rischio elevato (uso di droghe) quando esaminato all'interno della cronologia conversazionale.

I dataset esistenti mancano della granularità necessaria per modellare queste dinamiche multi-turno e dipendenti dal contesto, in particolare per la lingua cinese.

Metodologia

Gli autori introducono SuiChat-CN, un dataset di riferimento e una pipeline di costruzione progettati specificamente per la valutazione contestuale del rischio di suicidio nelle chat di gruppo cinesi.

1. Pipeline di Costruzione del Dataset

La costruzione segue una pipeline a quattro stadi (Figura 3):

• Raccolta Dati: I log grezzi sono stati raccolti da 20 gruppi pubblici cinesi legati al suicidio su Telegram (gennaio 2020 – giugno 2025). I dati sono stati anonimizzati utilizzando l'hashing SHA-256 per rimuovere gli ID utente/gruppo.
• Estrazione delle Parole Chiave di Segnale: È stato costruito un lessico gerarchico di 3.508 parole di segnale, che copre sia termini espliciti (ad esempio menzioni dirette di suicidio) che segnali impliciti (ad esempio gergo internet, omonimi, metafore). Un LLM (GLM4-32B) ha assistito nell'estrazione dei candidati impliciti, che sono stati poi validati da esperti di psicologia.
• Espansione del Contesto: È stato applicato un algoritmo di espansione bidirezionale del contesto ai messaggi sospetti. Centrato su un messaggio seed, l'algoritmo si espande in avanti e all'indietro basandosi su vincoli relativi a intervalli temporali (MTS), dimensione del segmento (SS) e estensione (STS). Recupera inoltre messaggi storici di riferimento tramite link di risposta per preservare la coerenza conversazionale.
• Annotazione: È stato utilizzato un rigoroso processo a due stadi che coinvolge l'annotazione pilota e quella principale.
  • Tassonomia: È stata definita una tassonomia del rischio a sei classi, adattata dalla Scala di Valutazione della Gravità del Suicidio Columbia (C-SSRS):
    1. Irrilevante (Nessun rischio)
    2. Emozione Depressiva
    3. Ideazione Suicida
    4. Metodo/Comportamento Suicida
    5. Tentativo di Suicidio
    6. Induzione al Suicidio/Aggressione Verbale
  • Controllo di Qualità: Esperti umani e un sistema di voto multi-modello (17 LLM) sono stati utilizzati per generare etichette "argento". È stato richiesto un consenso ($\rho \ge 2/3$) per l'accettazione, con decisione umana in caso di disaccordo.

2. Framework di Valutazione

Gli autori hanno valutato oltre 40 modelli, inclusi LLM proprietari basati su API (ad esempio GPT-5, Gemini, Kimi) e modelli open-weight (ad esempio Llama, Qwen, DeepSeek), insieme a PLM.

• Scenari: Zero-shot, Few-shot (con esempi di esperti), Few-shot con parole chiave mascherate e Few-shot con contesto rimosso.
• Divulgazione Parziale: Sono stati condotti esperimenti in cui solo il primo $\tau \in \{30, 50, 70, 90, 100\}\%$ di una conversazione era visibile per simulare il rilevamento in streaming in tempo reale.
• Fine-tuning: Modelli selezionati sono stati sottoposti a fine-tuning sul dataset per valutare i guadagni di prestazioni.

Contributi Chiave

1. Dataset SuiChat-CN: Un benchmark contenente 13.312 segmenti contestuali derivati da 258.228 messaggi grezzi provenienti da 1.406 utenti. È il primo dataset a focalizzarsi specificamente sulla natura multi-partecipante e dipendente dal contesto del rischio di suicidio nelle chat di gruppo cinesi.
2. Pipeline di Costruzione: Una metodologia innovativa che combina la scoperta di parole di segnale, la validazione da parte di esperti e l'espansione bidirezionale del contesto per trasformare log di chat frammentati in unità coerenti di valutazione del rischio.
3. Benchmark Completo: Valutazione estesa di PLM e oltre 40 LLM in contesti diversificati (prompting, ablazione, fine-tuning e contesto parziale) per stabilire linee di base per questo specifico dominio.
4. Progettazione della Tassonomia: Una tassonomia del rischio a sei classi che bilancia l'interpretabilità clinica con le esigenze pratiche del monitoraggio delle chat di gruppo, coprendo l'intero spettro dai contenuti irrilevanti all'induzione attiva.

Risultati Chiave

• Il Contesto è Critico: La rimozione del contesto conversazionale o il mascheramento delle parole chiave ha degradato universalmente le prestazioni dei modelli. I modelli che si basavano esclusivamente su messaggi isolati non sono riusciti a catturare segnali di rischio impliciti.
• Prestazioni dei Modelli:
  • I modelli proprietari (ad esempio Gemini-2.5-Pro, Seed-OSS-36B, Kimi-K2) hanno generalmente superato i modelli open-weight, raggiungendo punteggi F1 superiori al 70% in scenari few-shot.
  • Tra i modelli open-weight, DeepSeek-R1 e Llama-3.3-70B si sono avvicinati alle prestazioni dei sistemi proprietari di fascia media.
  • Il fine-tuning ha migliorato significativamente i modelli open-weight (ad esempio, Llama-3-8B ha registrato un guadagno di +59,4 punti F1), riducendo il divario con i sistemi proprietari, sebbene non abbia potuto compensare pienamente la mancanza di contesto.
• Risultati sulla Divulgazione Parziale:
  • Gli indizi ad alto rischio (in particolare Tentativo di Suicidio, Classe 4) sono stati spesso ritardati nella conversazione. I modelli hanno faticato a rilevare questi rischi quando era visibile solo il primo 30% del dialogo.
  • L'accuratezza per le classi ad alto rischio è migliorata significativamente man mano che veniva rivelato più contesto (ad esempio, l'accuratezza L4 per alcuni modelli è passata da ~40% al 30% di divulgazione a >80% al 100%).
  • Questo mette in discussione l'assunzione secondo cui gli indizi di rischio urgenti appaiono sempre all'inizio di un dialogo; nelle chat di gruppo, le prove sono spesso distribuite tra i turni.
• Segnali Impliciti: L'analisi ha mostrato che i segnali impliciti appaiono 2,3 volte più frequentemente rispetto ai segnali espliciti nei campioni ad alto rischio, evidenziando la necessità di modellare espressioni di rischio culturalmente specifiche ed evolutive.

Significato e Affermazioni

Il documento afferma che SuiChat-CN colma una lacuna critica nella valutazione del rischio di suicidio spostando il focus dai post isolati alle conversazioni contestuali e multi-partecipanti.

• Realismo: Il dataset riflette le dinamiche reali della messaggistica istantanea, dove il rischio è spesso implicito e distribuito.
• Necessità del Contesto: I risultati dimostrano che un rilevamento precoce affidabile nelle chat di gruppo richiede la modellazione della storia conversazionale, non solo la corrispondenza di parole chiave.
• Posizione Etica: A causa della sensibilità dei dati, il dataset non è rilasciato pubblicamente. È disponibile solo per istituzioni di ricerca accreditate in materia di salute mentale e prevenzione del suicidio, sotto accordi rigorosi di utilizzo dei dati per garantire un uso responsabile e proteggere la privacy degli utenti.
• Direzione Futura: Il lavoro sottolinea la necessità di sistemi capaci di monitoraggio continuo e modellazione a lungo contesto per identificare efficacemente segnali di rischio ritardati o distribuiti in scenari IM reali.

Gli autori sottolineano che, sebbene i modelli attuali mostrino promesse, le sfide del rilevamento precoce in contesti multi-partecipanti rimangono significative, in particolare per le categorie di rischio più gravi che spesso richiedono prove conversazionali accumulate per essere correttamente identificate.