Depression Symptoms and Relational Patterns in 187k ChatGPT Histories

Sintesi Tecnica: Sintomi Depressivi e Modelli Relazionali in 187k Cronologie di ChatGPT

Problematica
I Large Language Models (LLM) come ChatGPT sono sempre più utilizzati come sistemi conversazionali privati e sempre disponibili. Mentre la ricerca precedente in CSCW e HCI ha esaminato come gli individui utilizzino i sistemi in rete per la divulgazione e il supporto tra pari, si sa poco su come le persone con sintomi depressivi interagiscano con agenti conversazionali non umani e sempre attivi. A differenza delle tradizionali comunità di supporto online, gli LLM offrono l'interazione uno-a-uno senza pari, moderatori o clinici. Questo studio affronta la lacuna nella comprensione di come gli individui con diversi livelli di gravità dei sintomi depressivi utilizzino ChatGPT, indagando specificamente se queste interazioni funzionino come una emergente "infrastruttura di supporto informale" e se le risposte degli LLM si adattino adeguatamente al disagio dell'utente, in particolare riguardo alla redirezione professionale.

Metodologia
Lo studio analizza un dataset di 187.093 conversazioni di ChatGPT provenienti da 766 partecipanti reclutati tramite Prolific (USA, UK, Canada) nella primavera del 2026.

• Misurazione dei Sintomi: I partecipanti hanno completato la Patient Health Questionnaire-8 (PHQ-8). Lo studio confronta due gruppi: coloro con punteggi < 10 (sotto la soglia di sintomatologia moderata, $N=571$) e coloro con punteggi ≥ 10 (sintomi da moderati in su, $N=195$). La PHQ-8 è trattata come una misura della gravità recente dei sintomi, non come una diagnosi clinica.
• Elaborazione dei Dati: L'analisi combina metriche deterministiche (uso dell'ora locale, lunghezza della conversazione) con caratteristiche lessicali e annotazioni derivate da LLM.
  • Annotazioni LLM: Utilizzando gpt-4o-mini (temperatura 0), gli autori hanno generato etichette per argomenti (es. salute mentale, problemi interpersonali, solitudine), tipi di ricerca di aiuto, livelli di divulgazione, ricerca di supporto, redirezione professionale e risposte in stile sicofante (accordo incauto, obsequiosità, eccitazione).
  • Ambito: Le etichette a livello di argomento e di conversazione sono state applicate all'intero corpus. Le etichette a livello di turno e di risposta sono state applicate a sottoinsiemi mirati (conversazioni su Salute/Salute Mentale e campioni casuali non sanitari).
• Analisi Statistica:
  • Confronti: Sono stati utilizzati test di Welch pesati per i partecipanti, l' $d$ di Cohen e i valori $q$ di Benjamini-Hochberg corretti per il FDR (False Discovery Rate) per confrontare i gruppi.
  • Modelli di Sensibilità: I modelli pesati per conversazione hanno regolato le covariate demografiche, di utilizzo, di argomento, di famiglia di modelli, di tempo sul calendario e di posizione nella cronologia.
  • Analisi del Linguaggio: L'Analisi Differenziale del Linguaggio (DLA) ha utilizzato 1-grammi, LIWC2022 e caratteristiche LDA attraverso i testi dell'utente, dell'assistente e combinati.
  • Predizione: La regressione logistica regolarizzata con validazione incrociata stratificata a 5 pieghe ripetuta è stata utilizzata per testare se il linguaggio da solo potesse predire lo stato PHQ ≥ 10.

Risultati Chiave

1. Contenuto e Divulgazione: I partecipanti con punteggi PHQ più elevati (≥ 10) hanno portato significativamente più preoccupazioni relative alla salute mentale, problemi interpersonali, solitudine e preoccupazioni auto-focalizzate negative a ChatGPT.
   • Quota di Salute Mentale: 5,7% vs 3,1% per il gruppo con PHQ inferiore.
   • Divulgazione: I partecipanti con PHQ più alto hanno mostrato livelli di divulgazione più elevati (1,71 vs 1,48) e una quota maggiore di conversazioni di ricerca di supporto (11,3% vs 5,3%).
   • Marcatori Linguistici: Gli utenti con PHQ più alto hanno impiegato più pronomi personali singolari (30,83 vs 25,32 per 1k parole) e termini assoluti (4,33 vs 3,68 per 1k parole).
2. Modelli Temporali: I partecipanti con PHQ più alto hanno mostrato una temporalità d'uso distinta:
   • Uso Notturno: Una quota maggiore di conversazioni è avvenuta tra le 23:00 e le 04:59 (14,2% vs 9,7%).
   • Modelli Ricorrenti: Tra gli utenti attivi, i partecipanti con PHQ più alto hanno avuto più mesi in cui le conversazioni sulla salute mentale hanno superato il 5% del loro utilizzo mensile.
3. Risposta e Redirezione:
   • Redirezione Professionale: Nonostante la maggiore divulgazione e ricerca di supporto, i tassi di redirezione professionale non sono stati significativamente diversi tra i gruppi (16,9% per PHQ ≥ 10 vs 16,0% per PHQ < 10).
   • Sicofantia: Le differenze nella sicofantia (accordo incauto, obsequiosità) sono state deboli e non robuste dopo l'aggiustamento per le covariate. I dati suggeriscono che ChatGPT non tratti generalmente gli utenti con PHQ più alto in modo più sicofante; piuttosto, questi utenti entrano semplicemente in contesti in cui la validazione e i confini sono più consequenziali.
4. Capacità Predittiva: La predizione basata sul linguaggio dello stato PHQ è stata modesta. Il miglior modello (utilizzando le caratteristiche LIWC dell'utente) ha raggiunto un AUROC di 0,591, con una precisione di 0,341 e un richiamo (recall) di 0,487 alla soglia predefinita. Gli autori concludono che questo sia insufficiente per lo screening clinico o il triage.

Contributi

1. Analisi Empirica: Lo studio fornisce il primo collegamento su larga scala tra i sintomi depressivi misurati tramite survey (PHQ-8) e le cronologie di conversazione degli LLM longitudinali (oltre 187k conversazioni).
2. Inquadramento Concettuale: Inquadra ChatGPT non solo come uno strumento di produttività, ma come una emergente infrastruttura di supporto informale che è privata, persistente e disponibile al di fuori degli orari ordinari, distinta dalle comunità tra pari o dagli ambienti clinici.
3. Cautela Metodologica: Il documento dimostra che, sebbene i segnali linguistici di disagio siano rilevabili, sono troppo deboli per giustificare lo screening clinico basato sulle cronologie private degli LLM. Evidenzia inoltre la necessità di analizzare insieme sia i turni dell'utente che quelli dell'assistente, poiché le risposte dell'assistente co-variano con la gravità dei sintomi dell'utente.

Significatività e Asserzioni
Il documento sostiene che gli LLM stiano assumendo la funzione di infrastrutture di supporto informale, in particolare per individui che sperimentano sintomi depressivi che potrebbero mancare di accesso al supporto umano o trovare rischiosa la divulgazione. I risultati rivelano un "gap di definizione dei confini": mentre gli utenti con sintomi più elevati si impegnano in più interazioni ad alta divulgazione e ricerca di supporto ricorrente, la redirezione professionale del sistema non scala in modo robusto con tale necessità.

Gli autori sottolineano che queste cronologie non dovrebbero essere trattate come dati di screening clinico a causa del modesto potere predittivo dei modelli linguistici. I dati servono invece come prova che gli LLM stanno colmando un vuoto relazionale. Lo studio suggerisce implicazioni di design per il riconoscimento di schemi di alta divulgazione o ricerca di supporto ricorrente per fornire risposte calde e delimitate senza eccedere nei confini professionali o offrire consigli clinici non verificati. Gli autori dichiarano esplicitamente che i loro dati osservazionali non possono determinare se l'uso degli LLM sostituisca o integri il supporto umano, né possono inferire la causalità riguardo ai cambiamenti dei sintomi.