Depression Symptoms and Relational Patterns in 187k ChatGPT Histories

Technische Samenvatting: Depressieve Symptomen en Relationele Patronen in 187k ChatGPT-geschiedenissen

Probleemstelling
Grote taalmodellen (LLM's) zoals ChatGPT worden steeds vaker ingezet als private, altijd beschikbare conversatiesystemen. Hoewel eerder onderzoek in CSCW en HCI heeft onderzocht hoe individuen netwerkgestuurde systemen gebruiken voor zelfonthulling en peer-ondersteuning, is er weinig bekend over hoe mensen met depressieve symptomen interageren met niet-menselijke, altijd aanwezige conversatieagenten. In tegen tegenstelling tot traditionele online steungemeenschappen bieden LLM's één-op-één interactie zonder peers, moderatoren of clinici. Deze studie adresseert het gat in het begrip van hoe individuen met variërende niveaus van depressieve symptoomernst ChatGPT gebruiken, waarbij specifiek wordt onderzocht of deze interacties functioneren als een opkomende "informele ondersteuningsinfrastructuur" en of de reacties van de LLM adequaat aanpassen aan de nood van de gebruiker, met name met betrekking tot professionele doorverwijzing.

Methodologie
De studie analyseert een dataset van 187.093 ChatGPT-conversaties van 766 deelnemers die in het voorjaar van 2026 via Prolific (VS, VK, Canada) zijn geworven.

• Symptoommeting: Deelnemers voltooiden de Patient Health Questionnaire-8 (PHQ-8). De studie vergelijkt twee groepen: degenen met scores < 10 (onder de drempel voor matige symptomen, $N=571$) en degenen met scores ≥ 10 (matige of ernstigere symptomen, $N=195$). De PHQ-8 wordt behandeld als een maatstaf voor recente symptoomernst, niet als een klinische diagnose.
• Gegevensverwerking: De analyse combineert deterministische metrieken (gebruik op lokale tijd, conversielengte) met lexicale kenmerken en door LLM gegenereerde annotaties.
  • LLM-annotaties: Met behulp van gpt-4o-mini (temperatuur 0) genereerden de auteurs labels voor onderwerpen (bijv. mentale gezondheid, interpersoonlijke problemen, eenzaamheid), typen hulpzoeken, mate van zelfonthulling, ondersteuningszoeken, professionele doorverwijzing en sycophantische (vleierige) reactiestijlen (kritiekloze instemming, onderdanigheid, enthousiasme).
  • Omvang: Onderwerp- en conversieniveau-labels werden toegepast op het volledige corpus. Turn-niveau en responszijde-labels werden toegepast op gerichte subverzamelingen (gesprekken over Gezondheid/Mentale Gezondheid en willekeurige niet-gezondheidssamples).
• Statistische Analyse:
  • Vergelijkingen: Deelnemers-gewogen Welch-testen, Cohen's $d$ en Benjamini-Hochberg FDR-gecorrigeerde $q$-waarden werden gebruikt om groepen te vergelijken.
  • Gevoeligheidsmodellen: Conversatie-gewogen modellen corrigeerden voor demografische, gebruik, onderwerp, modelfamilie, kalender-tijd en geschiedenispositie covariaten.
  • Taalanalyse: Differential Language Analysis (DLA) maakte gebruik van 1-grammen, LIWC2022 en LDA-kenmerken over de gebruiker, assistent en gecombineerde tekst.
  • Voorspelling: Regularized logistische regressie met herhaalde gestratificeerde 5-voudige cross-validatie werd gebruikt om te testen of taal alleen de PHQ ≥ 10 status kon voorspellen.

Belangrijkste Bevindingen

1. Inhoud en Zelfonthulling: Deelnemers met hogere PHQ-scores ($\ge$ 10) brachten significant meer mentale gezondheid, interpersoonlijke, eenzaamheid en negatieve zelfgerichte zorgen naar ChatGPT.
   • Aandeel Mentale Gezondheid: 5,7% versus 3,1% voor de groep met een lagere PHQ.
   • Zelfonthulling: Deelnemers met een hogere PHQ vertoonden hogere niveaus van zelfonthulling (1,71 versus 1,48) en een groter aandeel gesprekken gericht op ondersteuning (11,3% versus 5,3%).
   • Linguïstische Kenmerken: Gebruikers met een hogere PHQ gebruikten meer eerste persoon enkelvoudige voornaamwoorden (30,83 versus 25,32 per 1k woorden) en absolutistische termen (4,33 versus 3,68 per 1k woorden).
2. Temporele Patronen: Deelnemers met een hogere PHQ vertoonden een afwijkende timing van het gebruik:
   • Nachtelijk Gebruik: Een groter deel van de gesprekken vond plaats tussen 23:00 en 04:59 (14,2% versus 9,7%).
   • Terugkerende Patronen: Onder actieve gebruikers hadden deelnemers met een hogere PHQ meer maanden waarin gesprekken over mentale gezondheid meer dan 5% van hun maandelijkse gebruik uitmaakten.
3. Respons en Doorverwijzing:
   • Professionele Doorverwijzing: Ondanks hogere zelfonthulling en ondersteuningszoeken, waren de percentages professionele doorverwijzing niet significant verschillend tussen groepen (16,9% voor PHQ ≥ 10 versus 16,0% voor PHQ < 10).
   • Sycophantie (Vleierij): Verschillen in sycophantie (kritiekloze instemming, onderdanigheid) waren zwak en niet robuust na correctie voor covariaten. De gegevens suggereren dat ChatGPT gebruikers met een hogere PHQ niet over het algemeen meer sycophantisch behandelt; in plaats daarvan komen deze gebruikers simpelweg in contexten waar validatie en grenzen consequenter zijn.
4. Voorspellende Capaciteit: Taalgebaseerde voorspelling van de PHQ-status was matig. Het beste model (gebruikmakend van gebruikers LIWC-kenmerken) bereikte een AUROC van 0,591, met een precisie van 0,341 en een recall van 0,487 bij de standaard drempelwaarde. De auteurs concluderen dat dit onvoldoende is voor klinische screening of triage.

Bijdragen

1. Empirische Analyse: De studie biedt de eerste grootschalige koppeling tussen survey-gemeten depressieve symptomen (PHQ-8) en longitudinale LLM-gesprekshistorieën (187k+ gesprekken).
2. Conceptueel Kader: Het frameert ChatGPT niet louter als een productiviteitstool, maar als een opkomende informele ondersteuningsinfrastructuur die privaat, persistent en buiten de gebruikelijke uren beschikbaar is, verschillend van peer-communities of klinische settings.
3. Methodologische Voorzichtigheid: Het artikel toont aan dat hoewel taal-signalen van nood detecteerbaar zijn, ze te zwak zijn om klinische screening op basis van private LLM-geschiedenissen te rechtvaardigen. Het benadrukt ook de noodzaak om zowel de user- als de assistant-turns samen te analyseren, aange omdat de reacties van de assistent correleren met de symptoomernst van de gebruiker.

Betekenis en Claims
Het artikel betoogt dat LLM's steeds vaker fungeren als informele ondersteuningsinfrastructuren, met name voor individuen die depressieve symptomen ervaren en die mogelijk geen toegang hebben tot menselijke steun of het risico van zelfonthulling te groot vinden. De bevindingen onthullen een "grensbepalingskloof": terwijl gebruikers met hogere symptomen meer interacties met hoge mate van zelfonthulling en terugkerend ondersteuningszoeken aangaan, schaalt de professionele doorverwijzing van het systeem niet robuust mee met deze behoefte.

De auteurs benadrukken dat deze geschiedenissen niet moeten worden behandeld als klinische screeningsdata vanwege de matige voorspellende kracht van taalmodellen. In plaats daarvan dienen de gegevens als bewijs dat LLM's een relationeel vacuüm opvullen. De studie suggereert ontwerpimplicaties voor het herkennen van patronen van hoge zelfonthulling of terugkerend ondersteuningszoeken om warme, begrensde reacties te bieden zonder de professionele grenzen te overschrijden of ongeverifieerd klinisch advies te geven. De auteurs verklaren expliciet dat hun observationele data niet kunnen bepalen of LLM-gebruik een substituut is voor of een aanvulling op menselijke steun, noch kan het causaliteit met betrekking tot symptoomveranderingen afleiden.