Depression Symptoms and Relational Patterns in 187k ChatGPT Histories

Resumo Técnico: Sintomas de Depressão e Padrões Relacionais em 187 mil Históricos do ChatGPT

Declaração do Problema
Modelos de Linguagem de Grande Escala (LLMs), como o ChatGPT, são cada vez mais utilizados como sistemas conversacionais privados e sempre disponíveis. Embora pesquisas anteriores em CSCW e HCI tenham examinado como indivíduos utilizam sistemas em rede para divulgação e apoio entre pares, pouco se sabe sobre como pessoas com sintomas depressivos interagem com agentes conversacionais não humanos e sempre ativos. Diferente das comunidades de apoio online tradicionais, os LLMs oferecem interação um-a-um sem pares, moderadores ou clínicos. Este estudo aborda a lacuna na compreensão de como indivíduos com diferentes níveis de gravidade de sintomas depressivos utilizam o ChatGPT, investigando especificamente se essas interações funcionam como uma "infraestrutura de apoio informal" emergente e se as respostas dos LLMs se adaptam apropriadamente ao sofrimento do usuário, particularmente no que diz respeito ao redirecionamento profissional.

Metodologia
O estudo analisa um conjunto de dados de 187.093 conversas do ChatGPT de 766 participantes recrutados via Prolific (EUA, Reino Unido, Canadá) na primavera de 2026.

• Medição de Sintomas: Os participantes completaram o Patient Health Questionnaire-8 (PHQ-8). O estudo compara dois grupos: aqueles com pontuações < 10 (abaixo do limiar de sintomas moderados, $N=571$) e aqueles com pontuações ≥ 10 (sintomas moderados ou superiores, $N=195$). O PHQ-8 é tratado como uma medida de gravidade de sintomas recente, não como um diagnóstico clínico.
• Processamento de Dados: A análise combina métricas determinísticas (uso de tempo local, comprimento da conversa) com características lexicais e anotações derivadas de LLM.
  • Anotações de LLM: Utilizando gpt-4o-mini (temperatura 0), os autores geraram rótulos para tópicos (ex: saúde mental, problemas interpessoais, solidão), tipos de busca de ajuda, níveis de divulgação, busca de apoio, redirecionamento profissional e respostas de estilo sicofante (concordância não crítica, obsequiosidade, excitação).
  • Escopo: Rótulos de tópico e de nível de conversa foram aplicados ao corpus completo. Rótulos de nível de turno e de lado da resposta foram aplicados a subconjuntos direcionados (conversas de Saúde/Saúde Mental e amostras aleatórias não relacionadas à saúde).
• Análise Estatística:
  • Comparações: Testes de Welch ponderados pelo participante, $d$ de Cohen e valores $q$ de Benjamini-Hochberg ajustados por FDR foram usados para comparar os grupos.
  • Modelos de Sensibilidade: Modelos ponderados pela conversa ajustaram covariáveis de demografia, uso, tópico, família de modelo, tempo de calendário e posição no histórico.
  • Análise de Linguagem: A Análise Diferencial de Linguagem (DLA) utilizou n-gramas, LIWC2022 e recursos de LDA através de texto do usuário, do assistente e combinado.
  • Predição: Regressão logística regularizada com validação cruzada de 5 dobras estratificada repetida foi usada para testar se a linguagem sozinha poderia prever o status de PHQ ≥ 10.

Principais Descobertas

1. Conteúdo e Divulgação: Participantes com PHQ mais alto ($\ge$ 10) trouxeram significativamente mais preocupações de saúde mental, interpessoais, de solidão e de autofoco negativo para o ChatGPT.
   • Participação em Saúde Mental: 5,7% vs. 3,1% para o grupo com PHQ inferior.
   • Divulgação: Participantes com PHQ mais alto exibiram níveis de divulgação mais altos (1,71 vs. 1,48) e uma parcela maior de conversas de busca de apoio (11,3% vs. 5,3%).
   • Marcadores Linguísticos: Usuários com PHQ mais alto empregaram mais pronomes de primeira pessoa do singular (30,83 vs. 25,32 por 1k palavras) e termos absolutistas (4,33 vs. 3,68 por 1k palavras).
2. Padrões Temporais: Participantes com PHQ mais alto mostraram tempos de uso distintos:
   • Uso Noturno: Uma parcela maior de conversas ocorreu entre 23:00 e 04:59 (14,2% vs. 9,7%).
   • Padrões Recorrentes: Entre usuários ativos, participantes com PHQ mais alto tiveram mais meses onde conversas de saúde mental excederam 5% de seu uso mensal.
3. Resposta e Redirecionamento:
   • Redirecionamento Profissional: Apesar da maior divulgação e busca de apoio, as taxas de redirecionamento profissional não foram significativamente diferentes entre os grupos (16,9% para PHQ ≥ 10 vs. 16,0% para PHQ < 10).
   • Sicofancia: As diferenças em sicofancia (concordância não crítica, obsequiosidade) foram fracas e não robustas após o ajuste de covariáveis. Os dados sugerem que o ChatGPT não trata genericamente os usuários com PHQ mais alto de forma mais sicofante; em vez disso, esses usuários simplesmente entram em contextos onde a validação e os limites são mais consequentes.
4. Capacidade Preditiva: A predição da condição de PHQ baseada em linguagem foi modesta. O melhor modelo (usando recursos de LIWC do usuário) alcançou um AUROC de 0,591, com precisão de 0,341 e recall de 0,487 no limiar padrão. Os autores concluem que isso é insuficiente para triagem ou rastreio clínico.

Contribuições

1. Análise Empírica: O estudo fornece a primeira ligação em larga escala entre sintomas depressivos medidos por questionário (PHQ-8) e históricos de conversas de LLM longitudinais (mais de 187k conversas).
2. Enquadramento Conceitual: Enquadra o ChatGPT não meramente como uma ferramenta de produtividade, mas como uma infraestrutura de apoio informal emergente que é privada, persistente e disponível fora dos horários comuns, distinta de comunidades de pares ou ambientes clínicos.
3. Cautela Metodológica: O artigo demonstra que, embora sinais linguísticos de sofrimento sejam detectáveis, eles são muito fracos para justificar o rastreio clínico baseado em históricos privados de LLM. Também destaca a necessidade de analisar tanto os turnos do usuário quanto os do assistente conjuntamente, pois as respostas do assistente co-variam com a gravidade dos sintomas do usuário.

Significância e Alegações
O artigo argumenta que os LLMs estão funcionando cada vez mais como infraestruturas de apoio informal, particularmente para indivíduos que experimentam sintomas depressivos que podem carecer de acesso ao apoio humano ou considerar a divulgação arriscada. As descobertas revelam uma "lacuna de estabelecimento de limites": enquanto usuários com maiores sintomas engajam-se em mais interações de alta divulgação e busca de apoio recorrente, o redirecionamento profissional do sistema não escala robustamente com essa necessidade.

Os autores enfatizam que esses históricos não devem ser tratados como dados de rastreio clínico devido ao modesto poder preditivo da linguagem. Em vez disso, os dados servem como evidência de que os LLMs estão preenchendo um vazio relacional. O estudo sugere implicações de design para reconhecer padrões de alta divulgação ou busca de apoio recorrente para fornecer respostas acolhedoras e delimitadas, sem ultrapassar os limites profissionais ou oferecer conselhos clínicos não verificados. Os autores declaram explicitamente que seus dados observacionais não podem determinar se o uso de LLM substitui ou complementa o apoio humano, nem podem inferir causalidade em relação às mudanças nos sintomas.