Development and Evaluation of HopeBot: an LLM-based chatbot for structured and interactive PHQ-9 depression screening

Resumo Técnico: Viabilidade e Avaliação de Usuário do HopeBot

Definição do Problema
O rastreamento da depressão depende fortemente do Questionário de Saúde do Paciente-9 (PHQ-9). Embora as entrevistas administradas por clínicos permitam o esclarecimento de respostas ambíguas e a detecção de suicidalidade, elas são intensivas em recursos e difíceis de escalar. Por outro lado, as versões autoadministradas são amplamente adotadas para o rastreamento digital, mas carecem de interatividade, não oferecendo oportunidade para os usuários esclarecerem respostas ambíguas ou receberem orientação em tempo real. Este formato estático pode limitar o engajamento do usuário e a precisão da pontuação, particularmente para indivíduos com menor literacia em saúde ou estados emocionais flutuantes. Os sistemas de rastreamento baseados em chatbots existentes frequentemente dependem de arquiteturas rígidas baseadas em regras (ex: intenções predefinidas) que restringem a flexibilidade conversacional e a capacidade de lidar com estados emocionais sutis, ou carecem de um raciocínio transparente e fundamentado em evidências.

Metodologia
Os autores desenvolveram o HopeBot, um agente conversacional impulsionado pelo GPT-4o projetado para administrar o PHQ-9 via texto ou voz, preservando a estrutura validada e a lógica de pontuação do instrumento original.

• Arquitetura do Sistema:

  • Motor Central: Utiliza o GPT-4o para compreensão e geração de linguagem natural, suportando nativamente tanto inglês quanto mandarim sem necessidade de tradução.
  • Geração Aumentada de Recuperação (RAG): Para mitigar riscos de alucinação e garantir a segurança, o sistema emprega uma camada de RAG fundamentada em quatro fontes de dados curadas: (1) 34 transcrições anonimizadas de sessões de Terapia Cognitivo-Comportamental (TCC), (2) A Therapist's Guide to Brief CBT, (3) conjuntos de dados de diálogos emocionais (ESConv e PsyQA_example) e (4) diretórios bilíngues de linhas de apoio do Reino Unido e da China.
  • Lógica de Pontuação: O LLM interpreta as respostas do usuário e as mapeia para as categorias do PHQ-9 (A–D). No entanto, a pontuação numérica (0–3 por item) e a agregação total são executadas de forma determinística por uma função de backend, garantindo pontuações reproduzíveis independentes da geração do modelo de linguagem.
  • Protocolo de Interação: O sistema segue uma estrutura de três fases: (1) construção de rapport (máximo de 20 turnos), (2) administração sequencial do PHQ-9 com esclarecimento dinâmico para entradas ambíguas, e (3) feedback personalizado e orientação de segurança.
  • Mecanismos de Segurança: O sistema inclui detecção de crise para redirecionar usuários para linhas de apoio validadas e opera dentro de um ambiente de pesquisa seguro e pseudonimizado, em conformidade com o GDPR do Reino Unido.

• Desenho do Estudo:

  • Um estudo de viabilidade prospectivo, intra-sujeito, foi conduzido com 132 adultos recrutados no Reino Unido e na China.
  • Procedimento: Os participantes completaram um PHQ-9 padrão autoadministrado seguido imediatamente pelo PHQ-9 assistido pelo HopeBot.
  • Avaliação: O estudo mediu a concordância de pontuação entre os dois formatos e coletou o feedback dos usuários por meio de um questionário de 25 itens e perguntas abertas. O PHQ-9 autoadministrado serviu como um comparador pragmático para a fidelidade da pontuação, não como um padrão de referência clínica para validade diagnóstica.
  • Análise: A análise quantitativa incluiu o Coeficiente de Correlação Intraclasse (ICC), correlação de postos de Spearman e gráficos de Bland–Altman. A análise qualitativa seguiu o framework temático de Braun e Clarke.

Principais Contribuições

1. Administração Alinhada ao Formato: O HopeBot introduz um framework metodológico que preserva a estrutura validada, a sequência e a lógica de pontuação do PHQ-9, permitindo simultaneamente uma interação conversacional natural e aberta.
2. Design Fundamentado em Evidências: Ao integrar RAG com fontes psicológicas autoritativas, o sistema fornece esclarecimentos e orientações de segurança que são rastreáveis e fundamentados, reduzindo o risco de outputs inseguros ou alucinados comuns em interações de LLM de código aberto.
3. Esclarecimento Dinâmico: Diferente dos sistemas anteriores baseados em regras, o HopeBot interpreta adaptativamente respostas de texto livre, emite prompts de esclarecimento em tempo real para entradas ambíguas e mapeia explicitamente as respostas do usuário para categorias de pontuação.
4. Capacidade Multimodal Bilíngue: O sistema suporta interação fluida de texto e voz tanto em inglês quanto em mandarim, aproveitando as capacidades multilíngues nativas do GPT-4o e o processamento de áudio de baixa latência.

Resultados

• Concordância de Pontuação: As pontuações assistidas pelo HopeBot mostraram alta concordância com as pontuações autoadministradas.
  • Coeficiente de Correlação Intraclasse (ICC): 0,92 (95% CI: 0,89–0,94).
  • Diferença Absoluta Mediana: 1 ponto.
  • Pontuações Idênticas: 44,7% dos participantes (59/132) receberam pontuações idênticas em ambos os formatos.
  • Viés: Não foi encontrada tendência sistemática de inflar ou reduzir as classificações de gravidade (teste de postos sinalizados de Wilcoxon, p = 0,649).
  • Análise de Subgrupo: A concordância permaneceu alta entre os níveis de gravidade e os países de recrutamento, com apenas variações menores e provavelmente clinicamente insignificantes.
• Aceitabilidade do Usuário:
  • Confiança: Entre os participantes que compararam os dois formatos, 71% (53/75) relataram maior confiança nas pontuações assistidas pelo HopeBot, citando uma estrutura mais clara, orientação interpretativa e um tom de apoio.
  • Avaliações de Usabilidade: As médias (0–10) foram 8,4 para conforto, 7,7 para clareza de voz, 7,6 para lidar com temas sensíveis e 7,4 para utilidade das recomendações.
  • Preferência: 69,7% dos participantes preferiram o formato assistido pelo chatbot em relação à auto-conclusão, valorizando seu engajamento e esclarecimento em tempo real.
  • Limitações: Alguns usuários notaram respostas genéricas, tom ocasionalmente robótico e preocupações com privacidade em relação à divulgação da IA. Participantes com experiência prévia em serviços de saúde mental avaliaram a utilidade das recomendações significativamente abaixo daqueles sem tal experiência.

Significância e Alegações
O artigo afirma que o HopeBot demonstra a viabilidade e aceitabilidade do uso de um agente conversacional impulsionado por LLM com fundamentação baseada em RAG para administrar o PHQ-9. A alta concordância de pontuação sugere que tais sistemas podem reproduzir fielmente a precisão de pontuação de ferramentas de autorrelato, adicionando os benefícios de interatividade e esclarecimento.

Os autores posicionam o HopeBot não como um substituto para o julgamento clínico ou uma ferramenta de diagnóstico, mas como um adjunto escalável para o rastreamento precoce e de baixo ônus da depressão. O estudo estabelece um "framework de validação de nível de formato", servindo como uma ponte metodológica entre a autoavaliação convencional e a avaliação guiada por clínico. Os achados sugerem que a entrega conversacional pode melhorar o engajamento do usuário e a percepção de estrutura sem comprometer a integridade psicométrica dos instrumentos de rastreamento padronizados, potencialmente estendendo o acesso ao rastreamento estruturado em ambientes com recursos limitados. Os autores declaram explicitamente que é necessária uma validação adicional contra avaliações administradas por clínicos em fluxos de trabalho do mundo real para estabelecer a validade diagnóstica.