Resumo Técnico: Tell Me – Um Assistente de Bem-Estar Mental Impulsionado por LLM

Declaração do Problema

Apesar da rápida adoção de Modelos de Linguagem de Grande Escala (LLMs) em aplicações de saúde mental, os sistemas atuais enfrentam três limitações persistentes:

1. Falta de Contexto: As respostas frequentemente permanecem genéricas ou superficiais devido à insuficiência de fundamentação contextual.
2. Escassez de Dados e Confidencialidade: O acesso a diálogos terapêuticos autênticos é restrito, o que dificulta a disponibilidade de conjuntos de dados, a reprodutibilidade e o treinamento de modelos especializados.
3. Funcionalidade Estática: Muitas ferramentas de bem-estar existentes carecem da capacidade de se adaptar às necessidades individuais ou aos estados emocionais em evolução, oferecendo pouco além de conselhos estáticos.

Metodologia

Os autores apresentam o Tell Me, um protótipo de código aberto projetado como um ambiente de teste leve e extensível para aplicações responsáveis de LLM em bem-estar mental. A arquitetura do sistema integra três módulos distintos, unificados por uma interface Streamlit que suporta inferência tanto baseada em nuvem (ex: GPT-4o, Claude 3.7 Sonnet) quanto local (Ollama).

1. Assistente Baseado em RAG (Diálogo com Consciência de Contexto)

Este módulo central fornece um diálogo reflexivo e fundamentado em conhecimento.

• Base de Conhecimento: Utiliza conjuntos de dados de código aberto (Counsel Chat e Mental Health Counseling Conversations) reformatados em um esquema Contexto–Resposta.
• Recuperação: Emprega o modelo de incorporação (embedding) BAAI/bge-small-en-v1.5, selecionado por seu desempenho no Massive Text Embedding Benchmark (MTEB) e eficiência de inferência. Os documentos são fragmentados (128 tokens) e recuperados via um VectorIndexRetriever (top-3 resultados via similaridade de cosseno).
• Segurança: Uma barreira de segurança (guardrail) impulsionada por LLM (Sentiment_chain via LangChain) pré-processa as entradas para detectar sinais de alto risco (ex: autolesão), acionando um mecanismo determinístico de roteamento de crise em vez de geração de texto livre.
• Memória: Mantém a coerência conversacional usando um ChatMemoryBuffer (limite de 3.000 tokens).

2. Gerador de Diálogo Sintético

Para enfrentar a escassez de dados, este módulo gera transcrições sintéticas de cliente–terapeuta condicionadas a perfis de clientes definidos pelo usuário (demografia, preocupações, histórico).

• Arquitetura: Implementado via LangChain usando dois objetos LLMChain isolados com Memória de Buffer de Conversa.
• Processo: Uma "Cadeia de Cliente" interpreta o papel da persona do usuário, enquanto a "Cadeia de Terapeuta" utiliza técnicas de escuta reflexiva. O sistema passa iterativamente o histórico de chat entre os dois modelos para produzir transcrições de múltiplos turnos.

3. Planejador Agêntico de Bem-Estar (CrewAI)

Este módulo traduz o diálogo em suporte acionável de longo prazo usando um framework de orquestração de múltiplos agentes.

• Agentes:
  • Analisador de Transcrição: Extrai emoções, preocupações e gatilhos.
  • Gerador de Plano: Cria uma rotina de autocuidado estruturada de sete dias.
  • Gerador de Meditação: Escreve roteiros para sessões de áudio guiadas.
• Fluxo de Trabalho: Os agentes operam sequencialmente. A saída do Analisador serve como o contexto estrito para o Gerador de Plano. O roteiro de meditação final é convertido assincronamente em áudio via integração de Text-to-Speech (TTS) (ex: Edge Neural TTS, ElevenLabs) e entregue como um MP3.

Principais Contribuições

1. Assistente RAG Sensível ao Contexto: Um sistema testado em nove LLMs e dez cenários de bem-estar, validado através de um framework de "LLM-como-juiz" e um estudo cego humano comparando saídas com e sem RAG.
2. Gerador de Diálogo Sintético: Uma ferramenta condicionada a perfis para aumento de dados seguro, que gera trocas terapêuticas realistas sem comprometer a confidencialidade do paciente.
3. Planejador Agêntico: Um fluxo de trabalho baseado em CrewAI que adapta dinamicamente as conversas em planos de autocuidado acionáveis e meditações guiadas, preenchendo a lacuna entre ferramentas estáticas e suporte dinâmico.

Resultados de Avaliação

Desempenho de Recuperação

Em uma avaliação de apenas recuperação utilizando 30 pares de consulta-documento sintéticos:

• Hit Rate@5: 1.0000
• MRR@5: 0.9222
• Nota: Os autores alertam que o Hit Rate perfeito é provavelmente um subproduto do espaço de busca restrito ($N=30$) e das consultas sintéticas, servindo primariamente como um teste de sanidade.

Benchmark LLM-as-a-Judge (LLM como Juiz)

Nove modelos foram avaliados em 10 prompts em cinco dimensões (Segurança, Empatia, Utilidade, Clareza, Qualidade Geral).

• Melhor Desempenho: O Claude 3.7 Sonnet alcançou a pontuação mais alta (9.5/10) quando julgado pelo GPT-5.
• Observações: Modelos de alto desempenho (Claude, Gemma-3, LLaMA-3) demonstraram validação empática, diálogo de convite e sensibilidade cultural. Modelos de baixo desempenho exibiram problemas como patologizar experiências do usuário ou oferecer conselhos genéricos propensos à minimização.

Avaliação Humana

Um estudo intra-sujeito com 10 participantes comparou o assistente habilitado com RAG contra uma linha de base sem RAG.

• Vantagens do RAG: Os participantes classificaram o sistema RAG significativamente mais alto em Clareza (4.2 vs. 3.5) e Utilidade (4.0 vs. 3.9). O feedback qualitativo descreveu o assistente RAG como "organizado", "direto ao ponto" e capaz de validar as entradas do usuário.
• Trocas (Trade-offs): O sistema sem RAG foi notado como mais rápido, porém menos envolvente. O sistema RAG ocasionalmente sofreu com tempos de resposta mais lentos.
• Geral: O assistente RAG alcançou uma pontuação média geral superior (3.8 vs. 3.6), sugerindo que a fundamentação por recuperação melhora o valor para o suporte reflexivo.

Significância e Alegações

O artigo posiciona o Tell Me não como um substituto para a terapia profissional, mas como um espaço reflexivo para processamento emocional e um ambiente de teste para pesquisa para inovação responsável.

• Utilidade de Pesquisa: O sistema aborda a escassez de dados terapêuticos confidenciais ao fornecer um mecanismo para gerar diálogos sintéticos baseados em perfis, permitindo experimentação e aumento de dados mais seguros.
• Preenchimento de Lacunas: Demonstra como assistentes conversacionais podem reduzir as barreiras ao suporte, complementando os cuidados existentes, ofereção de adaptação dinâmica (via Planejador Agêntico) onde as ferramentas estáticas falham.
• Potencial Interdisciplinar: Os autores destacam o sistema como uma plataforma para colaboração entre pesquisadores de NLP e profissionais de saúde mental para avançar a interação humano-IA.
• Modéstia: Os autores reconhecem explicitamente as limitações, incluindo o pequeno tamanho da amostra do estudo humano, a falta de validação clínica por profissionais licenciados e o fato de que diálogos sintéticos não podem capturar totalmente a nuance das trocas terapêuticas reais. O sistema é apresentado como um protótipo para reflexão diária e manutenção emocional, análogo a como a atividade física complementa os cuidados médicos.