Responsible Evaluation of AI for Mental Health

1. Declaração do Problema

Apesar dos avanços rápidos dos Modelos de Linguagem de Grande Escala (LLMs) em aplicações de saúde mental (por exemplo, diagnóstico, suporte terapêutico e documentação clínica), as práticas atuais de avaliação estão fundamentalmente desalinhadas com a realidade clínica. Os autores identificam uma desconexão crítica entre a comunidade de pesquisa em IA e o domínio da saúde mental, caracterizada por:

• Excesso de Confiança em Métricas Genéricas: A maioria dos estudos depende de métricas padrão de PLN (por exemplo, BLEU, ROUGE, F1) que não capturam validade clínica, adequação terapêutica ou experiência do usuário.
• Falta de Envolvimento de Especialistas: Mais de 50% dos artigos pesquisados não incluem avaliação humana e, entre aqueles que incluem, quase 30% carecem de participação de profissionais de saúde mental.
• Foco Insuficiente em Segurança e Equidade: As avaliações frequentemente ignoram a segurança a longo prazo, consequências não intencionais, viés e equidade em diversas populações.
• Estruturas Fragmentadas: Não há uma linguagem ou estrutura unificada para avaliar ferramentas de IA em diferentes estágios de maturidade (desde pesquisa exploratória até implantação clínica), levando a conclusões enganosas sobre a prontidão de uma ferramenta para uso no mundo real.

2. Metodologia

Os autores empregaram uma abordagem de métodos mistos, combinando uma revisão quantitativa da literatura com o desenvolvimento de uma estrutura teórica:

• Análise Quantitativa:

  • Conjunto de Dados: Uma revisão sistemática de 135 artigos publicados na Antologia ACL nos últimos cinco anos (com 36% de 2025).
  • Anotação: Dois anotadores (um pós-doutorando e um estudante de doutorado com experiência em IA para saúde mental) codificaram os artigos. 50% dos dados foram duplamente anotados, alcançando concordância substancial ($\kappa$ de Cohen = 0,67).
  • Dimensões de Codificação: Os artigos foram avaliados com base nas métricas utilizadas (IA/PLN vs. fundamentadas psicologicamente), presença de avaliação humana, envolvimento de especialistas, compartilhamento de diretrizes de avaliação e discussão de limitações.

• Desenvolvimento da Estrutura:

  • Os autores sintetizaram insights da psicometria (validade, confiabilidade), da ciência da implementação (viabilidade, integração no fluxo de trabalho) e da prática clínica.
  • Eles desenvolveram uma taxonomia que categoriza ferramentas de IA para saúde mental em três tipos distintos, cada um com perfis de risco e requisitos de avaliação únicos.

• Aplicação de Estudo de Caso:

  • Cinco estudos representativos foram selecionados para demonstrar a aplicação da taxonomia proposta nos três tipos de suporte (Avaliação, Intervenção e Síntese de Informações).

3. Principais Contribuições

A. Identificação de Lacunas na Avaliação

A análise revelou tendências alarmantes na literatura atual (Tabela 2):

• 50% dos artigos dependem apenas de métricas de IA/PLN.
• 52% não incluem nenhuma avaliação humana.
• 29% dos artigos com avaliação humana não envolvem especialistas em saúde mental.
• 36% não discutem limitações relacionadas aos seus métodos de avaliação.

B. Taxonomia Proposta de Suporte de IA para Saúde Mental

O artigo introduz uma taxonomia estruturada que divide as ferramentas em três categorias, cada uma exigindo dimensões específicas de avaliação (Validade, Confiabilidade, Implementação, Manutenção):

1. Ferramentas Orientadas à Avaliação:

   • Função: Inferir estados psicológicos (por exemplo, detecção de depressão, classificação de risco de suicídio).
   • Métricas Chave: Validade de construto (alinhamento com escalas clínicas), validade de critério (previsão de resultados externos) e confiabilidade teste-reteste.
   • Risco: Falsos positivos/negativos levando a diagnósticos errôneos ou crises não detectadas.

2. Ferramentas Orientadas à Intervenção:

   • Função: Fornecer ou estruturar suporte (por exemplo, chatbots terapêuticos, agentes de TCC).
   • Métricas Chave: Eficácia (redução de sintomas), segurança (evitação de danos), engajamento e equidade entre demografias.
   • Risco: Fornecer conselhos prejudiciais, reforçar distorções cognitivas ou criar dependência.

3. Ferramentas Orientadas à Síntese de Informações:

   • Função: Auxiliar profissionais/pesquisadores (por exemplo, sumarização clínica, codificação de comportamento).
   • Métricas Chave: Precisão dos resumos, utilidade na economia de tempo e confiabilidade dos insights gerados.
   • Risco: Alucinações em notas clínicas, perda de nuances ou superdependência por parte dos clínicos.

C. Estrutura de Avaliação Consciente da Maturidade

Os autores propõem um caminho de maturidade de três camadas para guiar a profundidade da avaliação com base no estágio de desenvolvimento da ferramenta:

1. Maturidade Inicial (Exploratória): Validação técnica (precisão, robustez) usando conjuntos de dados retrospectivos.
2. Maturidade Intermediária (Validação): Avaliação centrada no humano envolvendo julgamento de especialistas, usabilidade e validação prospectiva.
3. Maturidade Avançada (Implantação): Avaliação ecológica incluindo integração no fluxo de trabalho, impacto a longo prazo, monitoramento de segurança e auditorias de equidade.

D. Demonstrações de Estudo de Caso

A taxonomia foi aplicada a cinco estudos para ilustrar sua utilidade:

• Estudo I e II (Avaliação): Demonstraram como escalas de classificação de LLMs podem alcançar solidez psicométrica, mas destacaram lacunas na validade discriminante e na confiabilidade entre populações.
• Estudo III e IV (Intervenção): Mostraram que, embora os LLMs possam igualar terapeutas humanos na adequação teórica, frequentemente carecem de validade ecológica e monitoramento de segurança. O Estudo IV destacou a importância do refinamento iterativo para equidade (por exemplo, adaptação para adolescentes).
• Estudo V (Síntese): Ilustrou que, embora as ferramentas possam resumir dados, frequentemente carecem de validade ecológica quando treinadas em dados não clínicos (redes sociais) e falham em avaliar a usabilidade clínica a longo prazo.

4. Resultados

• Estado Atual: O campo está predominantemente no estágio de "Maturidade Inicial" (68% dos artigos amostrados), focando na viabilidade técnica em vez de utilidade clínica ou segurança.
• Incompatibilidade de Métricas: Métricas padrão de PLN são proxies insuficientes para sucesso clínico. Um modelo pode ter altas pontuações BLEU, mas falhar em fornecer valor terapêutico ou segurança.
• Lacuna de Expertise: A falta de envolvimento de profissionais de saúde mental no ciclo de avaliação é um gargalo primário para a implantação responsável.
• Utilidade da Estrutura: A taxonomia proposta identificou com sucesso dimensões específicas ausentes em estudos existentes (por exemplo, falta de monitoramento de manutenção para desvio, testes de equidade insuficientes) que benchmarks genéricos ignoram.

5. Significado

Este artigo fornece um roteiro crítico para o avanço responsável da IA na saúde mental:

• Ponte entre Disciplinas: Cria uma "linguagem comum" conectando pesquisadores de PLN, clínicos e cientistas de implementação, garantindo que o progresso técnico se traduza em resultados de saúde no mundo real.
• Segurança e Ética: Ao priorizar segurança, equidade e manutenção a longo prazo, a estrutura mitiga os riscos de implantar ferramentas de IA não validadas em ambientes de alto risco.
• Orientação para Pesquisadores: Oferece uma abordagem prática e em camadas para que os pesquisadores calibrem suas alegações de avaliação à maturidade de seus sistemas, incentivando trabalhos em estágio inicial a se envolverem com segurança e validade mesmo sem implantação clínica completa.
• Direção Futura: O artigo pede uma mudança da "perseguição a benchmarks" para "fundamentação clínica", instando a comunidade a adotar padrões de avaliação interdisciplinares que reflitam a complexidade da saúde mental humana.

Página do Projeto: https://ukplab.github.io/nlp-mh-evals/