Resumo Técnico: CARE-MH

Declaração do Problema

Modelos de linguagem de grande escala (LLMs) estão sendo cada vez mais implantados para fornecer suporte de saúde mental não clínico, o que exige avaliações confiáveis de segurança, empatia e adequação terapêutica. No entanto, o cenário atual de benchmarks de saúde mental sofre de limitações significativas que dificultam o progresso científico. Os benchmarks existentes são difíceis de reproduzir e comparar devido a designs de avaliação inconsistentes, configurações de prompting subespecificadas e definições de métricas específicas de cada benchmark. Além disso, a rápida evolução dos LLMs e a depreciação de modelos avaliadores proprietários introduzem instabilidade, tornando desafiador determinar se as diferenças de desempenho decorrem das capacidades do modelo ou de variações nos pipelines de avaliação. Esses problemas impedem uma análise unificada entre conjuntos de dados, modelos avaliadores e gerações evolutivas de LLMs.

Metodologia: O Framework CARE-MH

Para enfrentar esses desafios, os autores apresentam o CARE-MH (Comparable And Reproducible Evaluation of non-clinical Mental Health LLMs), um framework unificado projetado para tratar a avaliação de LLMs de saúde mental como um pipeline experimental controlado e configurável.

Princípios de Design

O CARE-MH é construído sobre três princípios fundamentais:

1. Parametrização Explícita: As principais escolhas de avaliação (templates de prompt, instruções do avaliador, configurações de geração, definições de métricas) são tratadas como variáveis explícitas e configuráveis, em vez de detalhes de implementação ocultos.
2. Avaliação Fatorada: O processo de avaliação é decomposto em estágios distintos para isolar e analisar diferentes fontes de variabilidade de forma independente.
3. Preservação Semântica: Os critérios de avaliação específicos de cada benchmark são preservados, enquanto métricas relacionadas são organizadas sob uma taxonomia compartilhada para permitir a comparação entre benchmarks.

Componentes Principais

O framework formaliza a avaliação em cinco componentes configuráveis:

• Datasets de Benchmark: Coleções de prompts de saúde mental não clínica e trechos de conversas.
• Definições de Métricas: Critérios explícitos para avaliar as respostas do Sistema Sob Teste (SUT), incluindo instruções, formatos de saída e escalas de pontuação.
• Sistemas Sob Teste (SUT): Os LLMs sendo avaliados.
• Avaliadores: LLMs usados para avaliar as respostas do SUT com base em métricas específicas.
• Configurações: Especificações separadas para prompting (formatação de inputs/instruções) e geração (hiperparâmetros de decodificação como temperatura e max tokens).

Taxonomia Unificada de Métricas

Os autores consolidam métricas sobrepostas, mas definidas de forma inconsistente, de benchmarks anteriores em uma taxonomia unificada composta por seis categorias principais:

1. Comunicação Terapêutica: Empatia, escuta ativa, ausência de julgamento e encorajamento.
2. Qualidade de Conteúdo e Adequação ao Problema: Relevância, especificidade, informatividade e cobertura holística.
3. Capacidade de Ação: Orientação, estrutura e próximos passos.
4. Segurança, Ética e Escopo: Evitação de danos, toxicidade, limites éticos e aconselhamento médico não licenciado.
5. Confiabilidade e Correção: Consistência factual e confiabilidade composta.
6. Artefato de Avaliação: Justificativas e extensões de evidência que sustentam as classificações.

Avaliação Experimental

Os autores aplicaram o CARE-MH para reproduzir e analisar três benchmarks representativos de estado da arte em inglês: CounselBench, MentalBench e MentalChat16K. O estudo envolveu:

• Reprodução dos resultados originais dos benchmarks onde as configurações estavam acessíveis.
• Substituição de modelos depreciados (ex: GPT-4 Turbo, Gemini Pro) por gerações mais novas (ex: GPT-4.1, Gemini-2.5-Pro) para avaliar a estabilidade.
• Realização de avaliações cross-benchmark para testar a consistência.
• Aplicação de um design de avaliação unificado com métricas padronizadas em todos os datasets.

Principais Descobertas

1. A Reprodutibilidade Depende da Estabilidade do Modelo

A reprodutibilidade varia significativamente com base na estabilidade tanto dos SUTs quanto dos avaliadores.

• O CounselBench demonstrou forte reprodutibilidade, com diferenças absolutas entre os resultados originais e os reproduzidos geralmente abaixo de 0,05, mesmo utilizando avaliadores mais novos como GPT-5 e Llama-3.3.
• O MentalBench mostrou alta fidelidade quando o avaliador original (GPT-4o) foi reproduzido, mas exibiu grandes desvios (excedendo 1,0 em algumas métricas) quando novos ou substituídos SUTs foram utilizados, sugerindo diferenças comportamentais entre gerações de modelos.
• O MentalChat16K não pôde ser totalmente reproduzido devido à depreciação de seus avaliadores proprietários. A substituição destes por novas gerações de LLM resultou em mudanças substanciais de pontuação em quase todas as métricas, particularmente em dimensões subjetivas como empatia e escuta ativa, onde novos avaliadores atribuíram consistentemente pontuações mais baixas.

2. O Desacordo Cross-Benchmark Provém das Definições de Métricas

Embora o ranking geral dos modelos tenha sido amplamente consistente entre os benchmarks, surgiram inconsistências significativas ao comparar métricas semanticamente similares, mas definidas de forma diferente.

• Consistência de Mesma Métrica: Quando a mesma métrica exata (ex: "Empatia") foi aplicada entre os benchmarks, os resultados foram altamente consistentes.
• Inconsistência de Definição Diferente: Ao comparar métricas análogas com definições operacionais distintas (ex: "Especificidade" do CounselBench vs. "Relevância" do MentalBench vs. "Escuta Ativa" do MentalChat16K), ocorreram mudanças de ranking. Isso indica que o desacordo cross-benchmark é impulsionado principalmente pelas diferenças nas definições de métricas e nas instruções do avaliador, e não pela variabilidade inerente do modelo.

3. A Avaliação Unificada Melhora a Comparabilidade

A aplicação da taxonomia unificada do CARE-MH com prompts e métricas padronizados em todos os datasets melhorou a comparabilidade. Tanto os avaliadores de código fechado (Gemini-2.5-Pro) quanto os de código aberto (Llama-3.3) produziram tendências globais consistentes, identificando modelos avançados (ex: Gemini-2.5-Pro, GPT-4.1) como os melhores performers e modelos mais fracos (ex: LLaMA2) como os piores. Essa abordagem unificada permite a comparação direta entre dimensões anteriormente fragmentadas entre diferentes benchmarks.

Significância e Contribuições

O artigo traz as seguintes contribuições para o campo da avaliação de IA em saúde mental:

• Desenvolvimento de Framework: Introduz o CARE-MH, o primeiro framework unificado para avaliação comparável e reprodutível de LLMs de saúde mental não clínica.
• Criação de Taxonomia: Desenvolve uma taxonomia unificada de métricas de avaliação de saúde mental que consolida definições de benchmarks existentes.
• Análise Sistemática: Realiza o primeiro estudo sistemático de reprodutibilidade e consistência cross-benchmark neste domínio.
• Evidência Empírica: Revela que a estabilidade do avaliador/modelo e as definições de métricas são os principais drivers do desacordo entre benchmarks e da variação de reprodutibilidade.
• Demonstração de Utilidade: Mostra que a avaliação unificada com métricas padronizadas melhora significativamente a comparabilidade cross-benchmark e a reprodutibilidade através das evoluções geracionais de LLM.

Os autores concluem que os futuros benchmarks de saúde mental devem liberar configurações de avaliação padronizadas junto com os datasets. Isso inclui definições explícitas de métricas, prompts de avaliador e configurações de geração para garantir a reprodutibilidade de longo prazo e a comparação confiável à medida que a tecnologia de LLM continua a evoluir. O trabalho enfatiza que, sem tal padronização, as afirmações sobre a segurança e a qualidade terapêutica dos modelos podem permanecer inconsistentes ou enganosas.