Resumo Técnico: MENTALBENCH

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) demonstraram potencial na análise de saúde mental, contudo, os benchmarks existentes para avaliar suas capacidades de diagnóstico psiquiátrico sofrem de limitações significativas. A maioria dos conjuntos de dados atuais depende de dados de mídias sociais ou de cenários de diálogo de suporte, os quais carecem da estrutura rigorosa necessária para avaliar se os modelos podem aplicar critérios diagnósticos formais (como os do DSM-5) e navegar por regras complexas de diagnóstico diferencial. Consequentemente, permanece incerto se os LLMs podem resolver de forma confiável as fronteiras clínicas entre diagnósticos concorrentes sob ambiguidade clínica inerente, um requisito crítico para o suporte à decisão clínica de alto risco. A construção de dados diagnósticos de alta qualidade e validados por especialistas é ainda mais dificultada por regulamentações rigorosas de privacidade, pela ausência de biomarcadores objetivos e pela complexidade da lógica diagnóstica formal.

Metodologia

Para abordar essas lacunas, os autores apresentam o MENTALBENCH, um benchmark fundamentado em um grafo de conhecimento construído por psiquiatras chamado MENTALKG.

1. MENTALKG: Um Grafo de Conhecimento Fundamentado no DSM

O MENTALKG serve como a espinha dorsal lógica do benchmark. É um grafo de conhecimento estruturado que codifica os critérios diagnósticos do DSM-5 e as regras de diagnóstico diferencial para 23 transtornos psiquiátricos.

• Estrutura: O grafo compreende 23 nós de Transtorno, 23 nós de Grupo de Sintomas, 84 nós de Sintoma e 87 nós de Diagnóstico Diferencial.
• Formalização: Transforma texto não estruturado do DSM-5 em entidades estruturadas, codificando explicitamente sintomas obrigatórios, restrições de duração, limiares mínimos de sintomas e lógica excludente.
• Lógica Diferencial: Os nós de diagnóstico diferencial capturam a lógica direcional necessária para distinguir entre transtornos sobrepostos (por exemplo, Transtorno Depressivo Maior vs. Transtorno Bipolar I), definindo condições de gatilho, diferenças-chave e regras discriminatórias específicas.
• Diversidade: Para evitar formulações rígidas e de estilo de livro didático, o esquema integra subtipos de sintomas, permitindo manifestações linguísticas e sintomáticas variadas de sintomas centrais.
• Validação: A construção do grafo envolveu dois especialistas (um psiquiatra certificado pelo conselho e um psicólogo clínico licenciado) que validaram os subtipos de sintomas, o alinhamento dos critérios com o DSM-5 e a validade clínica da lógica de diagnóstico diferencial.

2. MENTALBENCH: Construção do Benchmark

Aproveitando o MENTALKG, os autores geraram 24.750 casos clínicos sintéticos organizados em um pipeline de múltiplos estágios. O benchmark avalia os modelos em dois desafios principais: Incompletude de Informação e Complexidade Diagnóstica.

Os casos são categorizados em quatro tipos:

• Tipo 1 (Resumo Profissional): Resumos estruturados de prontuários médicos em terceira pessoa, onde todas as evidências diagnósticas são explícitas e completas.
• Tipo 2 (Auto-relato do Paciente): Narrativas fragmentadas, coloquiais e em primeira pessoa, refletindo divulgação seletiva e diversidade de expressão, onde os modelos devem recuperar pistas diagnósticas a partir de informações incompletas.
• Tipo 3 (Ambiguidade Controlada): Cenários de diagnóstico diferencial onde sintomas compartilhados satisfazem múltiplos transtornos, mas a evidência discriminatória necessária para descartar candidatos é intencionalmente omitida. A resposta correta é um conjunto de diagnósticos plausíveis.
• Tipo 4 (Diagnóstico Definitivo): Cenários de diagnóstico diferencial onde a evidência discriminatória é incluída, exigindo que o modelo reduza o conjunto de candidatos a um único diagnóstico definitivo com base em critérios detalhados.

O processo de geração envolve geração de sementes (amostragem a partir do MENTALKG), augmentação de perfil (atribuição de dados demográficos e subtipos de sintomas) e síntese de dados usando um conjunto de três LLMs distintos para mitigar o viés do gerador. Todas as saídas passaram por validação rigorosa de especialistas quanto à naturalidade linguística, validade diagnóstica e realismo clínico.

Contribuições Principais

1. MENTALKG: Um grafo de conhecimento construído por especialistas que formaliza os critérios diagnósticos do DSM-5 e as regras de diagnóstico diferencial para 23 transtornos, fornecendo uma espinha dorsal lógica estruturada para avaliação clínica.
2. MENTALBENCH: Um benchmark de grande escala composto por 24.750 casos sintéticos que variam sistematicamente a completude da informação e a complexidade diagnóstica para avaliar LLMs sob ambiguidade clínica.
3. Avaliação Abrangente: Um framework de avaliação sistemática que vai além do reconhecimento de padrões superficiais para testar a aplicação rigorosa da lógica diagnóstica, incluindo a capacidade de lidar com narrativas fragmentadas e resolver perfis de sintomas sobrepostos.

Resultados Experimentais

Os autores avaliaram uma gama diversificada de modelos de código aberto (Qwen, Gemma, Llama, MentaLLaMA) e de código fechado (GPT, Gemini, Claude) no MENTALBENCH.

• Desempenho Geral: Mesmo os modelos mais avançados alcançaram uma precisão geral máxima de apenas 62,69%, destacando a dificuldade do benchmark.
• Incompletude de Informação: Os modelos performaram bem no Tipo 1 (resumos estruturados), mas mostraram degradação substancial de desempenho no Tipo 2 (auto-relatos narrativos). Modelos menores (<30B parâmetros) sofreram uma queda média significativa (10,58 pontos), enquanto modelos maiores foram mais resilientes, sugerindo que a escala auxilia na inferência semântica a partir de dados fragmentados.
• Complexidade Diagnóstica: O desempenho caiu precipitadamente em tarefas de diagnóstico diferencial (Tipo 3 e Tipo 4), com muitos modelos pontuando abaixo de 20%.
  • Modelos de código aberto tenderam a exibir superdiagnóstico em casos não ambíguos (Tipo 4), falhando em aplicar regras de exclusão e selecionando múltiplos distratores plausíveis.
  • Modelos de código fechado tenderam a exibir subdiagnóstico em casos ambíguos (Tipo 3), forçando previsões de rótulo único mesmo quando a evidência clínica suportava múltiplas condições.
• Descobertas Específicas por Doença: Os modelos lutaram significativamente com transtornos sub-representados em pesquisas anteriores (por exemplo, Transtorno Esquizoafetivo) e aqueles que exigem distinções temporais detalhadas (por exemplo, Transtorno Depressivo Persistente vs. Transtorno Depressivo Maior).
• Falha de Calibração: A análise revelou que os modelos carecem de consciência de restrições intrínsecas. Eles lutam para calibrar autonomamente seu escopo diagnóstico (decidindo entre diagnósticos únicos vs. múltiplos) sem instruções explícitas de prompt.

Significado e Alegações

O artigo afirma que o MENTALBENCH expõe limitações críticas nas capacidades atuais dos LLMs para suporte à decisão psiquiátrica. Embora os modelos possuam conhecimento latente dos critérios do DSM-5, eles falham em aplicar rigorosamente esse conhecimento em cenários ambíguos e semelhantes ao mundo real. Especificamente:

• Os modelos lutam para mapear expressões de pacientes do mundo real e fragmentadas sobre critérios diagnósticos formais.
• Os modelos falham em calibrar o compromisso diagnóstico, oscilando entre tendências excessivamente expansivas e excessivamente restritivas dependendo da arquitetura do modelo e da ambiguidade do cenário.
• Os modelos atuais carecem da capacidade intrínseca de definir fronteiras de decisão sem orientação externa, levantando preocupações sobre sua confiabilidade em cenários do mundo real onde o número de diagnósticos plausíveis é inerentemente incerto.

Os autores concluem que o MENTALBENCH defende que pesquisas futuras priorizem a tomada de decisão adaptativa e robusta que possa lidar com ambiguidade clínica e restrições lógicas rigorosas, em vez de depender de associações superficiais. Os recursos (código e dados) foram lançados publicamente para facilitar a avaliação e o desenvolvimento adicionais neste domínio.