LLAMADRS: Evaluating Open-Source LLMs on Real Clinical Interviews--To Reason or Not to Reason?

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) demonstraram desempenho excepcional em benchmarks de Processamento de Linguagem Natural (NLP), mas seu comportamento em cenários do mundo real, especificamente em avaliações clínicas semi-estruturadas, permanece pouco explorado.

• Desafio: Há uma escassez de profissionais de saúde mental, e a avaliação precisa de transtornos como a depressão é crucial. A escala MADRS (Montgomery–Åsberg Depression Rating Scale) é o padrão-ouro clínico, consistindo em 10 itens avaliados de 0 a 6.
• Questão Central: Os LLMs conseguem replicar a precisão clínica ao avaliar entrevistas reais? Além disso, a augmentação de raciocínio (modelos que geram "cadeias de pensamento" ou reasoning traces) realmente melhora o desempenho em tarefas clínicas estruturadas, ou modelos padrão bem instruídos são suficientes?

2. Metodologia

2.1. Dataset: LLAMADRS e CAMI

Os autores introduzem o benchmark LLAMADRS, construído sobre o corpus CAMI (Context-Adaptive Multimodal Informatics).

• Dados: 541 sessões de entrevistas psiquiátricas reais entre pacientes e clínicos (ambiente de internação).
• Anotações: 5.804 anotações de especialistas cobrindo os 10 itens da MADRS e a pontuação total.
• Processamento: As transcrições de áudio foram geradas e diarizadas (separação de falantes) usando sistemas ASR (Whisper, Parakeet) e o modelo Qwen 3-32B.

2.2. Modelos Avaliados

O estudo avaliou 25 modelos LLMs de código aberto, variando de 0,6B a 400B de parâmetros.

• Categorias: Modelos Padrão (Standard) vs. Modelos com Augmentação de Raciocínio (Reasoning-Augmented).
• Arquiteturas: Densas e Mistura de Especialistas (MoE).

2.3. Protocolo de Avaliação e Estratégias de Prompt

• Métrica Principal: Erro Absoluto Médio (MAE), alinhado com limiares clínicos (aceitável < 6 pontos totais; moderado 6-12; substancial > 12).
• Duas Estratégias de Pontuação:
  1. DTS (Direct Total Score): O modelo recebe a entrevista completa e prevê a pontuação total (0-60) em uma única chamada.
  2. ITS (Item-then-Sum): O modelo avalia cada um dos 10 itens individualmente em chamadas separadas, e a pontuação total é a soma mecânica desses itens.
• Ablação de Prompt: Testou-se o impacto de três componentes: (1) Cues descritivas (definições clínicas), (2) Cues demonstrativos (exemplos anotados) e (3) Ausência de cues (Raw).

2.4. Análise Estatística

Foi utilizado um modelo de efeitos mistos lineares cruzados para analisar fatores como tamanho do modelo, comprimento do contexto, arquitetura (MoE vs. Densa) e comprimento das traces de raciocínio.

3. Principais Contribuições

1. Novo Benchmark (LLAMADRS): Um conjunto de dados robusto com anotações item a item e totais de entrevistas clínicas reais, permitindo avaliações granulares.
2. Validação de Precisão Clínica: Demonstração de que LLMs abertos fortes alcançam erros no nível de itens dentro de faixas moderadas e erros totais clinicamente aceitáveis.
3. Estratégia ITS Superior: Evidência de que a estratégia "Avaliar Item e depois Somar" (ITS) reduz drasticamente o erro em comparação com a previsão direta da pontuação total (DTS).
4. Desmistificação do "Raciocínio": A descoberta de que o ganho de desempenho atribuído ao "raciocínio" depende fundamentalmente do design do prompt. Em prompts bem estruturados com cues clínicas, modelos padrão igualam ou superam modelos de raciocínio.

4. Resultados Chave

4.1. Desempenho Geral e Estratégia ITS vs. DTS

• A estratégia ITS reduziu o MAE total em 30% a 81% para a maioria dos modelos em comparação com a DTS.
• Mesmo modelos de raciocínio que realizam a soma internamente em suas traces de pensamento (DTS) tiveram desempenho inferior à soma mecânica externa (ITS).
• Modelos grandes (ex: Qwen 2.5 72B, Llama 4) alcançaram MAE total < 6 (clinicamente aceitável) usando ITS. Modelos pequenos (< 8B) frequentemente permaneceram na faixa de erro moderado ou substancial.

4.2. Raciocínio vs. Modelos Padrão

• Dependência do Prompt:
  • Com scaffolding completo (definições clínicas + exemplos), modelos padrão tiveram desempenho ligeiramente superior ou igual aos modelos de raciocínio ($\Delta = -0.03$).
  • Com scaffolding escasso (sem cues), os modelos de raciocínio superaram significativamente os modelos padrão ($\Delta = +0.18$).
• Conclusão: O raciocínio explícito ajuda principalmente quando o modelo não tem instruções estruturadas claras. Para tarefas clínicas bem definidas, a engenharia de prompt cuidadosa substitui a necessidade de raciocínio computacional extra.

4.3. Fatores Preditivos de Desempenho

• Escala do Modelo: O aumento do número de parâmetros correlaciona-se consistentemente com menor erro, tanto para modelos de raciocínio quanto para os padrão.
• Rastros de Raciocínio:
  • Para modelos de raciocínio, traces mais longas dentro de uma sessão específica correlacionam-se com menor erro (raciocínio adaptativo).
  • No entanto, modelos/sessões que tipicamente produzem traces muito longas tendem a ter maior erro, sugerindo que a verbosidade indiscriminada indica dificuldade, não capacidade.
• Arquitetura: Arquiteturas MoE (Mistura de Especialistas) mostraram tendência a maiores erros em comparação com arquiteturas densas de tamanho similar neste contexto.

4.4. Dificuldade por Item

• Itens Mais Fáceis: "Redução de Apetite" e "Pensamentos Suicidas" (itens mais comportamentais/concretos).
• Itens Mais Difíceis: "Tristeza Aparente" e "Incapacidade de Sentir".
  • Nota: A dificuldade em "Tristeza Aparente" persiste mesmo em modelos grandes, indicando uma limitação fundamental da avaliação baseada apenas em texto, pois este item depende de observações visuais e paralinguísticas (expressão facial, postura) ausentes nas transcrições.

5. Significado e Implicações

• Viabilidade Clínica: LLMs de código aberto fortes, combinados com a estratégia ITS e prompts bem estruturados, podem atingir níveis de precisão clinicamente úteis para triagem e avaliação de depressão.
• Eficiência Operacional: Para tarefas clínicas estruturadas, não é necessário usar modelos de raciocínio (que consomem mais tokens e tempo de computação). Modelos padrão com prompts ricos em definições clínicas são mais eficientes e igualmente precisos.
• Limitações e Futuro: O estudo destaca a necessidade de integração multimodal (vídeo/áudio) para capturar sinais não verbais essenciais para certos itens da escala. Além disso, a generalização para ambientes ambulatoriais e a quantificação de incerteza são passos futuros necessários para a implantação clínica real.

Em resumo, o trabalho demonstra que a engenharia de prompt e a estratégia de decomposição de tarefas (ITS) são fatores mais críticos para a precisão clínica do que a simples adição de capacidades de raciocínio intrínseco aos modelos.