Auditing Multimodal LLM Raters: Central Tendency Bias in Clinical Ordinal Scoring

Resumo Técnico: Auditoria de Avaliadores de LLMs Multimodais para Pontuação Ordinal Clínica

Declaração do Problema
Modelos de Linguagem de Grande Escala (LLMs) multimodais estão sendo cada vez mais implantados como avaliadores automatizados ("LLM como juiz") em contextos clínicos. No entanto, seu comportamento de pontuação em escalas ordinais clínicas permanece pouco compreendido. Métricas de avaliação padrão, como Erro Absoluto Médio (MAE) e concordância dentro da tolerância, frequentemente dependem de estatísticas agregadas que podem ocultar modos de falha sistemáticos. Especificamente, um avaliador pode alcançar forte concordância agregada enquanto falha nas extremidades da escala. Em contextos clínicos como a triagem de comprometimento cognitivo, erros nessas extremidades (por exemplo, classificar erroneamente um paciente gravemente comprometido como normal, ou vice-versa) acarretam consequências desproporcionais para decisões de triagem a jusante. O artigo investiga se os LLMs exibem vieses sistemáticos, especificamente um "efeito de tendência central" (compressão de pontuações em direção ao meio da escala), quando aplicados a tarefas de pontuação ordinal clínica, e se esse viés pode ser mitigado por meio de engenharia de prompts.

Metodologia
O estudo compara três famílias de LLMs multimodais de ponta (GPT-5/GPT-5.4, Gemini-2.5-Pro e Claude-4-Sonnet) com modelos de aprendizado profundo supervisionados (CNNs e Vision Transformers) no Teste de Desenho do Relógio (CDT).

• Conjuntos de Dados: A avaliação principal utiliza 597 imagens do National Health and Aging Trends Study (NHATS), particionadas em conjuntos de desenvolvimento e teste. A validação externa é realizada em uma coorte independente tailandesa de CDT (386 imagens).
• Tarefa: A tarefa envolve prever uma pontuação inteira $y \in \{0, \dots, 5\}$ com base na rubrica de Shulman, onde 0 representa um desenho irreconhecível e 5 representa uma representação precisa.
• Modelos:
  • Baselines Supervisionadas: Uma CNN ResNet-101 e duas variantes de Vision Transformer (ViT) (classificação ordinal e regressão contínua). Estes são totalmente ajustados finamente (fine-tuned) nos dados do NHATS.
  • Avaliadores LLM: LLMs multimodais zero-shot e few-shot. Estes modelos recebem a imagem e uma rubrica em linguagem natural descrevendo os seis níveis de pontuação, mas não passam por treinamento baseado em gradiente no conjunto de dados alvo.
• Protocolo de Avaliação:
  • Métricas Agregadas: MAE, RMSE e precisão dentro de 1 (concordância baseada em tolerância).
  • Análise por Pontuação: Exame das distribuições de pontuações previstas, perfis de erro direcionais e matrizes de confusão para detectar compressão sistemática em direção ao centro.
  • Ablações de Prompt: Para distinguir entre artefatos de engenharia de prompts e comportamento intrínseco do modelo, os autores testaram:
    1. Prompting few-shot: Fornecimento de 30 imagens exemplares (5 por nível de pontuação) para ancorar o modelo.
    2. Prompting des-clinicalizado: Remoção de terminologia médica (por exemplo, "neuropsicologia") para testar se mecanismos de segurança desencadeiam pontuação conservadora.

Principais Resultados

1. Desempenho Agregado: Modelos ViT-Ordinal totalmente ajustados finamente alcançaram a melhor calibração (MAE 0,52, precisão dentro de 1 de 91%). Entre os LLMs zero-shot, o GPT-5 foi o melhor desempenho (MAE 0,67, precisão dentro de 1 de 92%), mostrando concordância baseada em tolerância competitiva apesar de um erro absoluto maior do que os melhores modelos supervisionados.
2. Efeito de Tendência Central: A análise por pontuação revelou um viés sistemático pronunciado em todas as famílias de LLMs. As previsões foram comprimidas em direção ao meio da escala:
   • Superprevisão na extremidade baixa: Pontuações reais de 0 foram frequentemente previstas como 1.
   • Subprevisão na extremidade alta: Pontuações reais de 5 foram frequentemente previstas como 4.
   • Isso resultou em uma inclinação de calibração significativamente mais rasa do que a dos modelos supervisionados, com erros concentrados nas células (0→1) e (5→4) da matriz de confusão.
3. Descobertas de Ablação:
   • Prompting few-shot melhorou as métricas agregadas (reduzindo o MAE para 0,56) e aumentou a precisão na extremidade alta, mas não eliminou o efeito de tendência central. Uma parte significativa das pontuações extremas permaneceu mal classificada em direção ao centro.
   • Prompting des-clinicalizado piorou o desempenho em todas as métricas e falhou em reduzir o viés, indicando que a terminologia clínica na verdade auxilia na fidelidade da pontuação, em vez de desencadear conservadorismo excessivo.
4. Validação Externa: O padrão de tendência central (compressão de pontos finais) foi replicado na coorte independente tailandesa de CDT, confirmando a robustez da descoberta em diferentes populações.

Principais Contribuições

• Protocolo de Avaliação Sistemática: Os autores propõem um protocolo que combina decomposição de erro por pontuação e análise de inclinação de calibração para detectar modos de falha que métricas agregadas ocultam.
• Identificação de Viés de Tendência Central: O estudo demonstra que LLMs multimodais exibem um efeito de tendência central consistente na pontuação ordinal clínica, evitando sistematicamente classificações extremas (0 e 5) em favor de pontuações intermediárias.
• Isolamento da Fonte de Viés: Por meio de ablações direcionadas, o artigo isola esse viés como uma tendência comportamental intrínseca dos LLMs multimodais atuais, e não como resultado de prompts insuficientes ou enquadramento clínico específico.

Significado e Alegações
O artigo argumenta que, embora LLMs de ponta mostrem promessa como proxies escaláveis para anotação de especialistas, seu comportamento atual de pontuação ainda não é adequado para implantação autônoma em fluxos de trabalho de triagem clínica de alto risco, onde a identificação precisa dos pontos finais da escala é crítica. O efeito de tendência central representa um risco específico: pode levar à subdetecção de comprometimento cognitivo grave (ao prever 1 em vez de 0) ou à superencaminhamento de indivíduos saudáveis (ao prever 4 em vez de 5).

Os autores estendem a literatura sobre viés de "LLM como juiz" da avaliação de PLN para avaliação clínica. Eles hipotetizam que esse comportamento pode decorrer do alinhamento via Aprendizado por Reforço com Feedback Humano (RLHF), que internaliza uma aversão humana a classificações extremas, ou como um prior distribucional no modelo. O artigo conclui que a implantação de avaliadores baseados em LLMs requer avaliação consciente da calibração e sugere que calibração post-hoc ou fluxos de trabalho híbridos (usando LLMs para pré-triagem e modelos supervisionados/humanos para pontuação final) são necessários antes que essas ferramentas possam ser integradas com segurança à prática clínica.