NeuroVLM-Bench: Evaluation of Vision-Enabled Large Language Models for Clinical Reasoning in Neurological Disorders

1. Problema e Motivação

Os distúrbios neurológicos, como esclerose múltipla, AVC (acidente vascular cerebral) e tumores cerebrais, representam desafios globais de saúde. A interpretação precisa de neuroimagem (ressonância magnética e tomografia computadorizada) é crítica para o diagnóstico e tomada de decisão clínica. Embora modelos de aprendizado profundo tradicionais tenham tido sucesso em tarefas isoladas (como segmentação de lesões), eles carecem de capacidade de raciocínio para integrar evidências de imagem com um contexto clínico mais amplo.

Os recentes Modelos de Linguagem Grandes Multimodais (MLLMs) oferecem novas possibilidades, mas sua confiabilidade, calibração e eficiência operacional em neuroimagem não são bem compreendidas. A maioria dos benchmarks existentes foca em Perguntas e Respostas Visuais (VQA) genéricas, que não se alinham diretamente com fluxos de trabalho de suporte à decisão clínica estruturada, nem avaliam sistematicamente a saída estruturada, a incerteza ou o custo computacional.

2. Metodologia: NeuroVLM-Bench

O artigo apresenta o NeuroVLM-Bench, um benchmark abrangente e rigoroso para avaliar 20 MLLMs de ponta (proprietários, open-weight e especializados em medicina) em tarefas de neuroimagem 2D.

• Conjunto de Dados: Um banco de dados curado e público contendo 29.538 amostras de MRI e CT, cobrindo cinco categorias principais: Tumores Cerebrais, Esclerose Múltipla (EM), AVC, Outras Anormalidades (miméticos de tumor) e Controles Normais.
• Protocolo de Avaliação Progressiva (4 Fases):
  • Fase 0 (Calibração): Definição e travamento dos hiperparâmetros (temperatura=0.0, seed=42) e do prompt.
  • Fase 1 (Triagem): Avaliação de 20 modelos em 30% dos dados para filtrar os piores.
  • Fase 2 (Validação de Estabilidade): Avaliação dos 11 melhores modelos em 45% dos dados para confirmar estabilidade.
  • Fase 3 (Benchmark de Generalização): Avaliação final dos 6 melhores modelos em 25% dos dados (hold-out), comparando modos zero-shot e few-shot (4 exemplos por classe).
• Prompt Unificado (UNIPP): Os modelos devem gerar uma saída estruturada em JSON contendo seis campos:
  1. Metadados da imagem (Modalidade, Sequência Especializada, Plano Anatômico).
  2. Raciocínio Diagnóstico (Nome do Diagnóstico, Diagnóstico Detalhado/Subtipo).
  3. Avaliação Quantitativa (Confiança do Diagnóstico).
• Métricas de Avaliação Multidimensional:
  • Desempenho Discriminativo: F1 Macro (com penalidade de abstenção), Acurácia, Precisão, Recall, AUC.
  • Confiabilidade da Saída: Taxa de JSON válido e taxa de abstenção.
  • Calibração Estatística: Erro de Calibração Esperado (ECE) e Pontuação Brier.
  • Eficiência Operacional: Uso de tokens, latência e custo estimado por inferência.

3. Principais Contribuições

1. Benchmark Clinicamente Fundado: Introdução do NeuroVLM-Bench, focado em tarefas de suporte à decisão real (classificação hierárquica e metadados) em vez de VQA genérico.
2. Protocolo de Avaliação em Camadas: Um método rigoroso de 4 fases para controlar viés de seleção e garantir estabilidade e generalização.
3. Avaliação Multidimensional: Integração de métricas de desempenho, calibração, confiabilidade de saída estruturada e eficiência de custo, fornecendo uma visão holística da viabilidade de implantação.
4. Análise Comparativa em Grande Escala: Avaliação de 20 modelos fronteiriços, incluindo os mais recentes da OpenAI, Google, Anthropic, Meta e modelos médicos especializados (MedGemma).

4. Resultados Chave

• Hierarquia de Dificuldade:
  • Resolvido: A identificação de atributos técnicos (modalidade, plano anatômico) é quase perfeita na maioria dos modelos.
  • Moderado: Classificação de tumores é a tarefa mais confiável. AVC é moderadamente solucionável.
  • Desafiador: O raciocínio clínico significativo, especialmente a predição de subtipos de diagnóstico (ex: distinguir glioma de meningioma, ou subtipos de AVC), permanece significativamente difícil. A Esclerose Múltipla e anormalidades raras são as tarefas mais difíceis.
• Desempenho dos Modelos:
  • Proprietários: O Gemini 2.5 Pro e o GPT-5 Chat alcançaram o melhor desempenho diagnóstico geral. O Gemini 2.5 Flash ofereceu o melhor equilíbrio entre desempenho, calibração e eficiência computacional.
  • Open-Weight: O MedGemma 1.5 4B (especializado em medicina) demonstrou resultados promissores, aproximando-se do desempenho zero-shot de modelos proprietários com few-shot prompting, mantendo validade estruturada perfeita.
  • Falhas Comuns: Modelos como LLaMA 3.2 Vision apresentaram taxas de abstenção extremamente altas ou desempenho próximo de zero. Alguns modelos geraram alucinações ou falharam em seguir o esquema JSON.
• Impacto do Few-Shot Prompting:
  • Melhorou o desempenho de diagnóstico equilibrado para vários modelos (especialmente MedGemma 1.5 4B e Gemini 2.5 Flash).
  • No entanto, aumentou significativamente o uso de tokens, a latência e o custo de inferência.
  • Em alguns casos (ex: Qwen 2.5-VL), o few-shot degradou o desempenho, indicando que exemplos adicionais podem desestabilizar a classificação em certas arquiteturas.
• Comportamento por Classe:
  • Detecção de tumores é robusta.
  • AVC mostra grandes ganhos com few-shot.
  • Esclerose Múltipla permanece difícil mesmo para os melhores modelos, sugerindo a necessidade de raciocínio volumétrico (3D) e contexto clínico mais rico.

5. Significado e Conclusão

O estudo conclui que os MLLMs atuais não devem ser considerados diagnósticos gerais de neuroimagem, mas sim assistentes especializados. Enquanto a extração de metadados técnicos está madura, o raciocínio clínico fino ainda é uma barreira.

• Implicações Clínicas: A implantação segura requer estratégias de roteamento (enviar casos para modelos específicos baseados na tarefa) e salvaguardas para casos de baixa confiança ou raros.
• Futuro: O trabalho aponta para a necessidade de avaliação em dados volumétricos (3D), integração de metadados clínicos estruturados (histórico do paciente) e adaptação específica de domínio para fechar a lacuna de desempenho.
• Valor do Benchmark: O NeuroVLM-Bench fornece uma base padronizada e transparente para pesquisadores, desenvolvedores e reguladores avaliarem a prontidão clínica de sistemas de IA multimodal, promovendo um desenvolvimento mais seguro e escalável na área de saúde.