MRI-Eval: A Tiered Benchmark for Evaluating LLM Performance on MRI Physics and GE Scanner Operations Knowledge

Resumo Técnico do MRI-Eval: Um Benchmark em Níveis para Avaliar o Desempenho de Modelos de Linguagem de Grande Escala em Conhecimento de Física de Ressonância Magnética e Operações de Equipamentos GE

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) sejam cada vez mais utilizados em pesquisas de Ressonância Magnética (MRI) para design de protocolos, seleção de parâmetros e resolução de problemas, sua confiabilidade em funções específicas da área permanece não verificada. Benchmarks existentes de MRI, como aqueles baseados em livros de revisão de tecnologistas de 1995, atingiram tetos de desempenho para os principais modelos proprietários (por exemplo, o1 Preview com pontuação de 94%), oferecendo poder discriminativo limitado. Crucialmente, nenhuma avaliação sistemática testou LLMs em conteúdo operacional específico de fornecedores — central para o trabalho diário de pesquisa em MRI — que inclui parâmetros específicos de protocolos, comportamentos de sequências de pulso e operações de console. Além disso, altas pontuações em Questões de Múltipla Escolha (QME) podem refletir reconhecimento de opções em vez de recordação generativa genuína, uma distinção não testada em avaliações anteriores específicas de MRI.

Metodologia

O estudo introduz o MRI-Eval, um benchmark em níveis composto por 1.365 itens pontuados (1.355 QMEs e 10 questões sobre concepções equivocadas) distribuídos em nove categorias técnicas e três níveis de dificuldade.

• Fontes de Dados: Os itens foram extraídos de livros didáticos autoritativos, manuais de aplicação de scanners GE SIGNA Works, materiais do Curso de Programação GE EPIC e 35 questões geradas por especialistas abordando lacunas de conhecimento.
• Categorias: As nove categorias incluem operações/protocolo de scanner GE (n=406), sequências de pulso (n=330), conhecimento de domínio GE (n=155), segurança, espaço-k/formação de imagem, artefatos, relaxamento T1/T2, relação sinal-ruído/qualidade de imagem e imageamento paralelo.
• Níveis de Dificuldade: Nível 1 (83,1%) testa recordação de conceito único; Nível 2 (15,6%) requer integração de conceitos cruzados; Nível 3 (1,3%) apresenta cenários de integração de especialistas (notado como uma limitação devido ao pequeno tamanho da amostra).
• Modelos Avaliados: Cinco modelos de famílias distintas foram testados: GPT-5.4, Claude Opus 4.6, Claude Sonnet 4.6, Gemini 2.5 Pro e Llama 3.3 70B.
• Condições de Avaliação:
  1. QME Primária: Formato zero-shot, quatro opções com respostas embaralhadas.
  2. Apenas Enunciado (Texto Livre): Opções removidas; os modelos geraram respostas em texto livre pontuadas por um juiz LLM independente (Grok). O Gemini 2.5 Pro foi excluído aqui devido a tokens de raciocínio obrigatórios que afetavam a formatação.
  3. Diagnóstico Primado: Os modelos foram apresentados a uma afirmação de resposta incorreta e solicitados a concordar/discordar, testando sycophancy ou assistência de recuperação.
• Pontuação e Análise: A análise estatística incluiu intervalos de confiança da pontuação de Wilson, testes de McNemar para comparações pareadas e kappa de Cohen para repetibilidade. Uma auditoria post-hoc revelou pistas pervasivas de comprimento de opção (as opções corretas eram >1,3x o comprimento médio dos distratores em 84,9% dos itens).

Principais Contribuições

1. Construção de Benchmark em Níveis: Um conjunto de dados especializado incorporando conteúdo operacional específico de fornecedores (GE) subrepresentado, projetado para localizar fronteiras de conhecimento em vez de meramente confirmar competência.
2. Formatos de Avaliação Complementares: A inclusão de uma condição apenas de enunciado ao lado de QMEs para quantificar a lacuna entre reconhecimento de opções e recordação generativa, juntamente com uma condição de diagnóstico primado.
3. Comparação Rigorosa de Modelos: Uma comparação de cinco modelos com testes estatísticos pareados e avaliação de repetibilidade de execução para execução (kappa de Cohen 0,983–0,998 para os modelos testados).
4. Reprodutibilidade: Liberação pública do sistema de avaliação e scripts de análise, mantendo o banco de questões completo em sigilo para evitar contaminação dos dados de treinamento.

Resultados

• Desempenho em QME: A precisão geral foi alta e comprimida, variando de 93,2% (Llama 3.3 70B) a 97,1% (GPT-5.4). A dispersão entre os quatro modelos de fronteira foi de apenas 2,4 pontos percentuais.
• Variância por Categoria: Operações de scanner GE foi a categoria com menor pontuação para todos os modelos (88,2%–94,6%), enquanto fundamentos de física (por exemplo, relaxamento T1/T2) aproximaram-se do desempenho de teto.
• Degradação em Apenas Enunciado: A remoção de opções causou uma queda drástica na precisão para todos os modelos. Os modelos de fronteira caíram para 58,4%–61,1% (uma queda de 35,5–36,8 pp), enquanto o Llama 3.3 70B caiu para 37,1% (uma queda de 56,1 pp).
• Recordação Específica de Fornecedor: Na condição apenas de enunciado, a precisão para operações de scanner GE colapsou para 13,8%–29,8%, indicando que o desempenho quase de teto em QME não se traduziu em forte recordação em texto livre para conteúdo específico de fornecedores.
• Condição Primada: Sugestões de respostas incorretas geralmente aumentaram a precisão (efeito de dica de resposta), embora o Llama 3.3 70B tenha mostrado precisão reduzida em níveis de dificuldade mais altos sob primagem, sugerindo que modelos mais fracos podem aceitar primas incorretas quando o conhecimento é insuficiente.
• Repetibilidade: A repetibilidade de execução para execução foi quase perfeita entre os modelos, com discordâncias concentradas na categoria de operações de scanner GE.

Significado e Alegações

O artigo argumenta que alto desempenho em QME em conteúdo de MRI pode mascarar uma recordação generativa fraca, particularmente para conhecimento operacional específico de fornecedores. O benchmark serve principalmente como uma ferramenta de comparação relativa de modelos em vez de uma medida absoluta de competência ou prontidão para implantação.

Conclusões-chave incluem:

• Limitações das QMEs: Altas pontuações em QME em domínios especializados podem refletir reconhecimento de opções e pistas de comprimento em vez de compreensão profunda.
• Risco Operacional: O declínio acentuado no desempenho apenas de enunciado para conteúdo específico de GE apoia a cautela contra a dependência de saídas brutas de LLMs para orientação de protocolos específicos de fornecedores em ambientes de pesquisa.
• Direções Futuras: As descobertas motivam o desenvolvimento de sistemas aumentados por recuperação ou fundamentados em documentos como um próximo passo necessário, pois o conhecimento paramétrico puro parece insuficiente para tarefas operacionais.
• Padrões de Avaliação: Futuros benchmarks específicos de domínio devem incorporar formatos de resposta aberta ou apenas de enunciado para distinguir melhor entre modelos, pois as QMEs padrão comprimem o desempenho próximo ao teto.

Os autores enfatizam que essas descobertas são baseadas em comparações controladas entre modelos e não constituem uma calibração contra o desempenho de especialistas humanos ou uma estimativa direta de prontidão para implantação clínica.