Retrieval-Augmented Claude Opus 4.7 and GPT-5.5 Surpass Human Performance on the Nuclear Cardiology Board Preparation Exam (and Claude Drafts a Paper About it)

Os modelos de linguagem de grande escala de próxima geração, especificamente o Claude Opus 4.7 e o GPT-5.5, equipados com geração aumentada por recuperação utilizando recursos específicos de cardiologia nuclear, alcançaram taxas médias de precisão de aproximadamente 86% no Exame de Preparação para o Conselho da ASNC, superando tanto o limiar estimado de aprovação quanto o desempenho médio dos fellows em treinamento humanos.

O essencial

Imagine um exame final de alto risco para médicos que se especializam em analisar imagens do coração usando traçadores radioativos especiais. Este é o "Exame de Conselho de Cardiologia Nuclear". Por anos, a Inteligência Artificial (IA) tem tentado fazer essa prova, mas continuava falhando, obtendo pontuações inferiores à média do estudante de medicina.

Este artigo conta a história de como dois novos modelos de IA superinteligentes finalmente passaram na prova com louvor, superando o estudante humano médio.

O Cenário: A Prova e a "Cola"

A prova tem 168 questões. Algumas são apenas texto (como um quiz de curiosidades), mas cerca de 27 delas exigem a análise de imagens médicas complexas de corações.

No passado, quando a IA tentava fazer essa prova "no escuro" (sem nenhuma ajuda), o melhor que conseguia era acertar cerca de 63%. Isso é uma nota reprovatória. O estudante de medicina médio (um "fellow em treinamento") pontuou 78%.

Para este novo estudo, os pesquisadores forneceram à IA uma "cola" massiva. Isso não foi apenas uma rápida pesquisa no Google; foi um sistema de Geração Aumentada por Recuperação (RAG). Pense nisso como dar à IA uma biblioteca digital perfeita e pesquisável contendo os livros didáticos oficiais, atlas e diretrizes médicas para cardiologia nuclear. Quando a IA vê uma pergunta, ela mergulha instantaneamente nesta biblioteca, encontra a página exata com a resposta e usa isso para formular sua resposta.

Os Concorrentes

Os pesquisadores testaram dois novos modelos de IA de próxima geração:

1. Claude Opus 4.7: Um modelo que usa um sistema de busca local e transparente (como um bibliotecário que mostra exatamente quais livros retirou da estante).
2. GPT-5.5: Um modelo que usa um sistema de busca baseado em nuvem (como um bibliotecário que encontra os livros para você, mas não mostra o processo).

Os Resultados: A IA Supera o Estudante Médio

Quando essas duas IAs fizeram a prova cinco vezes cada, os resultados foram surpreendentes:

• As Pontuações: Ambos os modelos pontuaram entre 86% e 87%.
• A Comparação: Isso é significativamente maior que a pontuação média do estudante humano de 78%. Na verdade, se você alinhasse os 13 estudantes humanos e as 2 IAs, as IAs se classificariam entre as 5 melhores, superando 8 ou 9 dos humanos.
• A Velocidade do Progresso: Este é um salto massivo. Apenas 18 meses atrás, a melhor IA pontuou 63%. Agora, com a "cola" (RAG), elas saltaram 23 pontos percentuais.

As Duas Fraquezas

Embora as IAs vencem, elas tiveram duas dificuldades específicas:

1. O Problema da "Imagem": As IAs foram ótimas em questões de texto (pontuando quase 89%), mas tropeçaram nas questões de imagem. Elas acertaram cerca de 73–77% nas imagens. Os humanos ainda eram melhores nisso, pontuando 81,5%.
   • Analogia: Imagine que a IA é um professor brilhante que consegue recitar todo o livro didático de memória, mas ainda fica confuso ao olhar para um raio-X borrado. Ela conhece a teoria perfeitamente, mas ainda está aprendendo a "ver" a imagem.
2. O "Glitch" de Segurança (apenas GPT-5.5): O GPT-5.5 recusou-se a responder cerca de 7% das perguntas. Ele diria: "Sinto muito, não posso ajudar com isso", embora as perguntas fossem apenas questões padrão de exame médico sobre medicamentos cardíacos ou segurança radiológica.
   • Analogia: É como um bibliotecário muito cauteloso que se recusa a entregar um livro sobre "como construir uma bomba", mesmo que você esteja pedindo a um estudante de física uma questão legítima de exame sobre energia nuclear. Os filtros de segurança da IA eram sensíveis demais, fazendo com que ela perdesse pontos. O Claude Opus 4.7 não teve esse problema; ele respondeu a tudo.

O Que os Autores Realmente Dizem (e Não Dizem)

O artigo é muito cuidadoso sobre o que isso significa:

• O Que É: Prova que, com os materiais de referência adequados, a IA pode aprender os fatos e as regras da cardiologia nuclear melhor do que o residente médio. Os autores sugerem que essas ferramentas poderiam ser usadas como auxílios educacionais para ajudar os estudantes a estudar ou como ferramentas de referência para verificar fatos em uma sala de leitura.
• O Que Não É: Os autores afirmam explicitamente que passar em um teste de múltipla escolha não significa que a IA está pronta para ser médica. A medicina real envolve conversar com pacientes, lidar com incertezas e tomar decisões complexas de julgamento que um exame de múltipla escolha não pode medir. A IA é um livro de referência poderoso, não um substituto para um médico humano.

A Conclusão

No espaço de um ano e meio, a IA passou de reprovar no exame de conselho de cardiologia nuclear a superar o estudante humano médio, desde que tenha acesso aos livros didáticos adequados. No entanto, ela ainda luta com a interpretação de imagens médicas, e um dos modelos está "com medo" demais para responder a certas perguntas legítimas. Embora seja um grande salto adiante para as ferramentas de educação médica, o artigo conclui que essas máquinas são assistentes, não substitutas, para médicos humanos.

Resumo técnico

Resumo Técnico: LLMs com Aumento por Recuperação Superam o Desempenho Humano em Exames de Conselho de Cardiologia Nuclear

Declaração do Problema
Avaliações anteriores de Modelos de Linguagem de Grande Escala (LLMs) no Exame de Preparação para Conselhos da Sociedade Americana de Cardiologia Nuclear (ASNC) revelaram uma lacuna significativa de desempenho entre a IA e os residentes humanos. Em estudos anteriores, o modelo de melhor desempenho sem contexto específico da área (GPT-4o) alcançou uma precisão mediana de 63,1%, ficando abaixo do limiar estimado de aprovação de 65% e da média de 78,0% dos fellows em treinamento (FITs) humanos. Embora fornecer contexto de livros didáticos tenha melhorado o desempenho apenas textual do GPT-4o para 73,8%, ele permaneceu abaixo das médias humanas e foi restrito a perguntas baseadas em texto. O problema central abordado por este estudo é se os LLMs de próxima geração equipados com Geração Aumentada por Recuperação (RAG) podem fechar ou exceder essa lacuna de desempenho em todo o espectro do exame, incluindo perguntas complexas baseadas em imagens.

Metodologia
O estudo aplicou o Exame Completo de Preparação para Conselhos da ASNC de 2023 (168 questões de múltipla escolha: 141 apenas texto, 27 baseadas em imagens) a dois modelos de próxima geração: Claude Opus 4.7 e GPT-5.5. A avaliação foi conduzida em 5 iterações para cada modelo.

• Pipelines de Geração Aumentada por Recuperação (RAG): Ambos os modelos foram fundamentados no mesmo corpus autoritativo específico da área: Nuclear Cardiac Imaging: Principles and Applications (livro didático), seu atlas companheiro e as Diretrizes de Prática Clínica da ASNC.
  • Claude Opus 4.7: Utilizou uma pipeline de recuperação transparente e local baseada em FAISS. Documentos PDF foram divididos em segmentos de 3 páginas, incorporados usando o sentence-transformer all-MiniLM-L6-v2 e indexados via IndexFlatIP (busca exata de produto interno). Para cada consulta, os 5 blocos semanticamente mais similares foram recuperados e adicionados ao início do prompt.
  • GPT-5.5: Utilizou um Azure Vector Store hospedado na nuvem, acessado via a API de Respostas do Azure OpenAI. O mecanismo de recuperação (modelo de incorporação, métrica de similaridade, quantidade de blocos) foi gerenciado pela infraestrutura do Azure e não foi diretamente configurável pelos pesquisadores.
• Configuração Experimental: Ambos os modelos receberam um prompt de sistema padronizado instruindo-os a atuar como um estudante de cardiologia nuclear e selecionar as duas respostas mais prováveis com explicações. Perguntas baseadas em imagens foram processadas via APIs de visão (codificação base64 para o Claude, URIs de dados para o GPT-5.5).
• Pontuação: A resposta principal selecionada pelo modelo foi comparada à resposta correta da ASNC. Recusas de segurança (por exemplo, "Não posso ajudar com esse pedido") e respostas vazias foram pontuadas como incorretas.
• Comparadores: Os resultados foram comparados com dados históricos de estudos anteriores (GPT-4o sem contexto, GPT-4o com contexto) e uma coorte de 13 FITs humanos que realizaram o exame com tempo e recursos ilimitados.

Principais Resultados

• Desempenho Geral: Ambos os modelos superaram a média dos FITs humanos (78,0%) e o limiar estimado de aprovação (65%).
  • Claude Opus 4.7: Alcançou uma precisão média de 86,3% (DP 1,4%).
  • GPT-5.5: Alcançou uma precisão média de 86,7% (DP 2,2%).
  • Isso representa uma melhoria de ~23 pontos percentuais sobre o melhor resultado anterior de LLM (GPT-4o em 63,1% sem contexto) em aproximadamente 18 meses.
• Detalhamento por Tipo de Questão:
  • Apenas Texto: Ambos os modelos alcançaram alta precisão (Claude: 88,8%; GPT-5.5: 88,5%).
  • Baseadas em Imagens: O desempenho caiu significativamente, mas permaneceu acima do limiar de aprovação (Claude: 73,3%; GPT-5.5: 77,0%). Isso indica uma lacuna persistente onde os residentes humanos (81,5% em imagens) ainda superam os modelos na interpretação visual.
• Recusas de Segurança: Uma diferença operacional crítica foi observada. O GPT-5.5 recusou-se a responder a uma média de 12,2 questões por iteração (7,3%), pontuando essas recusas como incorretas. Essas recusas cobriram conteúdo médico legítimo (radiofármacos, segurança radiológica, protocolos clínicos). O Claude Opus 4.7 teve zero recusas.
• Concordância entre Modelos: Os dois modelos mostraram concordância substancial, respondendo corretamente às mesmas questões em 78,0–83,0% dos casos por iteração. Os desacordos frequentemente envolviam distinções sutis em definições técnicas.

Principais Contribuições

1. Demonstração de Proficiência em Nível Humano: Este é o primeiro estudo a mostrar que LLMs aprimorados com RAG podem superar o desempenho médio de fellows humanos em cardiologia nuclear em um exame abrangente de preparação para conselhos.
2. Quantificação do Impacto do RAG: O estudo isola o impacto de modelos de próxima geração combinados com RAG, mostrando um salto dramático de 63,1% (sem contexto) para ~86,5% (com RAG) em um curto período.
3. Identificação de Limitações de Segurança: O artigo destaca uma barreira prática significativa no GPT-5.5, onde classificadores de segurança excessivamente conservadores recusam-se a responder a perguntas legítimas de exames médicos, reprimindo artificialmente a precisão observada e limitando a utilidade em contextos educacionais.
4. Persistência da Lacuna em Imagens: O estudo confirma que, embora a recuperação de conhecimento baseada em texto tenha amadurecido, a interpretação de imagens médicas (SPECT, PET, multimodalidade) permanece um domínio desafiador onde os LLMs (73–77%) ainda ficam atrás dos residentes humanos (~81,5%).

Significado e Alegações
O artigo afirma que LLMs aprimorados com RAG alcançaram um nível de conhecimento em cardiologia nuclear suficiente para servir como auxílios educacionais para preparação para conselhos e ferramentas de referência de conhecimento em ambientes clínicos. Os autores sugerem que esses modelos podem ajudar a verificar recursos de treinamento e suplementar o ensino.

No entanto, os autores mantêm uma postura modesta em relação à implementação clínica. Eles afirmam explicitamente que o desempenho em exames não equivale à competência clínica. A cardiologia nuclear do mundo real requer a integração de contexto específico do paciente, gerenciamento de incerteza e exercício de julgamento — capacidades não avaliadas por questões de múltipla escolha. Consequentemente, o artigo conclui que os LLMs devem ser vistos como ferramentas suplementares para aumentar a expertise do médico, e não como substitutos dela. O estudo também observa que a lacuna persistente na interpretação de imagens sugere que esses modelos ainda não estão prontos para substituir a expertise humana na leitura de imagens diagnósticas.