MedCalc-Bench Doesn't Measure What You Think: A Benchmark Audit and the Case for Open-Book Evaluation

Este artigo audita o benchmark MedCalc-Bench, revelando erros na sua implementação e demonstrando que a abordagem de "livro aberto" supera significativamente os métodos atuais, sugerindo que a avaliação mede mais a precisão aritmética e o uso de ferramentas do que o raciocínio clínico.

O essencial

Imagine que você está organizando uma Olimpíada de Medicina, mas em vez de testar se os médicos sabem diagnosticar doenças ou tratar pacientes, você os obriga a fazer contas de cabeça com fórmulas complexas, sem poder usar calculadora, sem consultar anotações e sem errar nem um único decimal.

Se um médico errar a conta porque esqueceu um número da fórmula, ele perde a prova, mesmo que ele tenha entendido perfeitamente a doença do paciente.

É exatamente isso que o artigo "MedCalc-Bench Doesn't Measure What You Think" (MedCalc-Bench não mede o que você pensa) está dizendo sobre um teste famoso de Inteligência Artificial (IA) na medicina.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A Prova de "Memória de Elefante"

O teste atual (MedCalc-Bench) pede para a IA ler um caso clínico (ex: "O paciente tem 60 anos, creatinina X, peso Y...") e calcular um risco.

• O que o teste exige: A IA tem que lembrar a fórmula exata da cabeça (como um aluno decorando a tabuada) e fazer a conta.
• O resultado: As IAs mais inteligentes estão indo mal (em torno de 35% de acerto). Elas ficam confusas com as fórmulas, esquecem números ou erram a conta de logaritmo.
• A analogia: É como pedir para um chef de cozinha cozinhar um prato complexo, mas proibi-lo de usar o livro de receitas. Se ele esquecer a quantidade exata de sal, o prato é reprovado, mesmo que ele saiba como cozinhar.

2. A Descoberta 1: O "Livro Aberto" (Open-Book)

Os autores do artigo tiveram uma ideia brilhante: "Por que não deixamos a IA usar o livro de receitas?"

• A mudança: Eles deram para a IA a fórmula exata e as regras dentro do pedido (o "prompt").
• O resultado: A performance da IA explodiu de 35% para 85%.
• A analogia: É como mudar a prova de "Memorização" para "Aplicação". Agora, a IA não precisa decorar a fórmula; ela só precisa saber ler o caso do paciente, encontrar os números certos no texto e aplicar a fórmula que está na frente dela.
• A lição: O teste não estava medindo se a IA era um bom médico; estava medindo se ela era um bom "decorador de fórmulas".

3. A Descoberta 2: O "Livro de Receitas" estava Cheio de Erros

Enquanto auditavam o teste, os autores descobriram algo chocante: o próprio "livro de receitas" (o banco de dados de fórmulas usado para corrigir as provas) estava errado.

• Eles encontraram mais de 20 erros: fórmulas com números trocados, unidades de medida erradas e até nomes de variáveis digitados errado (como "doença_fígado" escrito como "doença_fígad").
• A analogia: Imagine que o professor corrigiu a prova usando um gabarito que estava escrito com caneta vermelha apagada. Muitos alunos estavam certos, mas foram marcados como errados porque o gabarito estava quebrado.
• O impacto: Isso significa que o teste estava reprovando IAs (e médicos) por erros que nem existiam na realidade clínica.

4. A Conclusão: O Que Realmente Importa?

O artigo argumenta que a medicina real não funciona assim.

• Na vida real: Um médico não decora a fórmula do APACHE-II (um cálculo de risco de morte). Ele usa uma calculadora ou um aplicativo. O que importa é ele saber qual calculadora usar e quais dados do paciente colocar nela.
• O que o teste deveria medir: A habilidade de extrair informações corretas de um texto confuso (ex: "O paciente teve alta ontem, mas o exame foi de 3 dias atrás") e saber usar a ferramenta certa.
• O veredito: O teste atual é uma "prova de matemática e memória", não uma "prova de raciocínio clínico".

Resumo em uma frase:

O artigo diz que estamos testando as IAs de medicina como se fossem calculadoras humanas que precisam decorar tudo, quando deveríamos estar testando-as como assistentes inteligentes que sabem usar ferramentas e encontrar informações, exatamente como os médicos fazem no dia a dia.

Ao permitir que a IA "consulte o livro" (Open-Book), o teste se torna justo e mede o que realmente importa: a capacidade de entender o paciente e usar a ferramenta correta, não a capacidade de decorar números.

Resumo técnico

Título: MedCalc-Bench Não Mede o Que Você Pensa: Uma Auditoria de Benchmark e o Caso para Avaliação "Open-Book"

1. O Problema

O MedCalc-Bench é um benchmark amplamente utilizado para avaliar o desempenho de Grandes Modelos de Linguagem (LLMs) em tarefas de calculadoras clínicas (ex: escores de risco, ajuste de dosagem, classificação de estágios).

• Contexto: O benchmark apresenta 55 calculadoras clínicas padronizadas (como CKD-EPI, APACHE-II, MELD). A tarefa exige que o modelo identifique a calculadora correta, extraia parâmetros de um caso clínico e calcule o resultado.
• Desafio Atual: Os resultados de ponta (SOTA) usando direct prompting (sem ferramentas externas) estagnaram em torno de 35% de precisão na divisão "Verified". Mesmo as melhores abordagens publicadas (como RL com recompensas verificáveis) atingem apenas 74%.
• Hipótese Central: A dificuldade do benchmark não reside no raciocínio clínico, mas sim em uma restrição artificial: exigir que o modelo memorize fórmulas complexas e execute aritmética de precisão (logaritmos, exponenciais, conversões de unidades) sem acesso à especificação da ferramenta, algo que nenhum médico faz na prática (eles usam calculadoras validadas).

2. Metodologia

Os autores realizaram uma auditoria sistemática e propuseram uma intervenção simples para testar sua hipótese.

• Auditoria do Benchmark:
  • Revisão manual e automatizada das 55 implementações de calculadoras no repositório oficial do MedCalc-Bench.
  • Comparação cruzada com fontes clínicas primárias (publicações originais, documentação MDCalc).
  • Identificação de erros que afetavam as "ground truths" (rótulos de referência).
• Intervenção "Open-Book" (Livro Aberto):
  • Em vez de exigir que o modelo recorde a fórmula, os autores appendaram a especificação completa da calculadora (fórmula, definições de parâmetros, regras de pontuação e unidades) diretamente no prompt de inferência.
  • O objetivo do modelo foi reduzido para: (1) Identificar o caso correto, (2) Extrair os parâmetros do texto e (3) Aplicar a fórmula fornecida.
• Modelos Utilizados:
  • GLM-4.6V e GLM-4.7: Usados como modelos principais para demonstrar que a melhoria vem do método, não do modelo (custo-efetividade).
  • GPT-5.2-Thinking: Usado apenas para análise de limite superior (upper-bound) nos erros residuais, com esforço de raciocínio máximo e acesso a ferramentas.
  • Fluxo de Trabalho: Uma única pesquisadora utilizou um fluxo de trabalho multi-modelo (Deep Research, Codex, Thinking, Opus) para realizar a auditoria, correção de código e análise.

3. Principais Contribuições

1. Correção de Erros no Dataset (Auditoria):

   • Identificaram e corrigiram mais de 20 erros nas implementações oficiais, incluindo:
     • Coeficientes de fórmulas incorretos (ex: CKD-EPI, MELD-Na).
     • Critérios de pontuação ausentes (ex: SIRS, SOFA).
     • Erros de digitação que zeravam componentes de pontuação (ex: chaves de dicionário erradas como liver_diease).
     • Incompatibilidades de mapeamento que impediam a aplicação de pontos de saúde crônica (APACHE-II).
   • Muitos desses erros distorciam os rótulos de referência (ground truth) usados para avaliação.

2. Intervenção "Open-Book":

   • Demonstraram que fornecer a especificação da calculadora no prompt eleva drasticamente a precisão, eliminando a necessidade de memorização de fórmulas.
   • Resultados:
     • GLM-4.6V: Aumentou de 51.9% (vanilla) para 81.5% (open-book).
     • GLM-4.7: Aumentou de 36.0% (vanilla) para 85.5% (open-book).
   • Esses resultados superam todas as abordagens publicadas, incluindo sistemas treinados com RL (Reinforcement Learning) e frameworks de agentes com execução de código.

3. Análise de Limite Superior (Upper-Bound):

   • Ao aplicar o GPT-5.2-Thinking nos erros residuais do modelo GLM-4.6V (open-book), os autores estimaram um limite superior de precisão do benchmark.
   • O GPT-5.2 resolveu 70.7% dos erros residuais.
   • Estimativa de Precisão Máxima: Entre 94.7% (conservadora) e 97.4% (otimista), indicando que a maioria dos erros restantes deve-se a ambiguidades no dataset ou problemas de implementação, e não à incapacidade de raciocínio do modelo.

4. Resultados Chave

Modelo	Configuração	Precisão	Observação
GLM-4.6V	Vanilla (Sem fórmula)	51.9%	Linha de base
GLM-4.6V	Open-Book	81.5%	Supera SOTA (RL: 74%)
GLM-4.7	Vanilla	36.0%	Consistente com HELM (34.8%)
GLM-4.7	Open-Book	85.5%	Melhor resultado absoluto
GPT-5.2-Thinking	Open-Book (Limite)	~95-97%	Limite superior estimado

• Análise de Erros:
  • No modo Vanilla, os erros eram dominados por falhas na memorização da fórmula e erros de precisão aritmética.
  • No modo Open-Book, os erros residuais migraram para extração de parâmetros (identificar o valor correto no texto clínico) e precisão aritmética fina, que são as partes mais relevantes para o raciocínio clínico real.

5. Significado e Conclusão

• Reavaliação do Benchmark: O MedCalc-Bench, em sua configuração atual, mede predominantemente a memorização de fórmulas e a precisão aritmética, e não o raciocínio clínico. Um médico não é incompetente por não decorar a fórmula APACHE-II; ele é competente por saber usar a calculadora e extrair os dados corretos do prontuário.
• Recomendação de Reposicionamento: Os autores argumentam que o benchmark deve ser reestruturado como uma avaliação de uso de ferramentas (Tool-Use). A avaliação deve focar na extração correta de parâmetros e na seleção da calculadora/unidade adequada, fornecendo as especificações técnicas como entrada (Open-Book).
• Impacto na Pesquisa: O trabalho demonstra que intervenções simples no nível do prompt podem superar abordagens complexas e custosas (como RL e fine-tuning massivo). Além disso, destaca como modelos de IA de ponta (Geração 2025/2026) permitem que pesquisadores individuais realizem auditorias de escala de benchmark que antes exigiriam equipes inteiras.

Em resumo, o artigo conclui que o MedCalc-Bench é "difícil pelos motivos errados" e propõe uma mudança de paradigma para alinhar a avaliação de IA com a prática clínica real: ferramentas + raciocínio > memorização.