Resumo Técnico: Capacidades do Claude Fable 5 em Problemas de Desafios Biomédicos

Declaração do Problema

A avaliação de modelos de linguagem de fronteira na biomedicina é atualmente prejudicada por dois problemas críticos:

1. Saturação de Benchmarks: Benchmarks legados (ex: exames estilo USMLE) atingiram um desempenho próximo ao teto, falhando em discriminar sistemas de última geração.
2. Graduação Não Confiável: Respostas abertas são frequentemente avaliadas por outros modelos de linguagem, introduzindo os próprios vieses e modos de falha do juiz nos resultados.

Além disso, métricas de avaliação padrão frequentemente confundem "recusa em responder" com "respostas incorretas". Em domínios de alto risco como a medicina, um modelo que declina a responder devido ao alinhamento de segurança é fundamentalmente diferente de um modelo que responde com confiança, mas incorretamente. Tratar esses resultados como idênticos obscurece a verdadeira capacidade de um modelo e deturpa sua utilidade em contextos clínicos ou de pesquisa.

Metodologia

Este estudo avalia o Claude Fable 5 (o modelo mais capaz da Anthropic disponível publicamente até meados de 2026) contra três baselines: seus predecessores Claude Opus 4.6 e Opus 4.8 e o GPT-5 (OpenAI).

Design Experimental:

• Benchmarks: Foram utilizados oito benchmarks biomédicos, divididos em categorias de apenas texto e multimodais:
  • Texto: MedQA, PubMedQA, MedXpertQA (Texto) e RareBench.
  • Multimodal: MedXpertQA MM, VQA-RAD, SLAKE e PathVQA.
• Protocolo: Todas as avaliações foram conduzidas sob prompting de resposta direta e zero-shot. Não foram utilizados exemplos de few-shot, instruções de cadeia de pensamento (chain-of-thought) ou aumento de recuperação (retrieval augmentation).
• Pontuação: Uma restrição metodológica crítica foi o uso de pontuação determinística contra chaves de resposta fixas. Nenhum benchmark dependeu de julgamento baseado em LLM para a graduação.
• Rastreamento de Recusa: As recusas foram rastreadas como um resultado distinto. Elas foram excluídas do denominador ao calcular a "acurácia do subconjunto pontuado" (desempenho nos itens que o modelo realmente tentou) mas incluídas na "acurácia bruta" para refletir o comportamento total do sistema.
• Manipulação de Imagens: As imagens foram processadas como blocos de conteúdo base64 ou URIs de dados, com múltiplas imagens em um único caso enviadas conjuntamente.

Contribuições Principais

1. Avaliação Abrangente: A primeira avaliação independente das capacidades biomédicas do Claude Fable 5 através de oito benchmarks diversos.
2. Traço Geracional: Uma comparação controlada do Fable 5 contra o Opus 4.6 e o Opus 4.8 sob protocolos idênticos para isolar mudanças de capacidade versus comportamento de alinhamento.
3. Análise Centrada na Recusa: A introdução das taxas de recusa como uma métrica primária, separando a não-engajamento impulsionado pela segurança das falhas de raciocínio.
4. Seleção de Benchmark: A inclusão do MedXpertQA e RareBench, que permanecem desafiadores para modelos de fronteira, juntamente com benchmarks legados para medir progresso e saturação.

Resultados

1. O "Gap de Recusa"

O achado central do artigo é que o Claude Fable 5 exibe uma alta taxa de recusa (8,0% a 99,4% dependendo do benchmark), um padrão ausente tanto em seus predecessores quanto no GPT-5.

• Acurácia Bruta vs. Pontuada: Quando as recusas são contadas como erros, o Fable 5 frequentemente parece subperformar ou regredir em relação ao Opus 4.8 e ao GPT-5. No entanto, quando as recusas são excluídas do denominador, a acurácia do Fable 5 iguala ou supera todos os outros modelos em todos os benchmarks.
• MedQA: A pontuação bruta do Fable 5 foi de 79,7% (17% recusaram), mas sua acurácia de subconjunto pontuado foi de 96,6%, superando todos os outros modelos.
• RareBench: O Fable 5 recusou 99,4% dos itens (1.115 de 1.122) sob o prompt principal de papel clínico. Os poucos itens que respondeu (6) geraram um Recall@1 de 0,36%, uma métrica que os autores observam refletir a barreira de recusa em vez da capacidade diagnóstica.

2. Padrões de Recusa Distintos

O estudo identifica dois padrões de recusa distintos e não unificados:

• Concentração em Ciência Básica/Mecanismo: No MedQA e MedXpertQA MM, as recusas concentraram-se pesadamente em conteúdo de ciência básica/pré-clínica (ex: questões do Step 1, anatomia, fisiologia, farmacologia de receptores). No MedQA, 92,3% das recusas foram questões do Step 1, apesar de o Step 1 compor apenas 45,1% das questões respondidas.
• Especificidade de Domínio de Doença (RareBench): As recusas correlacionaram-se fortemente com o conjunto de dados de origem e o domínio da doença. Apresentações de doenças metabólicas inatas (ex: fenilcetonúria, acidemia glutárica) foram recusadas quase universalmente (99,7% no RAMEDIS), enquanto apresentações autoimunes de início na idade adulta foram respondidas em taxas muito mais altas.
• Enquadramento de Prompt: Uma execução de "enquadramento neutro" no RareBench (removendo a persona de "sistema de suporte à decisão clínica") recuperou apenas 9,3% dos itens originalmente recusados, indicando que a engenharia de prompt não é uma mitigação confiável para este comportamento.

3. Desempenho Multimodal

• MedXpertQA MM: O Fable 5 alcançou uma acurácia de subconjunto pontuado de 80,2%, superando decisivamente o GPT-5 (67,2%) e seus predecessores, com intervalos de confiança não sobrepostos.
• PathVQA: O Fable 5 recusou 41,5% dos itens. Nos itens que respondeu, alcançou 29,3% de acurácia, superando o GPT-5 (5,3%) e o Opus 4.6 (8,8%).
• VQA-RAD & SLAKE: O Fable 5 liderou no VQA-RAD (45,8%) e foi estatisticamente indistinguível de outros modelos no SLAKE.

4. Tendências Geracionais

O estudo conclui que a "regressão" aparente nas pontuações brutas do Fable 5 em comparação ao Opus 4.6/4.8 é um artefato do aumento do comportamento de recusa, não um declínio na capacidade subjacente. Onde o Fable 5 se engaja, ele demonstra capacidades de raciocínio superiores ou iguais.

Significância e Alegações

O artigo afirma que a principal restrição na utilidade biomédica do Claude Fable 5 é a disposição para se engajar, não a competência uma vez engajado.

• Pontuações Brutas Enganosas: Tabelas de acurácia padrão que agrupam recusas como resultados "incorretos" apresentam uma narrativa enganosa de declínio de capacidade. Os autores argumentam que, para implantação, a acurácia do "subconjunto pontuado" é a métrica mais relevante para capacidade, enquanto a taxa de recusa é a métrica relevante para restrições de segurança/alinhamento.
• Segurança vs. Utilidade: Os padrões de recusa observados (particularmente em ciência básica e doenças metabólicas raras) não se alinham com as salvaguardas documentadas da Anthropic em relação a conteúdos de duplo uso (ex: design de patógenos). Isso sugere que o classificador está disparando excessivamente em conteúdo benigno ou que o mecanismo de recusa é impulsionado por um fator não documentado.
• Rigor de Avaliação: O estudo enfatiza que as avaliações futuras devem rastrear recusas como resultados distintos e usar pontuação determinística para evitar o viés de "LLM-como-juiz", particularmente à medida que os benchmarks se movem em direção a tarefas de resposta aberta.

Os autores concluem que, embora o Fable 5 seja "seletivamente cauteloso", suas capacidades de raciocínio biomédico subjacentes estão entre as mais fortes testadas, desde que a barreira de recusa seja navegada através de seleção de casos ou roteamento de fallback.