Resumo Técnico: SurgiQ

Declaração do Problema

A avaliação confiável de Grandes Modelos de Linguagem (LLMs) no domínio da cirurgia permanece subdesenvolvida. Embora os benchmarks médicos existentes (ex: MedQA-USMLE, MedMCQA) testem efetivamente conhecimentos clínicos e biomédicos amplos, eles frequentemente falham em capturar as complexidades específicas do raciocínio cirúrgico. A cirurgia exige sequenciamento de procedimentos, conhecimento anatômico operatório, julgamento intraoperatório, gestão perioperatória e a capacidade de selecionar a opção ideal entre alternativas clinicamente plausíveis. Além disso, os benchmarks cirúrgicos recentes focaram primariamente na percepção multimodal (compreensão visual de cenas cirúrgicas, instrumentos e fluxos de trabalho) em vez da avaliação textual fundamentada em fontes sobre o conhecimento cirúrgico e a tomada de decisão operatória entre especialidades. Há uma carência de um benchmark de larga escala, exclusivamente textual, capaz de avaliar o raciocínio e a calibração cirúrgica em LLMs de pesos abertos (open-weight).

Metodologia

Construção do Conjunto de Dados (SurgiQ)

Os autores apresentam o SurgiQ, um benchmark puramente textual e fundamentado em fontes, composto por 13.055 questões de múltipla escolha com quatro opções.

• Fontes: O conjunto de dados foi construído a partir de 27 livros didáticos de cirurgia, 635 artigos de pesquisa de acesso aberto e materiais de exames cirúrgicos.
• Domínios: As questões abrangem seis especialidades cirúrgicas: Cirurgia Geral (53,2%), Neurocirurgia (16,9%), Cirurgia Robótica (12,6%), Ortopedia (9,1%), Cuidados Críticos/Emergência (4,5%) e Cirurgia Laparoscópica (3,8%).
• Formatos de Questão: O conjunto de dados inclui quatro formatos distintos para testar diferentes capacidades de raciocínio:
  1. Baseado em Caso: Cenários clínicos que exigem uma decisão.
  2. Raciocínio: Questões que exigem dedução lógica de múltiplas etapas.
  3. Melhor Opção: Seleção da escolha ideal entre alternativas parcialmente corretas.
  4. Negativa: Identificação de afirmações inconsistentes com a evidência atual (lidando com negação).

Pipeline de Geração

O conjunto de dados foi gerado usando um pipeline de múltiplos estágios construído sobre o Gemini 2.5 Flash:

1. Extração: O conteúdo textual bruto é extraído dos documentos fonte, organizado em segmentos estruturados (capítulos/páginas) e limpo de elementos não textuais.
2. Extração de Fatos e Geração: Fatos de alto rendimento são extraídos dos segmentos de texto, que são então usados para gerar MCQs clinicamente fundamentados. Os prompts são desenhados para incentivar o raciocínio de múltiplas etapas e evitar a memorização trivial.
3. Verificação e Filtragem: Um pipeline unificado realiza verificação de respostas, filtragem de qualidade, checagens baseadas em regras e deduplicação.
   • A geração inicial produziu 17.068 candidatos.
   • 4.013 candidatos (23,5%) foram removidos devido a problemas como falta de fundamentação, ambiguidade, opções malformadas ou inconsistências entre resposta e rótulo.
   • O conjunto final contém 13.055 questões.
4. Controle de Qualidade: Uma auditoria médica de 300 questões amostradas aleatoriamente confirmou 92% de correção nas respostas e 90% de clareza. A concordância entre avaliadores foi substancial (Fleiss' κ = 0,84 para correção).

Protocolo de Avaliação

Os autores avaliaram 35 LLMs de pesos abertos sob um framework determinístico unificado de zero-shot e few-shot.

• Modelos: A avaliação cobriu famílias de propósito geral, biomédicas e orientadas ao raciocínio (ex: Qwen2.5, baseados em LLaMA, Mistral, DeepSeek-R1-Distill, MedGemma).
• Pontuação: As previsões foram computadas usando log-verossimilhança sobre as opções de resposta (A, B, C, D) em vez de amostragem autorregressiva para garantir o determinismo. A opção com a maior log-probabilidade foi selecionada.
• Métricas: A métrica primária é a acurácia. Análises secundárias incluem calibração (Erro de Calibração Esperada, escore de Brier), desempenho por domínio e análise de padrões de erro.

Contribuições Principais

1. Conjunto de Dados: O SurgiQ fornece 13.055 MCQs cirúrgicos fundamentados em fontes com metadados, cobrindo seis domínios e quatro tipos de questões, disponibilizados como um recurso público versionado.
2. Validação: A qualidade do benchmark é estabelecida através de auditorias médicas, baselines de cirurgiões humanos, análise de duplicatas próximas e testes de robustez, confirmando que o conjunto de dados não pode ser resolvido por heurísticas superficiais.
3. Avaliação: Uma avaliação abrangente de 35 LLMs de pesos abertos usando um protocolo de log-verossimilhança unificado, acompanhado de análises de calibração, domínio e erro.
4. Descobertas: O estudo revela que modelos de propósito geral frequentemente superam modelos biomédicos especializados em raciocínio cirúrgico, e que mesmo modelos de alto desempenho lutam com a calibração diante de distratores clinicamente plausíveis.

Resultados

Desempenho dos Modelos

• Principais Desempenhos: O Qwen2.5-72B alcançou a maior acurácia geral com 68,1%, seguido pelo HuatuoGPT-o1-70B (65,45%) e Meerkat-70B (65,19%).
• Geral vs. Especializado: Modelos de propósito geral (especificamente o Qwen2.5) superaram a maioria dos modelos especializados em biomedicina. Isso sugere que a especialização médica atual ainda não provê uma cobertura cirúrgica suficientemente ampla e que a capacidade de raciocínio amplo é crítica.
• Escala do Modelo: Modelos maiores geralmente superaram os menores. Modelos menores (2B–9B parâmetros) frequentemente performaram próximo à linha de base aleatória de 25%, destacando a dificuldade da tarefa.
• Baseline Humano: Em um subconjunto de 300 questões auditadas manualmente, cirurgiões humanos atingiram 89,1% de acurácia, superando significativamente o melhor LLM (51,3% no mesmo subconjunto), indicando que o benchmark está longe de ser saturado.

Análise de Tipo de Questão e Domínio

• Tipos de Questão: Questões de "Melhor Opção" foram consistentemente as mais desafiadoras devido à presença de múltiplas alternativas parcialmente corretas. Questões "Negativas" mostraram alta variância entre os modelos, indicando dificuldades em lidar com a negação lógica.
• Domínios: A Ortopedia foi o domínio com menor pontuação (média de acurácia de 49,23% entre os modelos), significativamente inferior a outros domínios. A Cirurgia Laparoscópica também pontuou abaixo da Neurocirurgia.

Calibração e Análise de Erro

• Calibração: Mesmo modelos fortes exibiram lacunas de calibração. O Qwen2.5-72B foi levemente subconfiante, enquanto o Meerkat-70B foi substancialmente superconfiante (ECE = 0,120).
• Padrões de Falha: A análise qualitativa dos erros revelou que as falhas raramente foram devidas à simples recuperação de fatos. Em vez disso, os principais modos de erro foram:
  1. Confusão entre distratores de "melhor opção" clinicamente plausíveis (39%).
  2. Falhas de negação/exceção (34%).
  3. Ancoragem em pistas superficiais (21%).
• Aprendizado Few-Shot: Adicionar exemplos de few-shot proporcionou ganhos inconsistentes; para alguns modelos (ex: Qwen2.5-72B), um único exemplo melhorou o desempenho ao alinhar o formato, mas exemplos adicionais não geraram melhorias consistentes.

Significância e Alegações

O artigo posiciona o SurgiQ como um eixo de avaliação complementar aos benchmarks cirúrgicos multimodais existentes. Sua principal significância reside em:

• Identificar Lacunas: Demonstrar que a especialização médica atual em LLMs é insuficiente para o raciocínio cirúrgico e que o raciocínio amplo de propósito geral é atualmente mais eficaz.
• Preocupações com Confiabilidade: Destacar que alta acurácia não equivale a confiabilidade, pois modelos fortes frequentemente cometem "erros confiantes" em distratores clinicamente plausíveis.
• Padrão de Benchmark: Fornecer um ambiente controlado e baseado em texto para medir a capacidade pré-requisito de discriminar entre decisões cirúrgicas, distinta da prontidão para implantação.

Os autores declaram explicitamente que o SurgiQ não é um sistema de suporte à decisão clínica e que o desempenho nestas MCQs não estabelece competência clínica ou segurança para ambientes cirúrgicos do mundo real. O benchmark destina-se a impulsionar o desenvolvimento de LLMs cirúrgicos com maior cobertura e melhor confiabilidade através de uma avaliação rigorosa e fundamentada em fontes.