SurgCheck: Do Vision-Language Models Really Look at Images in Surgical VQA?

Resumo Técnico: SurgCheck

Declaração do Problema
Apesar do desempenho promissor dos Modelos Visão-Linguagem (VLMs) em Resposta Visual a Perguntas Cirúrgicas (VQA), há uma incerteza crítica sobre se esses modelos possuem capacidades genuínas de raciocínio visual ou se meramente exploram "atalhos linguísticos". Conjuntos de dados existentes de VQA cirúrgica frequentemente contêm perguntas onde a formulação restringe implicitamente o espaço de respostas (por exemplo, nomeando explicitamente um instrumento como "bipolar" na pergunta). Nesses casos, os modelos podem inferir respostas com base em correlações estatísticas entre o texto da pergunta e as respostas, em vez de analisar a evidência visual. Em ambientes cirúrgicos críticos para a segurança, não está claro se a precisão relatada em benchmarks reflete verdadeira compreensão visual ou dependência desses vieses textuais.

Metodologia
Para abordar essa lacuna de avaliação, os autores introduzem o SurgCheck, um benchmark diagnóstico projetado para quantificar a dependência de atalhos linguísticos por meio de um design de perguntas pareadas com controle de viés.

• Construção do Conjunto de Dados: O SurgCheck é construído sobre o conjunto de dados Endoscapes-SG201, utilizando suas anotações de grafo de cena em nível de quadro (instrumentos, estruturas anatômicas e relações). Compreende 1.933 quadros e 29.635 pares de perguntas e respostas (QA) em oito categorias de tarefas: Contagem de Instrumentos, Anatomia, Instrumento, Ação, Alvo, Tripla, Salto de Anatomia e Visão Crítica de Segurança (CVS).
• Design de Perguntas Pareadas: Para cada quadro cirúrgico, duas perguntas semanticamente equivalentes são geradas:
  1. Pergunta Original: Segue a formulação cirúrgica convencional com nomes de entidades explícitos (por exemplo, "Que ação o bipolar está realizando?").
  2. Pergunta Menos Viciada: Remove nomes de entidades explícitos, preservando o conteúdo visual idêntico e a resposta de verdade (ground-truth).
• Pistas de Ancoragem: Para garantir que as perguntas menos viciadas permaneçam bem definidas sem nomes de entidades, quatro pistas de ancoragem são incorporadas para referenciar o objeto-alvo:
  1. Caixa Limitadora: Localização visual via uma caixa vermelha.
  2. Seta: Localização visual via uma seta vermelha.
  3. Posição Espacial: Descrição textual da localização (por exemplo, "parte inferior direita da imagem").
  4. Perífrase: Descrição contextual (por exemplo, "ferramenta usada pela mão direita do operador").
• Protocolo de Avaliação: O estudo avalia cinco VLMs (três de propósito geral: Qwen2.5-VL, LLaVA-OneVision, PaliGemma2; dois específicos para cirurgia: PitVQA-Net, EndoChat) em configurações tanto de zero-shot quanto de ajuste fino (fine-tuned).
  • Para respostas abertas de zero-shot, é empregado um protocolo de LLM como Juiz (usando GPT-5-mini) para avaliar semanticamente as respostas contra uma rubrica, atribuindo pontuações de 1 a 5.
  • Para modelos ajustados que produzem saídas categóricas, são utilizadas a precisão exata padrão (exact-match accuracy) e pontuações F1.
• Estudo de Ablação: Uma ablação apenas de texto é conduzida, onde a entrada visual é removida durante a inferência para isolar a contribuição das pistas linguísticas versus a evidência visual.

Principais Contribuições

1. Benchmark de Perguntas Pareadas com Controle de Viés: O SurgCheck introduz um novo framework onde perguntas originais e menos viciadas compartilham entradas visuais e respostas idênticas, diferindo apenas na presença de atalhos linguísticos. Isso permite um sinal diagnóstico direto da dependência de atalhos.
2. Análise Quantitativa das Lacunas de Desempenho: Os autores fornecem uma avaliação sistemática de cinco VLMs, medindo a degradação de desempenho entre perguntas originais e menos viciadas para quantificar a extensão da dependência de atalhos.
3. Diagnóstico de Atalhos Linguísticos via Ablação Apenas de Texto: Ao remover a entrada visual, o estudo demonstra que o alto desempenho em perguntas originais para certas tarefas é impulsionado principalmente pelo texto, e não pelo raciocínio visual.

Resultados

• Desempenho Zero-Shot: Todos os modelos exibiram degradação de desempenho em perguntas menos viciadas em comparação com as perguntas originais, indicando dependência de atalhos linguísticos mesmo antes do ajuste fino específico do domínio. Por exemplo, o Qwen2.5-VL-7B viu uma queda de precisão de 28,06% para 24,62%.
• Desempenho Ajustado Fino: Embora o ajuste fino tenha melhorado a precisão geral, a lacuna de desempenho persistiu. Os modelos consistentemente performaram pior em perguntas menos viciadas, apesar das entradas visuais idênticas. O LLaVA-OV-1.5-8B mostrou uma queda significativa de 71,19% para 63,19% de precisão.
• Sensibilidade Específica por Tarefa:
  • Tarefas de Ação e Alvo: Essas categorias mostraram as maiores quedas no escore F1 quando as pistas linguísticas foram removidas. A ablação apenas de texto revelou que o desempenho nessas tarefas permaneceu alto mesmo sem imagens, confirmando que as previsões eram impulsionadas por atalhos linguísticos.
  • Tarefas de Salto de Anatomia e Tripla: Essas tarefas, que exigem raciocínio espacial, mostraram degradação mínima em perguntas menos viciadas e performaram significativamente melhor com imagens do que apenas com texto, indicando uma dependência de evidência visual genuína.
• Análise de Pistas de Ancoragem: Pistas visuais explícitas (caixas limitadoras, setas) não mitigaram totalmente a queda de desempenho; os modelos ainda tiveram dificuldade em associar evidência visual localizada a ações/alvos sem nomes de entidades. Pistas de perífrase mostraram a menor degradação, sugerindo que descrições contextuais encorajam uma melhor integração visual do que simples coordenadas espaciais.

Significado
O artigo conclui que um forte desempenho em benchmarks de VQA cirúrgica não implica necessariamente uma compreensão visual fiel. O SurgCheck fornece um framework diagnóstico controlado que expõe modos de falha mascarados por viés linguístico em benchmarks existentes. As descobertas sublinham a necessidade de avaliação consciente de viés na VQA cirúrgica para garantir que os modelos dependam de evidência visual em vez de explorar priores da pergunta, o que é crítico para a segurança e confiabilidade de sistemas de suporte à decisão intraoperatória.