Seeing Through the Tool: A Controlled Benchmark for Occlusion Robustness in Foundation Segmentation Models

Título: Seeing Through the Tool: Um Benchmark Controlado para Robustez à Oclusão em Modelos de Segmentação Fundamentais

1. Problema e Motivação

Os modelos fundamentais de segmentação de imagem (como a família SAM - Segment Anything Model) demonstraram capacidades notáveis de generalização "zero-shot". No entanto, na prática clínica, especificamente em endoscopia, esses modelos enfrentam um desafio crítico e subexplorado: a occlusão.

Em procedimentos reais, as estruturas-alvo (como pólipos) são frequentemente parcialmente escondidas por instrumentos cirúrgicos ou tecidos sobrepostos. A literatura atual avalia esses modelos predominantemente em imagens limpas e curadas, ignorando a dinâmica da oclusão. Além disso, as métricas de avaliação padrão (como a sobreposição completa da máscara, ou full-mask Dice) são fundamentalmente falhas neste contexto:

• Um modelo que "alucina" tecido sobre um instrumento cirúrgico pode obter uma pontuação alta se coincidir com a verdade fundamental oculta.
• Um modelo que rejeita corretamente o instrumento (prevendo apenas o tecido visível) pode ser penalizado injustamente por não cobrir a área oculta.

Não existe um benchmark sistemático que quantifique a robustez desses modelos contra a oclusão por instrumentos cirúrgicos em endoscopia.

2. Metodologia: OccSAM-Bench

Os autores introduzem o OccSAM-Bench, um benchmark projetado para simular e avaliar a oclusão de forma controlada.

A. Geração de Oclusão Controlada

O framework simula dois tipos de oclusão em três níveis de severidade calibrados (Baixa: 0-20%, Média: 20-40%, Alta: 40-60% da área do alvo):

1. Sobreposição de Instrumento Cirúrgico (Tool Paste): Máscaras binárias de instrumentos reais (do dataset Kvasir-Instrument) são sobrepostas às imagens de pólipos com rotação e escala aleatórias. Isso simula a confusão visual e a presença de objetos estranhos.
2. Recorte (Cutout): Remoção de conteúdo da imagem dentro da região-alvo (inspirado em CutOut), isolando o efeito de dados ausentes sem introduzir ruído visual externo.

B. Protocolo de Avaliação de Três Regiões

Para superar as limitações das métricas tradicionais, o artigo propõe decompor a avaliação em três máscaras distintas para cada amostra:

1. Máscara Visível ($M_{vis}$): A parte do alvo que não está oculta. Avalia se o modelo segmenta corretamente o tecido visível e rejeita o instrumento (evitando falsos positivos).
2. Máscara Invisível ($M_{inv}$): A parte do alvo escondida pelo oclusor. Avalia a capacidade de inferência da estrutura oculta (completamento amodal).
3. Máscara Completa ($M_{full}$): O alvo inteiro (visível + invisível).

Métrica Principal: O DSC Visível-Only é recomendado como a métrica primária de robustez, pois penaliza previsões perigosas que se estendem para a área do instrumento. O DSC Invisível serve como uma sonda complementar para comportamento de completamento amodal.

C. Modelos e Dados Avaliados

• Datasets: Três benchmarks públicos de pólipos (CVC-300, CVC-ColonDB, ETIS-LaribPolypDB).
• Modelos: Sete modelos da família SAM avaliados em modo zero-shot (sem ajuste fino nos datasets alvo):
  • Genéricos: SAM, SAM 2, SAM 3.
  • Adaptados para Medicina: MedSAM, SAM-Med2D, MedSAM2, MedSAM3.
• Prompts: Avaliação com caixas delimitadoras (bounding boxes) e pontos únicos.

3. Principais Contribuições

1. Framework de Oclusão Controlada: Um pipeline sintético que injeta sobreposições de ferramentas e recortes em níveis calibrados, permitindo isolamento matemático dos efeitos da confusão visual versus dados faltantes.
2. Protocolo de Avaliação de Três Regiões: Uma nova métrica que expõe comportamentos ocultos pelas métricas padrão, penalizando severamente a supersegmentação clinicamente perigosa.
3. Benchmark Abrangente Zero-Shot: Avaliação sistemática de sete modelos de ponta, revelando dois arquétipos comportamentais distintos e provando que a seleção do modelo deve ser guiada pela intenção clínica, não apenas pelo desempenho em imagens limpas.

4. Resultados e Descobertas Chave

Arquétipos Comportamentais

Os modelos dividem-se em duas categorias distintas:

• Modelos Conscientes do Oclusor (Occluder-Aware): (SAM, SAM 2, SAM 3, MedSAM3).
  • Comportamento: Rejeitam o instrumento como fundo e priorizam a delimitação precisa do tecido visível.
  • Desempenho: Mantêm alto DSC Visível mesmo sob alta oclusão. O SAM 3 mostrou-se o mais robusto globalmente.
  • Implicação: Ideais para navegação robótica segura onde a precisão nas bordas visíveis é crítica.
• Modelos Ignorantes do Oclusor (Occluder-Agnostic): (MedSAM, MedSAM2).
  • Comportamento: Tendem a prever dentro das regiões ocluídas, demonstrando uma tendência de completamento amodal.
  • Desempenho: O MedSAM2 destaca-se como um caso único, mantendo DSC Visível competitivo enquanto obtém altas pontuações na região invisível (provavelmente devido ao seu ajuste fino baseado em vídeo). O MedSAM padrão, no entanto, sofre degradação catastrófica na região visível sob alta oclusão.
  • Implicação: Úteis se a estimativa da anatomia oculta for necessária, mas arriscados se a precisão da borda visível for prioritária.
• Desempenho Fraco: O SAM-Med2D não se encaixa em nenhum arquétipo e performou mal em todas as condições, sugerindo que sua adaptação não capturou robustez nem completamento amodal eficaz.

Impacto do Tipo de Oclusão e Prompt

• Oclusão vs. Recorte: A oclusão por instrumentos cirúrgicos causa degradação significativamente maior do que o recorte (Cutout) em níveis de severidade alta, indicando que a presença visual do instrumento é um fator disruptivo maior do que a simples falta de dados.
• Sensibilidade ao Prompt: O uso de prompts de caixa (box) superou consistentemente os prompts de ponto único, especialmente para modelos médicos como o MedSAM, que colapsou quase totalmente com pontos únicos (DSC ~0.02), mas funcionou com caixas.

5. Significância e Conclusão

O trabalho demonstra que a dependência de métricas de máscara completa (amodal) em segmentação médica é enganosa e potencialmente perigosa. Um modelo pode parecer robusto em métricas padrão enquanto comete erros clínicos graves (alucinar tecido sobre instrumentos).

Conclusão Principal: A seleção de modelos para aplicações clínicas sob oclusão não deve ser baseada apenas no desempenho em imagens limpas. Deve ser uma escolha de design clínico:

• Se o objetivo é segurança e navegação precisa (evitar tocar em instrumentos), modelos Conscientes do Oclusor (como SAM 3) são preferíveis.
• Se o objetivo é inferência de anatomia oculta (estimativa de tamanho total do pólipo), modelos Ignorantes do Oclusor com bom desempenho visível (como MedSAM2) podem ser adequados.

O OccSAM-Bench estabelece um novo padrão para avaliar a robustez de modelos fundamentais em cenários cirúrgicos realistas, destacando a necessidade de treinamento e avaliação que considerem explicitamente a presença de oclusores dinâmicos.