RPG-SAM: Reliability-Weighted Prototypes and Geometric Adaptive Threshold Selection for Training-Free One-Shot Polyp Segmentation

O artigo apresenta o RPG-SAM, um framework de segmentação poliposa one-shot sem treinamento que supera as limitações de métodos existentes ao abordar a heterogeneidade regional e de resposta por meio de mineração de protótipos ponderados por confiabilidade e seleção adaptativa geométrica, resultando em uma melhoria de 5,56% no mIoU no conjunto de dados Kvasir.

O essencial

Imagine que você é um detetive médico tentando encontrar pólipos (pequenas lesões que podem virar câncer) em fotos de um exame de colonoscopia. O problema é que você só tem uma única foto de exemplo (a "imagem de suporte") mostrando um pólipo perfeito, e precisa encontrar os outros em centenas de outras fotos (as "imagens de consulta"), sem ter tempo para ensinar o computador do zero.

Aqui entra o RPG-SAM, uma nova ferramenta inteligente que faz esse trabalho sozinha, sem precisar de treinamento. Para entender como ela funciona, vamos usar uma analogia de caça ao tesouro com um mapa imperfeito.

O Problema: O Mapa Cheio de Ruído

Antes do RPG-SAM, os outros métodos funcionavam como um detetive desajeitado que olhava para o mapa de exemplo e dizia: "Tudo o que parece um pouco parecido com o pólipo no mapa é um pólipo!".

Isso causava dois grandes erros:

1. O Mapa Sujo: A foto de exemplo pode ter reflexos de luz, muco ou áreas borradas. O detetive antigo tratava essas áreas ruins com a mesma importância que as áreas boas, gerando falsos alarmes.
2. A Regra Rígida: O detetive antigo usava uma regra fixa: "Se a cor for mais clara que X, é um pólipo". Mas cada foto é diferente (algumas são mais escuras, outras mais claras). Uma regra fixa falhava em quase todas as situações.

A Solução: O RPG-SAM (O Detetive Experiente)

O RPG-SAM é como um detetive veterano que sabe exatamente como lidar com mapas imperfeitos e condições variáveis. Ele usa três truques principais:

1. Mineração de Protótipos com Peso de Confiabilidade (RWPM)

• A Analogia: Imagine que você está montando uma equipe de especialistas baseada em uma única foto. Em vez de contratar todo mundo que aparece na foto, o RPG-SAM faz uma entrevista rápida.
• Como funciona: Ele olha para a foto de exemplo e diz: "Essa área tem um reflexo de luz? Descartada! Essa área tem muco? Descartada! Essa área mostra claramente a textura do pólipo? Contratada!".
• Além disso, ele usa o fundo da foto (o que não é o pólipo) como uma "âncora negativa". É como se ele dissesse: "Se parece com o fundo do intestino, com certeza NÃO é o pólipo". Isso ajuda a limpar o ruído e focar apenas no que importa.

2. Seleção Adaptativa Geométrica (GAS)

• A Analogia: Pense em tentar adivinhar o tamanho de um tesouro enterrado. Um método antigo diria: "O tesouro tem sempre 10cm". Mas e se o tesouro for pequeno ou gigante? O RPG-SAM não usa uma régua fixa.
• Como funciona: Ele gera várias possibilidades de onde o pólipo pode estar (vários "rascunhos"). Em vez de escolher o primeiro que aparecer, ele analisa a forma. "Poxa, esse rascunho parece um pólipo redondo e sólido? Ótimo! Esse outro parece um borrão aleatório? Não serve.".
• Ele ajusta automaticamente o "filtro" para cada foto, garantindo que a escolha final faça sentido geometricamente, independentemente de quão escura ou clara a imagem esteja.

3. Refinamento Iterativo Guiado por Prioridades (PIR)

• A Analogia: É como polir uma joia bruta. Você não para na primeira tentativa.
• Como funciona: O sistema faz um primeiro corte, olha para o resultado e pergunta: "Faltou alguma parte do pólipo? Tem alguma parte que não deveria estar lá?". Se sim, ele usa a inteligência da ferramenta (SAM2) para corrigir as bordas, adicionando ou removendo detalhes até que a forma fique perfeita. Ele repete esse processo até que o resultado seja impecável.

Por que isso é incrível?

O resultado final é que o RPG-SAM consegue encontrar os pólipos com muito mais precisão do que os métodos antigos, especialmente em situações difíceis onde há reflexos, muco ou imagens de diferentes hospitais (com diferentes câmeras).

• Sem treinamento: Você não precisa gastar meses ensinando o computador. Você só mostra um exemplo e ele aprende na hora.
• Robusto: Ele não se confunde com "sujeira" na imagem e se adapta a diferentes condições de luz.
• Melhor Resultado: Nos testes, ele melhorou a precisão em mais de 5% comparado aos melhores concorrentes, o que na medicina significa salvar vidas ao detectar câncer mais cedo.

Em resumo, o RPG-SAM transformou uma tarefa de "tentativa e erro" em um processo de detecção inteligente e adaptativa, garantindo que nenhum pólipo passe despercebido e que nenhum alarme falso assuste o médico.

Resumo técnico

Resumo Técnico: RPG-SAM

1. Problema e Motivação

A detecção de pólipos é crucial para a triagem precoce do câncer colorretal. Embora modelos supervisionados sejam precisos, sua dependência de grandes quantidades de anotações de nível de pixel limita sua escalabilidade clínica. A segmentação one-shot sem treinamento (que utiliza uma única imagem de suporte rotulada para segmentar imagens de consulta) integrada a modelos fundamentais de visão (como o SAM - Segment Anything Model) surge como uma alternativa promissora.

No entanto, o artigo identifica que os métodos existentes sofrem de um viés de uniformidade, tratando erroneamente todas as informações como homogêneas em três dimensões críticas:

1. Heterogeneidade Regional (Suporte): Métodos atuais tratam todos os pixels do primeiro plano (foreground) da imagem de suporte como igualmente representativos. Na prática, imagens de colonoscopia contêm regiões degradadas (reflexos, muco) que geram ruído e falsos positivos.
2. Heterogeneidade Contextual (Fundo vs. Frente): Muitos métodos ignoram o fundo da imagem de suporte como uma camada de informação distinta, falhando em usá-lo como uma âncora negativa para suprimir ativações indesejadas.
3. Heterogeneidade de Intensidade (Resposta): A transição de mapas de calor para prompts binários é frequentemente governada por regras estáticas (limiares fixos). Isso ignora a estocasticidade das intensidades de resposta em diferentes cenários clínicos, tornando os limiares fixos inadequados para garantir fidelidade e diversidade.

2. Metodologia: RPG-SAM

O RPG-SAM é um framework baseado no SAM2 que não requer treinamento e aborda explicitamente essas lacunas de heterogeneidade através de três componentes principais:

A. Mineração de Protótipos Ponderados por Confiabilidade (RWPM)

Este módulo visa resolver a heterogeneidade regional e contextual.

• Extração de Características: Utiliza o DINOv2 para extrair características profundas da imagem de suporte e consulta.
• Superpixels: Aplica o algoritmo SLIC para dividir a imagem de suporte em clusters (superpixels), gerando protótipos de primeiro plano ($P_{fg}$) e de fundo ($P_{bg}$).
• Métricas de Confiabilidade: Cada protótipo de primeiro plano é avaliado por dois fatores:
  1. Fator de Contraste (Intrinsic Reliability): Mede a capacidade de distinção do protótipo em relação ao fundo da imagem de suporte.
  2. Fator de Pureza Reversa (Query-specific Relevance): Verifica a estabilidade do cruzamento de imagens, projetando o protótipo de volta para as características de suporte para garantir que corresponda à área correta.
• Supressão de Ruído: Gera um mapa de calor inicial ($H_{init}$) agregando os protótipos ponderados, mas subtraindo explicitamente as similaridades com os protótipos de fundo ($P_{bg}$) para atuar como âncoras negativas e suprimir falsos positivos.

B. Seleção Adaptativa Geométrica de Limiar (GAS)

Este módulo resolve a heterogeneidade de intensidade substituindo limiares fixos por uma seleção dinâmica.

• Geração de Candidatos: Gera uma série de máscaras binárias candidatas variando o limiar de binarização do mapa de calor inicial.
• Avaliação Geométrica: Para cada máscara candidata, calcula-se uma pontuação ($S_{geo}$) baseada em:
  1. Solidez Ponderada: Favorece formas anatômicas regulares e convexas.
  2. Consenso de Escala: Penaliza candidatos muito pequenos (ruído) em relação a uma área de referência esperada para pólipos.
• Seleção: A máscara com a maior pontuação geométrica é selecionada como o máscara de prioridade ($M_{prior}$) para gerar prompts esparsos para o SAM2.

C. Refinamento Iterativo Guiado por Priori (PIR)

Um loop de refinamento automatizado para polir as fronteiras anatômicas.

• Mecanismo: Utiliza a máscara de prioridade ($M_{prior}$) como referência para corrigir erros da máscara atual gerada pelo SAM2.
• Lógica Hierárquica:
  • Se a cobertura for insuficiente (falsos negativos), insere prompts positivos no centro geométrico da região faltante.
  • Se a cobertura for adequada mas a interseção for baixa (falsos positivos), insere prompts negativos na região de ruído.
• Parada: O processo continua até atingir critérios de cobertura e IoU ou um número máximo de iterações, selecionando a máscara com o melhor histórico de IoU.

3. Resultados Experimentais

O framework foi avaliado em quatro conjuntos de dados públicos: Kvasir, CVC-ClinicDB, CVC-ColonDB e PolypGen (multi-centro).

• Desempenho no Kvasir: O RPG-SAM alcançou 78,65% de mIoU e 85,65% de mDice, superando o estado da arte (ProtoSAM) em 5,56% em mIoU.
• Robustez Multi-Centro: No conjunto de dados PolypGen (que envolve mudanças de domínio entre centros), o RPG-SAM demonstrou superioridade, mantendo estabilidade onde outros modelos falharam devido a ativações de falsos positivos.
• Estudos de Ablação:
  • A supressão de fundo (BG Supp.) trouxe um ganho de 3,78% em mDice.
  • O módulo RWPM melhorou a granularidade espacial.
  • O GAS superou limiares fixos em 2,59% em mDice, mitigando a estocasticidade de intensidade.
  • O PIR refinou ainda mais os resultados finais.

4. Contribuições Chave

1. RWPM (Reliability-Weighted Prototype Mining): Um mecanismo que prioriza características de suporte de alta fidelidade e utiliza o fundo como referência de contraste para supressão de ruído, abordando a heterogeneidade regional.
2. GAS (Geometric Adaptive Selection): Uma estratégia de seleção de limiar dinâmica baseada em priores morfológicos, substituindo regras estáticas por uma adaptação às condições específicas de cada imagem de consulta.
3. PIR (Prior-guided Iterative Refinement): Um loop de refinamento automatizado que utiliza a consistência estrutural para corrigir erros de cobertura e ruído sem intervenção manual.
4. Abordagem sem Treinamento: Oferece uma solução escalável e robusta para cenários médicos com escassez de rótulos, eliminando a necessidade de fine-tuning de modelos fundamentais.

5. Significado e Impacto

O RPG-SAM representa um avanço significativo na segmentação médica one-shot. Ao reconhecer e tratar explicitamente a heterogeneidade (regional, contextual e de intensidade) inerente a imagens endoscópicas, o método supera as limitações dos pipelines uniformes atuais.

Sua capacidade de operar sem treinamento e com alta precisão em dados multi-centro torna-o uma ferramenta clinicamente viável para triagem de câncer colorretal, oferecendo uma alternativa robusta e escalável aos modelos intensivos em dados. O código será disponibilizado, facilitando a reprodução e adoção na comunidade de pesquisa médica.