ISRS-DETR: Detection-Guided Click Propagation for Remote Sensing Interactive Segmentation

Resumo Técnico: ISRS-DETR

Definição do Problema
A segmentação interativa visa reduzir o custo de anotação ao nível de pixel, permitindo que os usuários delineiem objetos com o mínimo de cliques. Embora eficaz para imagens naturais, a aplicação desse paradigma a Imagens de Sensoriamento Remoto (RSI) apresenta desafios únicos: resoluções ultra-altas, tamanhos de objetos pequenos e distribuições espaciais esparsas frequentemente degradam a qualidade da segmentação.

Frameworks recentes, como o CrossCut, abordaram as barreiras de resolução, mas sofrem de uma limitação crítica: eles tratam todas as instâncias de uma classe específica dentro de uma imagem como um único alvo de segmentação. Consequentemente, uma interação do usuário em um objeto não fornece benefício a outras instâncias da mesma classe, apesar das fortes correlações semânticas e visuais entre elas. Isso força os usuários a fornecerem até 40 cliques por imagem para alcançar máscaras satisfatórias, dificultando a escalabilidade prática. Além disso, os métodos existentes falham em aproveitar a "correlação macroscópica" observada em cenas de sensoriamento remoto, onde a presença de um objeto informa fortemente a localização e a natureza de seus vizinhos da mesma classe.

Metodologia
Os autores propõem o ISRS-DETR, um framework de segmentação interativa guiado por detecção, projetado para injetar evidências de nível de objeto tanto no treinamento quanto na inferência. A arquitetura integra um ramo de segmentação com um ramo de guia de detecção:

1. Arquitetura de Dois Ramos:

   • Ramo de Segmentação: Segue o framework CrossCut, utilizando um codificador ViT-B simples e uma Rede de Pirâmide de Características (FPN) para processar patches de imagem. Ele gera máscaras por patch que são remontadas em uma predição final.
   • Ramo de Guia de Detecção: Construído sobre o decodificador RF-DETR (Robinson et al. 2026), este ramo localiza caixas delimitadoras (bounding boxes) para objetos da mesma classe que coocorrem. Ele reutiliza as características fundidas do ramo de segmentação (que codificam tanto o conteúdo da imagem quanto a semântica do clique) para prever propostas de objetos.

2. Propagação de Clique Simulada:

   • Ao clicar em um objeto, o detector identifica a classe alvo e gera caixas delimitadoras para todas as outras instâncias dessa classe na cena.
   • Seleção Dinâmica de Top-K Boxes: Para garantir a qualidade, o sistema filtra as propostas com base em limiares de confiança e tamanho mínimo. Em seguida, emprega uma estratégia de Seleção de Clique Simulado Top-K Dinâmica. Em vez de usar um número fixo de cliques, o algoritmo analisa a distribuição de similaridade entre o clique do usuário e as localizações candidatas em todas as propostas. Ele identifica uma "transição abrupta" nos escores de similaridade ordenados (usando a derivada discreta de segunda ordem) para determinar o número ideal ($k^*$) de candidatos de alta confiança a serem retidos.
   • Esses candidatos selecionados são convertidos em cliques simulados e injetados na próxima rodada de interação como prompts positivos. Crucialmente, esses cliques simulados não são contados no orçamento de interação do usuário, permitindo que um único clique do usuário propague a supervisão por toda uma classe.

3. Treinamento:

   • O modelo é treinado de ponta a ponta usando uma sequência de interação simulada. A função de perda combina a perda de segmentação (focal loss normalizada) e a perda de detecção DETR padrão (classificação, regressão $\ell_1$ e GIoU).
   • Técnicas como queries de denoising e refinamento de atenção de relação de posição (provenientes do Relation-DETR) são empregadas para estabilizar o treinamento e acelerar a convergência das queries.

Principais Contribuições

• Identificação de uma Limitação Fundamental: O artigo caracteriza empiricamente que os métodos ISRS existentes colapsam instâncias da mesma classe em um único alvo, falhando em explorar as relações entre objetos.
• Framework Guiado por Detecção: O ISRS-DETR introduz um novo mecanismo para propagar uma única interação do usuário para todas as instâncias confiáveis da mesma classe através de uma estratégia de clique simulado guiada pelo detector.
• Seleção Dinâmica Top-K: Uma estratégia que retém adaptativamente apenas as propostas de alta confiança, convertendo-as em cliques simulados para suprimir a acumulação de erros enquanto maximiza a propagação.
• Novo Protocolo de Avaliação: Os autores adotam o Número de Cliques por Imagem (NoC-I) como métrica primária. Diferente das métricas tradicionais por objeto (NoC@70), o NoC-I mede o total de cliques necessários para segmentar todas as instâncias alvo em uma cena, refletindo melhor o custo prático de anotação em sensoriamento remoto.

Resultos
Experimentos foram conduzidos em três benchmarks padrão: iSAID, WHU-Building e NWPU VHR-10.

• Desempenho: O ISRS-DETR atinge o estado da arte em precisão em todos os datasets, superando baselines como CrossCut, SimpleClick e MFP tanto em mIoU quanto em AUC (Área Sob a Curva).
• Eficiência: O método reduz substancialmente o custo de interação. No dataset WHU-Building, o ISRS-DETR requer apenas 10,71 cliques para atingir 70% de IoU, comparado a 38,69 cliques do CrossCut — uma redução de quase 28 cliques por imagem. Em média, o método economiza 9,64 cliques por imagem em todas as configurações.
• Efetividade da Propagação: O ramo do detector propaga a supervisão com sucesso, com o fator de "amplificação de clique" variando por dataset (ex: 8,33x no iSAID), demonstrando a capacidade de aproveitar correlações em escala de cena.

Significância e Alegações
O artigo afirma que o ISRS-DETR estabelece um novo framework de estado da arte para segmentação interativa em sensoriamento remoto. Sua significância reside na mudança do paradigma de interação por objeto para uma interação consciente da classe e em escala de cena. Ao reconhecer e explorar as fortes correlações entre objetos inerentes às imagens de sensoriamento remoto, o framework reduz significativamente a carga de anotação humana sem sacrificar a qualidade da segmentação. Os autores observam que, embora o desempenho do método seja limitado pela qualidade do detector subjacente, os resultados sugerem que a interação guiada por detector é uma direção promissora para a anotação escalável de sensoriamento remoto. Eles também reconhecem que a vantagem é mais pronunciada em regimes de poucos cliques e em cenas densas, enquanto o refinamento de bordas em alvos de IoU muito altos permanece um desafio.