BREPS: Bounding-Box Robustness Evaluation of Promptable Segmentation

1. Problema

Os modelos de segmentação "promptável" (como o Segment Anything Model - SAM) estabeleceram um paradigma poderoso, permitindo a segmentação de objetos com pouco input do usuário (pontos, caixas delimitadoras, texto). Entre esses prompts, a caixa delimitadora (bounding box) é frequentemente a mais eficaz, superando pontos únicos e reduzindo custos de anotação.

No entanto, o artigo identifica uma lacuna crítica:

• Avaliação Sintética vs. Realidade: Os protocolos atuais de treinamento e avaliação utilizam prompts sintéticos gerados por heurísticas simples (ex: caixas "apertadas" ou tight bboxes com pequeno ruído aleatório).
• Falta de Robustez: Esses métodos não capturam como usuários reais desenham caixas. O estudo revela que os modelos são extremamente sensíveis a variações naturais nos prompts. Uma mudança de apenas um pixel na posição da caixa pode causar quedas drásticas na qualidade da segmentação (IoU), criando uma lacuna entre o desempenho em laboratório e em aplicações do mundo real.

2. Metodologia

A abordagem do trabalho é dividida em três etapas principais:

A. Estudo de Usuários Reais (Crowdsourcing)

• Coleta de Dados: Realizaram um estudo controlado com 2.500 anotadores (metade em desktop, metade em mobile), coletando 25.000 caixas delimitadoras reais sobre 500 imagens de 10 conjuntos de dados (incluindo gerais como COCO, ADE20K e médicos como ACDC, MedScribble).
• Análise de Comportamento: Descobriram que, embora as caixas dos usuários se agrupem perto do objeto, a qualidade da máscara resultante (IoU) varia significativamente entre diferentes usuários para a mesma imagem.
• Modelagem de Realismo: Observaram que caixas desenhadas em dispositivos móveis tendem a ser menos precisas e mais desviadas das caixas "apertadas" do que as desenhadas em desktop. Para quantificar isso, ajustaram uma distribuição Gamma aos valores de perda CIoU (Complete IoU) entre as caixas reais e as caixas ideais, criando uma métrica de "realismo" para prompts.

B. Ataque Adversarial White-Box (BREPS)

Como testar exaustivamente todas as combinações possíveis de caixas é computacionalmente proibitivo, os autores reformularam o problema como um ataque adversarial white-box no espaço de prompts:

• Otimização: Mantêm a imagem e os pesos do modelo congelados e realizam a descida de gradiente diretamente nas coordenadas da caixa delimitadora.
• Regularização de Realismo: Para evitar que o ataque encontre soluções triviais (como uma caixa que não toca o objeto), introduzem um termo de regularização baseado na distribuição Gamma aprendida no estudo de usuários. Isso garante que as caixas adversariais geradas ainda sejam plausíveis para um humano.
• Objetivo: O método busca minimizar (ataque de degradação) ou maximizar (ataque de melhoria) o erro de segmentação, respeitando as restrições de naturalidade.

C. Avaliação em Larga Escala

• Avaliaram 15 modelos de segmentação promptável de última geração (incluindo SAM, SAM 2.1, SAM-HQ, RobustSAM, etc.) em 10 conjuntos de dados (do geral ao médico).
• Definiram novas métricas de robustez, como a diferença entre o pior e o melhor caso encontrado pelo ataque (IoU-∆).

3. Contribuições Principais

1. Estudo de Usuários Pioneiro: Coleta e análise sistemática de milhares de prompts de caixas reais, revelando uma variabilidade significativa no desempenho dos modelos entre diferentes usuários e dispositivos.
2. Método BREPS: Introdução de uma técnica de otimização white-box para gerar caixas adversariais realistas, guiada por restrições de naturalidade derivadas de dados empíricos.
3. Benchmark Abrangente: A primeira avaliação comparativa em larga escala de modelos de segmentação promptável, cobrindo domínios gerais e médicos, revelando que as caixas "apertadas" (tight bboxes) superestimam o desempenho real em cerca de 30% de IoU em cenários de variação de prompts.

4. Resultados Chave

• Sensibilidade Extrema: Os modelos de ponta são altamente instáveis. Pequenos deslocamentos na caixa (1 pixel) podem alterar o IoU drasticamente.
• Queda de Desempenho: Sob a variação de prompts realistas (simulada pelo BREPS), a qualidade média dos modelos cai em aproximadamente 30% de IoU em relação ao uso de caixas "apertadas" perfeitas.
• Variabilidade Inter-usuário: Existe uma grande dispersão na qualidade da segmentação dependendo de quem desenha a caixa. Em média, a variação entre usuários é de cerca de 15% de IoU.
• Desempenho por Dispositivo: Usuários em dispositivos móveis tendem a produzir caixas com menor qualidade (maior CIoU-Loss) e maior variabilidade em comparação com usuários em desktop.
• Modelos Mais Robustos: Entre os modelos testados, as versões SAM-HQ e SAM-HQ2 mostraram-se mais robustas e consistentes, enquanto modelos como RobustSAM (em algumas configurações) e modelos médicos específicos apresentaram grandes oscilações.
• Otimização para Melhoria: O ataque de maximização mostrou que é possível melhorar a qualidade do modelo em cerca de 3% de IoU ajustando a caixa para uma posição "ótima" que os usuários raramente encontram, indicando que os modelos têm um potencial não explorado.

5. Significado e Impacto

O trabalho demonstra que a avaliação atual de modelos de segmentação é insuficiente, pois ignora a variabilidade humana e a sensibilidade a ruídos sutis nos prompts.

• Para Pesquisa: Estabelece a necessidade de novos protocolos de treinamento e avaliação que considerem a distribuição real de prompts humanos, não apenas caixas sintéticas perfeitas.
• Para Aplicações Práticas: Alerta desenvolvedores que, ao integrar esses modelos em ferramentas de edição de vídeo, anotação de dados ou robótica, a experiência do usuário pode ser inconsistente e degradada se o sistema não for robusto a variações naturais na interação.
• Futuro: O método BREPS oferece uma ferramenta para diagnosticar a fragilidade dos modelos e orientar o desenvolvimento de arquiteturas mais estáveis e confiáveis para o mundo real.