SADL: What to Ignore? A Benchmark for Subject-Aware Distractor Localization

Resumo Técnico: SADL – Localização de Distratores Sensíveis ao Sujeito

Definição do Problema
Fotografias frequentemente contêm distratores visuais — objetos que competem pela atenção com o sujeito pretendido e enfraquecem a integridade composicional. Embora as ferramentas de edição modernas facilitem a remoção de objetos, a etapa crucial de precessão de identificar quais objetos remover permanece um processo manual que exige perícia composicional. Abordagens existentes, incluindo modelos de saliência e detectores de vocabulário aberto, sofrem de uma limitação estrutural: elas geram um mapa de distratores fixo por imagem sem consciência do sujeito. Consequentemente, não conseguem se adaptar à intenção variável do usuário; um objeto pode ser um distrator em relação a um sujeito (ex: uma pessoa), mas um âncora composicional essencial em relação a outro (ex: um cachorro). Além disso, a remoção desprovida de contexto arrisca interromper a coerência semântica, como remover uma cadeira na qual o sujeito está sentado. Este artigo formaliza a tarefa de Localização de Distratores Sensíveis ao Sujeito (SADL): dado uma imagem $I$ e uma descrição textual de um sujeito principal $M$, o sistema deve identificar quais outros objetos são distratores em relação a $M$.

Metodologia e Estrutura
A estrutura SADL define um distrator como um objeto que satisfaz pelo menos um de cinco fatores de inclusão (mecanismos que impulsionam a competição de atenção) enquanto não aciona nenhuma das três regras de exclusão (restrições contextuais que exigem a retenção).

• Fatores de Inclusão ($F_1$–$F_5$):
  • $F_1$ (Saliência Visual): Alto contraste de cor, luminância ou novidade de textura.
  • $F_2$ (Proximidade Espacial): Adjacência ao sujeito $M$.
  • $F_3$ (Incongruência Semântica): Fora de contexto em relação à cena.
  • $F_4$ (Similaridade Categórica): Compartilhar a mesma categoria semântica que $M$, causando ambiguidade referencial.
  • $F_5$ (Dominância de Escala): Ocupar uma área desproporcionalmente grande em relação a $M$.
• Regras de Exclusão ($E_1$–$E_3$):
  • $E_1$ (Atributo de $M$): Objetos segurados, vestidos ou anexados a $M$.
  • $E_2$ (Ambiente Neutro): Elementos de fundo esperados, muito pequenos ou numerosos para competir individualmente.
  • $E_3$ (Dependência Funcional): Objetos cuja remoção tornaria a atividade do sujeito logicamente incoerente.

Construção do Dataset (SADL)
Os autores introduzem o SADL, o primeiro benchmark de mundo real para esta tarefa, composto por:

• Escala: 1.000 imagens de alta resolução de diversos datasets públicos (COCO, Winoground, Visual Genome, Open Images) através de oito categorias de cena.
• Casos: 1.800 casos sensíveis ao sujeito (média de 1,8 casos/imagem), onde uma única imagem gera múltiplos casos baseados em diferentes sujeitos $M$ especificados.
• Anotações: 14.617 candidatos anotados, incluindo 1.938 negativos difíceis (objetos que parecem ser distratores, mas devem ser retidos devido às regras de exclusão).
• Pipeline: Um processo de anotação híbrido usando pré-rotulagem agêntica (Qwen3-VL-32B) seguida de revisão humana e adjudicação por fotógrafos profissionais para resolver divergências. O acordo entre anotadores (Kappa de Cohen) atingiu 0,534 para rótulos binários, com maior concordância em fatores geométricos/categóricos do que em fatores perceptivos.

Estrutura de Avaliação
O artigo emprega um protocolo duplo de avaliação para isolar modos de falha específicos:

1. Classificação Guiada (GC): O modelo recebe a imagem, a descrição do sujeito e uma lista pré-enumerada de candidatos, prevendo um rótulo de três classes (Distrator, Excluído, Não-distrator) com atribuições de fator/regra. Isso isola o raciocínio composicional.
2. Detecção Aberta (OD): O modelo recebe apenas a imagem e a descrição do sujeito, enumerando livremente os candidatos que são então fundamentados em máscaras via SAM 3. Isso mede o desempenho de implantação end-to-end.

Resultos Principais
A avaliação de sete Modelos de Linguagem de Visão (VLMs) e quatro baselines sem raciocínio revela uma hierarquia de falhas sistemáticas:

• Sobre-ativação de Exclusão: Modelos de fronteira (ex: GPT-4.1, Gemini 3 Pro) demonstram alta capacidade em identificar distratores, mas aplicam sistematicamente as regras de exclusão de forma excessiva. Quando as regras de exclusão são removidas do prompt, o recall de distratores (D-Rec) para esses modelos salta significativamente (ex: GPT-4.1 de 65,1% para 88,9%), indicando que o principal gargalo é a calibração de exclusão em vez da falha de detecção. Os modelos tendem a aplicar a exclusão ao nível da cena em vez de ancorá-la ao sujeito específico $M$.
• Falha de Detecção de Fator: Modelos de pesos abertos mais fracos (ex: Pixtral-12B) falham mesmo quando as regras de exclusão são removidas, sugerindo um déficit no fundamento perceptual dos fatores de inclusão, particularmente para incongruência semântica ($F_3$).
• Contaminação de Saída: Alguns modelos de pesos abertos produzem saídas estruturalmente inconsistentes onde os critérios de exclusão disparam sem os fatores de inclusão acionados, suprimindo silenciosamente verdadeiros distratores.
• Gargalo de Fundamentação Espacial: Existe uma lacuna significativa de desempenho entre os scores F1 de GC e OD ($\Delta$F1 é negativo para todos os modelos). Esta queda é atribuída principalmente a falhas de conversão de rótulo-para-máscara (ex: descrições de texto verbosas ou imprecisas falhando em fundamentar via SAM 3) em vez do próprio modelo de segmentação.

Significância e Contribuições
O artigo reivindica três contribuições primárias:

1. Estrutura Formal: Uma definição rigorosa de localização de distratores sensíveis ao sujeito fundamentada na teoria da atenção visual, permitindo a decomposição de erro por nível de processo por causa raiz (inclusão vs. exclusão vs. fundamentação).
2. Benchmark Diagnóstico: O SADL fornece um recurso único com negativos difíceis e um design de protocolo duplo que expõe modos de falha (especificamente a sobre-ativação de exclusão) que benchmarks binários confundem ou obscurecem.
3. Análise Empírica: O estudo identifica quatro modos distintos de falha (sobre-ativação de exclusão, contaminação de saída, falha de detecção de fator e falha de fundamentação espacial), oferecendo assinaturas diagnósticas específicas e direções de remediação para sistemas multimodais.

Os autores concluem que, embora os VLMs possuam fortes capacidades de raciocínio composicional, sua implantação end-to-end é atualmente dificultada pela falta de calibração de exclusão condicionada ao sujeito e de fundamentação espacial robusta. O SADL serve como uma ferramenta fundamental para avançar essas capacidades específicas em pesquisas futuras.