SADL: What to Ignore? A Benchmark for Subject-Aware Distractor Localization

Resumen Técnico: SADL – Localización de Distractores Consciente del Sujeto

Definición del Problema
Las fotografías contienen frecuentemente distractores visuales: objetos que compiten por la atención con el sujeto pretendido y debilitan la integridad compositiva. Aunque las herramientas de edición modernas facilitan la eliminación de objetos, el paso crítico precedente de identificar qué objetos eliminar sigue siendo un proceso manual que requiere pericia compositiva. Los enfoques existentes, incluidos los modelos de prominencia (saliency) y los detectores de vocabulario abierto, sufren una limitación estructural: generan un mapa de distractores fijo por imagen sin conciencia del sujeto. En consecuencia, no pueden adaptarse a la intención cambiante del usuario; un objeto puede ser un distractor relativo a un sujeto (por ejemplo, una persona) pero un ancla compositiva esencial relativo a otro (por ejemplo, un perro). Además, la eliminación ajena al contexto corre el riesgo de romper la coherencia semántica, como eliminar una silla sobre la cual el sujeto está sentado. Este artículo formaliza la tarea de Localización de Distractores Consciente del Sujeto (SADL): dado una imagen $I$ y una descripción textual de un sujeto principal $M$, el sistema debe identificar qué otros objetos son distractores relativos a $M$.

Metodología y Marco de Trabajo
El marco SADL define un distractor como un objeto que satisface al menos uno de cinco factores de inclusión (mecanismos que impulsan la competencia de la atención) mientras activa ninguno de tres reglas de exclusión (restricciones contextuales que mandatan la retención).

• Factores de Inclusión ($F_1$–$F_5$):
  • $F_1$ (Prominencia Visual): Alto contraste de color, luminancia o novedad de textura.
  • $F_2$ (Proximidad Espacial): Adyacencia al sujeto $M$.
  • $F_3$ (Incongruencia Semántica): Fuera de contexto respecto a la escena.
  • $F_4$ (Similitud Categórica): Compartir la misma categoría semántica que $M$, causando ambigüedad referencial.
  • $F_5$ (Dominancia de Escala): Ocupar un área desproporcionadamente grande en relación con $M$.
• Reglas de Exclusión ($E_1$–$E_3$):
  • $E_1$ (Atributo de $M$): Objetos sostenidos, vestidos o sujetos a $M$.
  • $E_2$ (Entorno Neutral): Elementos de fondo esperados demasiado pequeños o numerosos para competir individualmente.
  • $E_3$ (Dependencia Funcional): Objetos cuya eliminación haría que la actividad del sujeto fuera lógicamente incoherente.

Construcción del Conjunto de Datos (SADL)
Los autores presentan SADL, el primer benchmark del mundo real para esta tarea, que comprende:

• Escala: 1,000 imágenes de alta resolución de diversos conjuntos de datos públicos (COCO, Winoground, Visual Genome, Open Images) a través de ocho categorías de escenas.
• Casos: 1,800 casos conscientes del sujeto (media de 1.8 casos/imagen), donde una sola imagen genera múltiples casos basados en diferentes sujetos $M$ especificados.
• Anotaciones: 14,617 candidatos anotados, incluyendo 1,938 negativos difíciles (objetos que parecen ser distractores pero deben retenerse debido a las reglas de exclusión).
• Pipeline: Un proceso de anotación híbrido utilizando pre-etiquetado agéntico (Qwen3-VL-32B) seguido de revisión humana y adjudicación por fotógrafos profesionales para resolver desacuerdos. El acuerdo entre anotadores (Kappa de Cohen) alcanzó 0.534 para etiquetas binarias, con mayor acuerdo en factores geométricos/categóricos que en los perceptivos.

Marco de Evaluación
El artículo emplea un protocolo de evaluación dual para aislar modos de falla específicos:

1. Clasificación Guiada (GC): El modelo recibe la imagen, la descripción del sujeto y una lista de candidatos pre-enumerada, prediciendo una etiqueta de tres clases (Distractor, Excluido, No distractor) con atribuciones de factor/regla. Esto aísla el razonamiento compositivo.
2. Detección Abierta (OD): El modelo recibe solo la imagen y la descripción del sujeto, enumerando libremente los candidatos que luego se vinculan a máscaras mediante SAM 3. Esto mide el rendimiento de despliegue de extremo a extremo.

Resultados Clave
La evaluación de siete Modelos de Lenguaje de Visión (VLMs) y cuatro baselines de no-razonamiento revela una jerarquía de fallas sistemáticas:

• Sobre-activación de la Exclusión: Los modelos de frontera (ej. GPT-4.1, Gemini 3 Pro) demuestran una alta capacidad para identificar distractores pero aplican sistemáticamente en exceso las reglas de exclusión. Cuando las reglas de exclusión se eliminan del prompt, la recuperación de distractores (D-Rec) para estos modelos aumenta significativamente (ej. GPT-4.1 del 65.1% al 88.9%), indicando que el cuello de botella principal es la calibración de la exclusión más que la falla de detección. Los modelos tienden a aplicar la exclusión a nivel de escena en lugar de anclarla al sujeto específico $M$.
• Falla de Detección de Factores: Los modelos de pesos abiertos más débiles (ej. Pixtral-12B) fallan incluso cuando se eliminan las reglas de exclusión, sugiriendo un déficit en el anclaje perceptual de los factores de inclusión, particularmente para la incongruencia semántica ($F_3$).
• Contaminación de Salida: Algunos modelos de pesos abiertos producen salidas estructuralmente inconsistentes donde los criterios de exclusión se activan sin que se disparen los factores de inclusión, suprimiendo silenciosamente distractores reales.
• Cuello de Botella de Anclaje Espacial: Existe una brecha significativa entre las puntuaciones F1 de GC y OD ($\Delta$F1 es negativo para todos los modelos). Esta caída se atribuye principalmente a fallas en la conversión de etiqueta-a-máscara (ej. descripciones de texto verbosas o imprecisas que fallan al anclarse vía SAM 3) más que al modelo de segmentación en sí.

Significancia y Contribuciones
El artículo reclama tres contribuciones primarias:

1. Marco Formal: Una definición rigurosa de la localización de distractores consciente del sujeto fundamentada en la teoría de la atención visual, permitiendo la descomposición de errores a nivel de proceso por causa raíz (inclusión vs. exclusión vs. anclaje).
2. Benchmark de Diagnóstico: SADL proporciona un recurso único con negativos difíciles y un diseño de protocolo dual que expone modos de falla (específicamente la sobre-activación de la exclusión) que los benchmarks binarios confunden u ocultan.
3. Análisis Empírico: El estudio identifica cuatro modos de falla distintos (sobre-activación de la exclusión, contaminación de salida, falla de detección de factores y falla de anclaje espacial), ofreciendo firmas diagnósticas específicas y direcciones de remediación para sistemas multimodales.

Los autores concluyen que, si bien los VLMs poseen fuertes capacidades de razonamiento compositivo, su despliegue de extremo a extremo se ve actualmente obstaculizado por la falta de una calibración de exclusión condicionada al sujeto y un anclaje espacial robusto. SADL sirve como una herramienta fundacional para avanzar en estas capacidades específicas en la investigación futura.