SADL: What to Ignore? A Benchmark for Subject-Aware Distractor Localization

기술 요약: SADL – 피사체 인식 방해 요소 국지화 (Subject-Aware Distractor Localization)

문제 정의
사진에는 종종 시각적 방해 요소(distractors)—의도한 피사체와 경쟁하여 구도의 온전함을 약화시키는 객체들—가 포함됩니다. 현대의 편집 도구들은 객체 제거를 용이하게 하지만, 그에 앞서 어떤 객체를 제거할지 식별하는 결정적인 단계는 여전히 구성적 전문성을 요구하는 수동 프로세스로 남아 있습니다. 사리엔시(saliency) 모델이나 오픈 보캐블러리 탐지기를 포함한 기존 방식들은 구조적 한계를 가집니다. 즉, 피사체에 대한 인식 없이 이미지당 고정된 방해 요소 맵을 생성한다는 점입니다. 결과적으로, 이들은 변화하는 사용자의 의도에 적응할 수 없습니다. 예를 들어, 어떤 객체는 특정 피사체(예: 사람)에 대해서는 방해 요소가 될 수 있지만, 다른 피사체(예: 개)에 대해서는 필수적인 구성적 앵커가 될 수 있습니다. 또한, 맥락을 고려하지 않은 제거는 의자가 앉아 있는 피사체를 제거하는 것과 같이 의미론적 일관성을 해칠 위험이 있습니다. 본 논문은 피사체 인식 방해 요소 국지화(SADL) 작업을 공식화합니다. 즉, 이미지 $I$와 주요 피사체 $M$에 대한 텍스트 설명이 주어졌을 때, 시스템은 $M$과 관련하여 어떤 다른 객체들이 방해 요소인지 식별해야 합니다.

방법론 및 프레임워크
SADL 프레임워크는 방해 요소를 (주의력 경쟁을 유발하는 다섯 가지 포함 요인 중 적어도 하나를 만족하면서, 동시에 세 가지 제외 규칙 중 어느 것도 트리거하지 않는) 객체로 정의합니다.

• 포함 요인 ($F_1$–$F_5$):
  • $F_1$ (시각적 사리엔시): 높은 색상 대비, 휘도 또는 질감의 참신함.
  • $F_2$ (공간적 근접성): 피사체 $M$과의 인접성.
  • $F_3$ (의미론적 부조화): 장면과 맥락상 어긋남.
  • $F_4$ (범주적 유사성): $M$과 동일한 의미 범주를 공유하여 참조적 모호성을 유발함.
  • $F_5$ (규모 지배력): $M$에 비해 불균형적으로 넓은 영역을 차지함.
• 제외 규칙 ($E_1$–$E_3$):
  • $E_1$ (M의 속성): $M$이 들고 있거나, 착용하고 있거나, 부착되어 있는 객체.
  • $E_2$ (중립적 환경): 개별적으로 경쟁하기에는 너무 작거나 수가 많은 예상된 배경 요소.
  • $E_3$ (기능적 의존성): 제거 시 피사체의 활동을 논리적으로 비일관적이게 만드는 객체.

데이터셋 구축 (SADL)
저자들은 이 과업을 위한 최초의 실제 환경 벤치마크인 SADL을 소개하며, 이는 다음으로 구성됩니다:

• 규모: 8개의 장면 카테고리에 걸친 다양한 공개 데이터셋(COCO, Winoground, Visual Genome, Open Images)에서 추출한 1,000개의 고해 resolution 이미지.
• 케이스: 1,800개의 피사체 인식 케이스 (이미지당 평균 1.8개 케이스), 즉 단일 이미지가 서로 다른 지정된 피사체 $M$에 따라 여러 케이스를 생성함.
• 주석(Annotations): 1,938개의 하드 네거티브(방해 요소처럼 보이지만 제외 규칙으로 인해 유지되어야 하는 객체)를 포함한 14,617개의 주석 처리된 후보군.
• 파이프라인: 에이전트 기반 사전 레이블링(Qwen3-VL-32B) 후, 전문가 간의 이견을 해결하기 위해 전문 사진가들의 검토 및 조정 과정을 거치는 하이브리드 주석 프로세스. 이진 레이블에 대한 상호 주석자 일치도(Cohen's $\kappa$)는 0.534에 도달했으며, 지각적 요인보다 기하학적/범주적 요인에서 더 높은 일치도를 보였습니다.

평가 프레임워크
본 논문은 특정 실패 모드를 격리하기 위해 이중 프로토콜 평가를 채택합니다:

1. 가이드 분류 (Guided Classification, GC): 모델은 이미지, 피사체 설명, 그리고 미리 나열된 후보 목록을 전달받아, 요인/규칙 귀속을 포함한 3클래스 레이블(방해 요소, 제외됨, 비방해 요소)을 예측합니다. 이는 구성적 추론을 격리하여 측정합니다.
2. 오픈 탐지 (Open Detection, OD): 모델은 오직 이미지와 피사체 설명만을 전달받아 자유롭게 후보를 열거하며, 이후 SAM 3를 통해 마스크로 접지(grounding)됩니다. 이는 엔드 투 엔드 배포 성능을 측정합니다.

주요 결과
7개의 시각-언어 모델(VLM)과 4개의 비추론 베이스라인을 평가한 결과, 체계적인 실패의 계층 구조가 드러났습니다:

• 제외 과잉 트리거링 (Exclusion Over-Triggering): 최첨단 모델(예: GPT-4.1, Gemini 3 Pro)은 방해 요소를 식별하는 높은 능력을 보여주지만, 제외 규칙을 체계적으로 과하게 적용합니다. 프롬프트에서 제외 규칙을 제거했을 때, 이 모델들의 방해 요소 재현율(D-Rec)은 크게 상승하여(예: GPT-4.1의 경우 65.1%에서 88.9%로), 주요 병목 현상이 탐지 실패가 아니라 **제외 보정(exclusion calibration)**임을 나타냅니다. 모델들은 제외 규칙을 특정 피사체 $M$에 앵커링하기보다는 장면 수준에서 적용하는 경향이 있습니다.
• 요인 탐지 실패: 상대적으로 약한 오픈 웨이트 모델(예: Pixtral-12B)은 제외 규칙을 제거하더라도 실패를 보였으며, 이는 지각적 접지(perceptual grounding), 특히 의미론적 부조화($F_3$)에 대한 결핍을 시사합니다.
• 출력 오염 (Output Contamination): 일부 오픈 웨이트 모델은 포함 요인이 트리거되지 않았음에도 제외 기준이 작동하여, 실제 방해 요소를 조용히 억제하는 구조적 불일치 출력을 생성합니다.
• 공간적 접지 병목 (Spatial Grounding Bottleneck): GC와 OD 사이의 F1 점수 사이에 상당한 격차가 존재합니다 ($\Delta$F1은 모든 모델에서 음수). 이 하락은 SAM 3를 통한 접지 실패(예: 장황하거나 부정확한 텍스트 설명이 접지에 실패함)에 주로 기인하며, 세그멘테이션 모델 자체의 문제라기보다는 레이블-투-마스크 변환 실패에 의한 것입니다.

의의 및 기여
본 논문은 세 가지 주요 기여를 주장합니다:

1. 공식 프레임워크: 시각적 주의 이론에 근거한 피사체 인식 방해 요소 국지화에 대한 엄격한 정의를 제공하여, 근본 원인(포함 vs 제외 vs 접지)에 따른 프로세스 수준의 오류 분해를 가능하게 합니다.
2. 진단적 벤치마크: SADL은 하드 네거티브와 이중 프로토콜 설계를 갖춘 독특한 자원을 제공하며, 이를 통해 이진 벤치마크가 혼동하거나 은폐할 수 있는 실패 모드(특히 제외 과잉 트리거링)를 노출합니다.
3. 경험적 분석: 본 연구는 네 가지 뚜렷한 실패 모드(제외 과잉 트리거링, 출력 오염, 요인 탐지 실패, 공간적 접지 실패)를 식별하여, 멀티모달 시스템을 위한 구체적인 진단 시그니처와 개선 방향을 제시합니다.

저자들은 VLM이 강력한 구성적 추론 능력을 갖추고 있음에도 불구하고, 현재 엔드 투 엔드 배포는 피사체 조건부 제외 보정(subject-conditioned exclusion calibration)과 견고한 공간적 접지의 부족으로 인해 저해되고 있다고 결론짓습니다. SADL은 향후 연구에서 이러한 구체적인 역량을 발전시키기 위한 기초적인 도구 역할을 합니다.