기술 요약: SeamCam – 다중 단서 시각적 탐지성을 통한 매끄러운 위장 정량화

문제 제기

동물 위장은 전통적으로 환경과 "매끄럽게" 융합하는 능력으로 설명되어 왔으나, 이 매끄러움을 측정하는 표준화된 정량적 지표는 존재하지 않습니다. 기존 계산적 접근법은 종종 위장 효과를 정적이며 단일 단서 기반의 유사도 측정치 (예: 전역 특징 분포 거리 또는 픽셀 단위 상관관계) 로 축소합니다. 이러한 방법들은 위장이 다중 단서 국소화 문제라는 지각적 현실을 포착하지 못합니다. 효과적인 위장은 단순히 전경과 배경의 차이를 최소화하는 것이 아니라, 관찰자가 대상의 종류를 알고 있더라도 대상을 국소화하는 데 필요한 시각적 증거의 축적을 방해하는 것입니다. furthermore, 위장 생성을 위한 기존 데이터셋에는 종종 가려지거나 부분적으로 보이는 동물이 포함되어 있어, 생성 모델의 평가에 혼란을 주는 편향을 초래합니다.

방법론

1. SeamCam: 다중 단서 국소화 지표

저자들은 위장 평가를 종류 조건부 시각적 국소화 문제로 재정의합니다. 핵심 가설은 잘 위장된 동물은 관찰자가 종을 알고 있더라도 탐지하기 어려운 동물이라는 것입니다. SeamCam 은 이용 가능한 시각적 단서로부터 회복 가능한 최대 국소화 신호를 측정함으로써 이를 정량화합니다.

이 프레임워크는 두 단계로 작동합니다:

• 1 단계: 의미적 제안 생성: 이미지 $I$와 대상 종 카테고리 $c$가 주어지면, 오픈-어휘 탐지기 (Grounding DINO) 가 후보 바운딩 박스를 생성합니다. 위장된 객체가 낮은 신뢰도를 받는 비대칭성을 해결하기 위해, 이 방법은 의미적 관련성을 보장하는 텍스트 정렬 임계값 ($\alpha$) 과 약하지만 잠재적으로 정보적인 단서를 유지하기 위한 낮은 신뢰도 임계값 ($\beta$) 을 적용하는 이중 게이트를 사용합니다. 상위 $K$개의 제안이 유지됩니다.
• 2 단계: 위장 단서 통합: 각 제안에 대해 세그멘테이션 마스크가 생성됩니다 (SAM-2 사용). 이 방법은 이러한 $K$개 제안의 모든 비어 있지 않은 부분집합을 평가합니다. 각 부분집합에 대해 마스크의 합집합을 계산하고, 정답 마스크와의 교차율 (Intersection over Union, IoU) 을 산출합니다.
• 점수 매기기: **탐지성 점수 ($D$)**는 제안의 어떤 부분집합이 달성할 수 있는 최대 IoU 로 정의됩니다. **SeamCam 점수 ($\zeta$)**는 $1 - D$로 계산됩니다.
  • 높은 SeamCam 점수 (낮은 $D$) 는 이용 가능한 단서의 최적 집계조차 객체를 회복하지 못함을 의미하며, 이는 강력한 위장을 나타냅니다.
  • 낮은 SeamCam 점수 (높은 $D$) 는 객체가 쉽게 국소화됨을 나타냅니다.

이 공식은 단일 전역 유사도 지표에 의존하는 대신 분산된 약한 단서의 통합을 명시적으로 모델링합니다.

2. SeamCam 기반 직접 선호도 최적화 (DPO)

위장 생성을 개선하기 위해 저자들은 SeamCam 을 **직접 선호도 최적화 (DPO)**를 위한 선호 신호로 활용합니다.

• 파이프라인: 비전 - 언어 모델 (InternVL3-14B) 이 전경 동물을 기반으로 다양한 환경 프롬프트를 생성합니다. 참조 확산 인페인팅 모델은 이러한 프롬프트에 조건부인 후보 이미지를 생성합니다.
• 선호도 쌍 구성: 실제 이미지 (훈련 데이터에서) 가 "승자"로 작용합니다. 생성된 후보 중 가장 높은 SeamCam 점수 (즉, 탐지가 가장 어려운) 를 가진 것이 "하드 네거티브 (패자)"로 선택됩니다.
• 훈련: 대상 확산 모델은 자연 이미지를 고점수 합성 대안보다 선호하도록 미세 조정됩니다. 이는 모델이 다른 지표에서 관찰된 "보상 해킹"을 피하면서 자연 위장과 합성 시도를 구별하는 미묘한 지각적 단서를 학습하도록 강제합니다.

3. CamFG-1.5K 데이터셋

편향 없는 벤치마킹을 가능하게 하기 위해 저자들은 1,521 개의 고해상도 이미지로 구성된 CamFG-1.5K를 소개합니다. 기존 데이터셋과 달리 CamFG-1.5K 는 위장 생성 전에 동물이 완전히 보이고 최소한으로 가려지도록 보장하여, 가려짐 아티팩트와 관련된 혼란 요인을 제거합니다.

주요 기여

1. SeamCam 지표: 위장을 다중 단서 국소화 난이도 문제로 규정하는 새로운 정량적 지표입니다. 2AFC 연구 (참가자 94 명, 비교 2,390 회) 에서 인간 판단과 78.82% 일치율을 달성하여, 약 25% 더 높은 성능을 보이는 최첨단 CamOT 를 능가합니다.
2. 위장 생성용 DPO: SeamCam 이 확산 기반 인페인팅 모델을 미세 조정하는 데 효과적인 선호 신호로 작용함을 입증했습니다. 결과적으로 생성된 모델은 표준 목적 함수나 대체 지표로 훈련된 베이스라인보다 더 높은 시각적 충실도와 더 강력한 위장을 가진 이미지를 생성합니다.
3. CamFG-1.5K: 가려짐 아티팩트에서 위장 합성 품질을 분리하여 엄격한 평가를 가능하게 하도록 설계된 새로운 벤치마크 데이터셋입니다.

실험 결과

• 인간 정렬: 두 가지 대안 강제 선택 (2AFC) 연구에서 SeamCam 은 인간이 인지하는 난이도 판단을 예측하는 데 78.82% 정확도를 달성하여, 무작위 확률 수준에 근접했던 CamOT(54.07%) 를 크게 능가했습니다. 이 격차는 20 가지 다양한 종 카테고리 전반에 걸쳐 일관되었습니다.
• 생성 성능: DPO 를 통해 Stable Diffusion v2 인페인팅 모델을 미세 조정할 때, SeamCam 기반 훈련은 모든 지표에서 베이스라인 (LCG-Net, TFill, RePaint, LAKE-RED) 을 능가하는 이미지를 생성했습니다:
  • 생성 품질: 최상의 KID(0.0139) 및 FID(71.25).
  • 인간 선호도: 최고 HPS-v2 점수 (0.195).
  • 위장 품질: 최고 SeamCam 점수 (0.3811).
  • 주목할 점은, CamOT 로 훈련된 DPO 는 높은 CamOT 점수를 달성했으나 KID/FID와 같은 독립 지표에서는 일반화에 실패하여 보상 해킹을 시사했다는 것입니다. 반면 SeamCam 기반 DPO 는 이를 피하여 스코어러 독립 지표에서 우수한 성능을 달성했습니다.
• 강건성: 이 지표는 다양한 탐지기/세그멘테이터 백본 (예: SAM-3, Rex-Omni, OWLv2) 에서 안정적으로 유지되며, 기본 아키텍처에 관계없이 CamOT 대비 약 24% 의 마진을 유지합니다.
• 교란색: SeamCam 은 윤곽을 깨는 고대비 패턴을 사용하는 교란색을 가진 동물을 올바르게 보상하는 반면, CamOT 와 같은 유사도 기반 지표는 내부 특징 분산으로 인해 종종 이를 패널티로 처리합니다.

중요성 및 주장

이 논문은 SeamCam이 위장을 평가하고 최적화하기 위한 원칙적이고 지각적으로 근거 있는 프레임워크를 제공한다고 주장합니다. 정적 외관 유사성에서 시각적 국소화의 난이도로 초점을 이동시킴으로써, 이 지표는 인간이 위장을 전체적 현상으로 지각하는 방식과 일치합니다.

저자들은 다음과 같이 주장합니다:

1. 지각적 정렬: SeamCam 은 인간 판단과의 강한 상관관계로 입증된 바와 같이, 여러 약한 단서의 통합을 모델링함으로써 기존 지표보다 위장의 "매끄러움"을 더 잘 포착합니다.
2. 훈련 유용성: SeamCam 은 단순한 평가자가 아닌 실행 가능한 훈련 신호입니다. 이를 DPO 에 사용하면 생성 모델이 시각적으로 사실적이고 지각적으로 기만적인 위장을 합성할 수 있게 되어, 표준 재구성 손실의 한계를 극복합니다.
3. 벤치마킹 엄밀성: CamFG-1.5K 의 도입은 가려짐을 통제하는 데이터셋을 제공함으로써 위장 생성 모델의 공평하고 편향 없는 비교를 가능하게 하여, 이 분야의 중요한 격차를 해소합니다.

이 연구는 단순한 픽셀 단위 비교를 넘어 지각적 추론 모델로 이동함으로써, 컴퓨터 비전에서 위장에 대한 더 엄격하고 생물학적으로 타당한 이해를 향한 한 걸음으로 자리매김합니다.