기술 요약: 반사실적 의미적 주시성을 통한 인간과 VLM 장면 지각 간 격차 규명

문제 제기

고수준 의미적 장면 이해에서 대규모 비전 - 언어 모델 (VLM) 이 인간 지각과 정렬되는지 평가하는 것은 여전히 중요한 과제로 남아 있습니다. 심층 신경망 (DNN) 은 종종 벤치마크 작업에서 인간과Comparable한 정확도를 달성하지만, 종종 인간과 일관되지 않은 국소 질감, 미세한 픽셀 패턴, 또는 공간적 관계에 과도하게 의존하는 등 다른 지각 전략에 의존합니다. 전통적인 '화이트박스' 해석 가능성 방법 (예: 경도 기반 또는 주의도 맵) 은 종종 폐쇄형 아키텍처에 적용 불가능하며 인과적 특성을 분리하지 못합니다. 또한, 수동적 지표는 장면 이해에서 상관관계와 인과관계를 구분하지 못합니다. 객체의 중요성을 체계적으로 정량화하고 시각적 요소가 장면 설명에 미치는 인과적 영향을 측정하기 위한 블랙박스, 모델 무관한 프레임워크에 대한 시급한 필요성이 있습니다.

방법론: 반사실적 의미적 주시성 (CSS)

저자들은 객체의 제거로 인해 유발되는 의미적 변화를 측정함으로써 장면 지각에서 객체의 중요성을 정량화하도록 설계된 블랙박스, 모델 무관한 프레임워크인 반사실적 의미적 주시성 (CSS) 을 제안합니다.

1. 반사실적 자극 생성

CSS 파이프라인은 고품질 반사실적 이미지를 생성하기 위해 세 단계를 거칩니다:

• 객체 목록 생성: 대규모 VLM(GPT-4o) 이 주어진 장면에 대한 객체 이름 목록을 생성하며, 불균형한 의미적 변화나 환각을 피하기 위해 배경 요소 (예: 하늘, 바다) 를 명시적으로 제외합니다.
• 분할 및 마스크 전처리: 최첨단 텍스트 프롬프트 기반 분할 모델인 SAM3 이 분할 마스크를 생성합니다. 마스크 품질을 보장하기 위한 4 단계 전처리 파이프라인은 다음과 같습니다: 중복 제거 (IoU > 95%), 동일한 레이블을 가진 공간적으로 인접한 마스크 병합 (거리 < 30 픽셀, 구조적 클러스터를 통합된 개체로 취급), 이미지 면적의 30% 이상을 차지하는 마스크 폐기 (맥락 붕괴 방지), 그리고 완전한 커버리지를 위한 팽창 적용.
• 이미지 인페인팅: 최첨단 생성 모델인 Nano Banana 2 를 사용하여 대상 객체를 제거하고 아티팩트가 없는 반사실적 이미지를 생성합니다. 엄격한 인간 검증 (14 명의 주석자) 을 통해 대상 객체가 성공적으로 제거되고 혼란스러운 아티팩트가 도입되지 않았는지 확인합니다.

2. 의미적 변화 측정

장면 $I$의 각 객체 $o$에 대해, CSS 점수는 원래 설명과 $o$가 제거된 반사실적 이미지 ($I_{do(o=\emptyset)}$) 에 대한 설명의 의미적 표현을 비교하여 계산됩니다.

• 설명 생성: 대상 VLM 이 사실적 조건과 반사실적 조건 모두에 대해 $N=5$개의 독립적인 설명을 생성합니다.
• 임베딩 및 유사성: 오픈소스 모델 Jasper 를 사용하여 문장 임베딩을 추출합니다. CSS 점수는 사실적 설명 집합과 반사실적 설명 집합 간의 평균 쌍별 코사인 유사도를 1 에서 뺀 값으로 정의됩니다:
  $$CSS(o) = 1 - \frac{1}{N^2} \sum_{j=1}^{N} \sum_{k=1}^{N} \frac{E(d_j) \cdot E(d'_k)}{\|E(d_j)\| \|E(d'_k)\|}$$
• 해석: 높은 CSS 점수는 더 큰 의미적 변화를 나타내며, 이는 제거된 객체가 장면 이해에 더 중요했음을 시사합니다. 이러한 점수는 분할 마스크에 매핑되어 상향식 주시성 맵을 생성합니다.

3. 인간 기준선 및 데이터셋

인간 기준선을 확립하기 위해 저자들은 OSIE 데이터셋(700 개의 복잡한 자연 장면) 을 활용했습니다. 3~6 개의 대상 객체를 포함하도록 장면을 필터링하여 307 개의 사실적 장면과 1,306 개의 반사실적 변형을 도출했습니다.

• 심리물리학 연구: Prolific 을 통해 227 명의 독립적인 참가자를 대상으로 대규모 연구가 수행되어 16,289 개의 유효한 텍스트 설명이 수집되었습니다.
• 실험 설계: 피험자 간 설계를 통해 동일한 장면의 여러 변형을 한 참가자가 보지 않도록 보장했습니다. 참가자들은 VLM 에 사용된 프롬프트를 반영하여 장면의 한 문장 설명을 제공하도록 지시받았습니다.
• 기준 진실 (Ground Truth): 모델 정렬을 평가하기 위한 '기준 진실'로 사용하기 위해 인간 응답의 고정된 부분집합에 대한 평균 쌍별 유사도를 계산하여 인간 합의가 확립되었습니다.

주요 결과

1. 만연한 지각 격차

엄격한 통계 분석은 인간 인지 및 VLM 성능 간의 체계적 편차를 드러냅니다:

• Top-1 정확도: 인간 - 인간 일관성이 가장 중요한 객체를 식별하는 데 **73%**에 달하는 반면, GPT-5, Claude, Gemini 를 포함한 오픈소스 및 폐쇄형 모델을 포함한 평가된 19 개의 VLM 은 모두 57% 에서 65% 사이로 현저히 미치지 못했습니다.
• 순위 상관관계: 인간 합의에 대한 평균 켄달의 $\tau$(객체 중요도의 순서 정렬) 는 0.58이었으며, 모델 점수는 0.37 에서 0.51 사이였습니다.
• 보편적 실패: 평가된 모든 VLM 은 가장 중요한 객체를 예측하거나 전체 객체 중요도를 순위 매기는 데 있어 인간 - 인간 일관성 수준에 도달하지 못했습니다.

2. 지각 편향의 편차

이 연구는 이러한 격차를 주도하는 특정 편향을 식별했습니다:

• 저수준 속성에 대한 과도한 의존: 모델은 인간에 비해 크기 편향(객체 면적 의존), 중앙 편향(이미지 중심 의존), 저수준 주시성 편향(대비/색상 의존) 이 현저히 강하게 나타납니다.
• 상향식 사전 지식의 미활용: 사람 (Person Bias) 을 장면 이해에서 일관되게 우선시하는 인간과 달리, 모델은 이러한 우선순위를 재현하지 못하며 이미지를 설명하는 데 인간 형상에 덜 의존합니다.
• 주요 동인: 통계 분석은 크기 편향을 의미적 편차를 설명하는 지배적 요인으로 격리합니다. 크기 편향의 편차 ($\Delta r$) 와 Top-1 정확도 격차 ($\Delta Acc$) 간의 상관관계는 0.6130 ($p < 0.05$) 으로, 다른 편향들보다 현저히 높습니다.

3. 화이트박스 방법의 한계

이 논문은 오픈소스 VLM 에서 전통적인 화이트박스 해석 가능성 방법 (Raw Attention, Grad-CAM, AGCAM) 과 CSS 를 비교합니다. 결과는 이러한 수동적 주의도 맵과 인과적 CSS 지표 간의 상관관계가 놀라울 정도로 낮음 (음의 켄달의 $\tau$) 을 보여줍니다. 화이트박스 맵은 종종 혼란스럽거나 희소하거나 의미적으로 관련 없는 영역에 초점을 맞추어 복잡한 VLM 아키텍처를 해석하는 데 불충분함을 확인시켜 주었습니다.

중요성 및 주장

이 논문은 자연 장면 지각의 맥락에서 현대 VLM 과 인간 관찰자 간의 의미 정렬 격차를 체계적으로 정량화한 최초의 시도를 제공한다고 주장합니다.

• 방법론적 기여: 화이트박스 해석 가능성 및 수동적 지표의 한계를 극복하고 폐쇄형 모델에서 인과적 특성을 분리할 수 있게 하는 새로운 블랙박스 프레임워크인 CSS 를 도입합니다.
• 경험적 기여: 307 개의 장면과 1,306 개의 반사실적 변형에 걸친 16,289 개의 인간 응답으로 구성된 포괄적인 벤치마크 데이터셋을 확립하여 향후 AI-인간 정렬 연구에 대한 견고한 기준선을 제공합니다.
• 이론적 통찰: 이 연구는 파라미터와 학습 데이터의 확장에도 불구하고 현대 VLM 이 여전히 사람과 같은 존재와 같은 상향식 의미적 사전 지식보다는 과장된 저수준 시각적 특징 (특히 크기 편향) 에 기본적으로 의존함을 보여줍니다. 이는 VLM 의 '초인간' 추론 능력이 반드시 근본적인 지각 정렬 격차를 해소하지는 않으며, 과추론이나 환각을 통해 불일치를 악화시킬 수 있음을 시사합니다.
• 안전성 함의: 저자들은 이러한 편향을 식별하는 것이 자율주행과 같은 고위험 환경에서 대형 배경 요소를 선호하여 작지만 의미적으로 중요한 객체를 무시하는 것이 치명적인 결과를 초래할 수 있으므로 AI 안전에 중요하다고 지적합니다.

이 논문은 VLM 이 분리된 작업에서는 출현적 정렬을 보이지만, 공간적 지배력 (크기 편향) 에 대한 비자연적 의존에 의해 주도되는 전체적 장면 이해에서는 만연한 격차가 남아있다고 결론지었습니다.