Context Sensitivity Improves Human-Machine Visual Alignment

1. 연구 배경 및 문제 정의 (Problem)

• 기존 접근법의 한계: 현대의 머신러닝 모델 (특히 딥러닝 기반 시각 모델) 은 입력을 고정된 고차원 임베딩 공간의 점으로 표현합니다. 이 방식은 ImageNet 과 같은 벤치마크에서 인간을 능가하는 성능을 보여주지만, 인간의 정보 처리 방식과는 근본적으로 다릅니다.
• 인간의 인지 특성: 인간의 지각과 표현은 본질적으로 **적응적 (adaptive)**이며 **맥락 의존적 (context-sensitive)**입니다. 인간은 환경의 변화, 동시적인 맥락 (simultaneous context), 목표, 최근 경험 등에 따라 객체와 그 관계를 동적으로 재해석합니다.
• 정렬 (Alignment) 의 부재: 현재 시각 모델들은 이러한 맥락적 적응 능력이 부족합니다. 모델이 점점 더 인간의 데이터 수집을 대신하는 '자동 평가자 (autorater)'로 사용됨에 따라, 모델의 표현이 인간의 맥락 의존적 판단과 정렬되지 않는다는 문제가 대두되었습니다.
• 핵심 문제: 고정된 임베딩을 사용하는 기존 모델은 맥락이 변할 때 객체 간의 유사성 판단이 변하는 인간의 능력을 제대로 반영하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 인간 행동을 모델링하기 위해 **맥락 민감성 (Context Sensitivity)**을 도입한 새로운 유사도 계산 방법을 제안합니다.

• 데이터셋: Roads & Love (2021) 의 대규모 인간 유사도 판단 데이터셋 (ImageNet-HSJ) 을 기반으로 합니다. 원래 8-choose-2 작업 (쿼리 이미지와 가장 유사한 2 개 선택) 을 재구성하여, 쿼리 이미지를 '맥락 (Context)'으로 사용하는 '삼중항 중 하나 제외 (Triplet Odd-one-out)' 작업으로 변환했습니다.
  • 작업: 맥락 이미지 $c$와 세 개의 이미지 $\{p, q, r\}$가 주어졌을 때, 맥락에 비추어 가장 다른 하나 (Odd-one-out) 를 선택합니다.
• 모델 아키텍처 (그림 2 참조):
  1. Feature Extraction: 맥락 이미지와 삼중항 이미지는 각각 기초 모델 (Foundation Model, FM; ViT, SigLIP, DINOv2 등) 을 통해 임베딩을 추출합니다.
  2. Context-Insensitive Transform (CIT): 인간 유사도 정렬을 위해 임베딩에 아핀 변환 (Affine transform) 과 정규화를 적용합니다.
  3. Context-Sensitive Similarity (CSS): 핵심 기여 부분입니다.
     • 맥락 이미지 임베딩을 입력받아 저랭크 행렬 $B_c$를 생성하는 신경망을 사용합니다.
     • 이를 통해 맥락 의존적인 대칭 양의 반정부호 행렬 $A_c = B_c^T B_c$를 구성합니다.
     • 두 이미지 임베딩 $\tilde{x}_i, \tilde{x}_j$ 간의 유사도는 $s_{i,j|c} = \tilde{x}_i^T A_c \tilde{x}_j$로 계산됩니다. 이는 맥락에 따라 임베딩 공간의 기하학적 구조를 동적으로 변형 (재가중) 시킵니다.
  4. Decision: 삼중항 내 두 이미지 쌍 중 가장 유사도가 높은 쌍을 제외하고, 나머지 이미지를 'Odd-one-out'으로 선택합니다.
• 손실 함수 및 정규화:
  • 인간의 선택을 예측하기 위해 최대 가능도 추정 (MLE) 을 사용합니다.
  • 사전 학습된 표현 구조를 보존하기 위해 $W$와 $A_c$가 단위 행렬 $I$에 가깝도록 유지하는 정규화 항 ($\lambda_1, \lambda_2$) 을 포함합니다.

3. 주요 기여 (Key Contributions)

1. 인지 과학에서 영감을 받은 모델링: Tversky 의 유사성 이론 등 인지 과학 이론을 차용하여, 신경망 임베딩에 맥락에 따른 선택적 특징 재가중 (selective feature re-weighting) 메커니즘을 도입했습니다.
2. 동적 임베딩 공간 변형: 고정된 임베딩이 아닌, 맥락 이미지에 따라 유사도 계산 커널이 동적으로 변하는 모델을 설계했습니다. 이는 인간이 맥락에 따라 객체의 중요도 (salience) 를 바꾼다는 사실을 반영합니다.
3. 범용성 검증: 다양한 기초 모델 (Supervised ViT, Contrastive SigLIP, Self-supervised DINOv2) 과 인간 정렬 (Human-aligned) 버전 모두에서 제안된 방법이 유효함을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 결과 (Quantitative):

  • 성능 향상: 맥락 민감성 모델은 맥락 무감각 모델 (Context-insensitive) 및 기초 모델 (FM) 베이스라인 대비 최대 15% 이상의 Odd-one-out 정확도 향상을 보였습니다.
  • 일관성: DINOv2, SigLIP, ViT 등 모든 기초 모델과 원본/인간 정렬 버전 모두에서 일관된 성능 향상이 관찰되었습니다.
  • 통계적 유의성: 부트스트랩 분석을 통해 모든 개선이 통계적으로 유의미함 (95% 신뢰구간이 0 을 포함하지 않음) 을 확인했습니다.
  • 예시: DINOv2 (Original) 의 경우, 베이스라인 (0.536) 대비 맥락 민감성 모델 (0.657) 로 정확도가 약 22.4% 상승했습니다.

• 정성적 결과 (Qualitative):

  • 시각화 (RSM 및 PCA):
    • 사례: 맥락이 '사슴 (deer)'일 때, '카누', '말 - 마차', '개' 중 하나를 제외하는 작업.
    • 결과: 맥락 무감각 모델은 '개'를 제외했으나, 인간과 맥락 민감성 모델은 '카누'를 제외했습니다.
    • 이유: 맥락 민감성 모델은 '동물' 관련 특징의 가중치를 높이고 '차량' 관련 특징의 가중치를 낮추어, '말 - 마차' 이미지를 '동물' 군집 쪽으로 이동시켰습니다. 이는 PCA 와 표현 유사도 행렬 (RSM) 에서 명확하게 확인되었습니다.

5. 의의 및 결론 (Significance)

• 인간 - 기계 정렬의 새로운 패러다임: 고정된 표현 공간에 의존하는 기존 접근법을 넘어, 동적이고 맥락 의존적인 표현이 인간 행동 모델링에 필수적임을 입증했습니다.
• 인지적 개입의 효과: 머신러닝 시스템에 인지 과학적 통찰 (맥락 민감성) 을 적용함으로써, 모델이 인간의 판단을 더 잘 예측하고 설명할 수 있음을 보였습니다.
• 미래 전망: 이 연구는 시각 - 언어 모델 (VLM) 로의 확장, 순차적 의존성 (sequential dependencies) 및 내적 목표 (internal goals) 반영 등 더 복잡한 인간 인지 요소를 모델링하는 데 중요한 기반을 제공합니다.

요약하자면, 이 논문은 **"인간의 시각적 판단은 맥락에 따라 유연하게 변한다"**는 사실을 머신러닝 모델에 적용하여, 고정된 임베딩을 사용하는 기존 모델의 한계를 극복하고 인간과의 정렬을 획기적으로 개선한 선구적인 연구입니다.