기술 요약: 행동 기하학적 감독이 비디오 기초 모델을 인간의 사회적 지각과 정렬시킴

1. 문제 제기

현재의 비디오 기초 모델들은 V-JEPA 2와 같은 최첨단 자기지도 학습 아키텍처조차도 동적 장면에서 인간이 사회적 정보를 어떻게 조직화하는지를 포착하지 못합니다. 이러한 모델들이 '춤추기'와 '요리하기'를 구분하는 것과 같은 행동 분류에서는 탁월한 성능을 발휘하지만, 언어 모델에 비해 인간의 사회적 유사성 판단을 체계적으로 설명하지 못합니다. 구체적으로, 캡션 기반 문장 임베딩 (예: MPNet) 은 사회적 비디오 클립에 대한 인간의 유사성 판단을 예측하는 데 있어 사전 학습된 비디오 인코더보다 일관되게 우월한 성능을 보입니다. 이는 비디오 사전 학습 목표가 인간의 사회적 지각에 내재된 관계적 및 정서적 구조를 놓치고 있음을 나타내는 '표현 격차'를 시사합니다. furthermore, 기존 정렬 방법들은 종종 고비용의 fMRI 데이터 ('뇌 튜닝') 에 의존하거나 정적 이미지에 초점을 맞추고 있어, 확장 가능한 행동 감독이 비디오 모델에 인간과 유사한 사회적 시각 구조를 유도할 수 있는지 여부는 여전히 미해결 과제로 남아 있습니다.

2. 방법론

2.1 데이터셋 구축

저자들은 동적 사회적 비디오를 위한 대규모 인간 유사성 벤치마크를 구축했습니다:

• 자극: Moments in Time 데이터셋에서 추출한 250 개의 자연스러운 3 초 분량 2 인 사회적 상호작용 클립.
• 작업: 참가자가 세 개의 비디오 중 '이상한' 하나를 식별하는 삼중항 이상치 (OOO) 패러다임으로, 이를 통해 나머지 두 개를 더 유사한 쌍으로 암시적으로 정의합니다.
• 규모: 245 명의 참가자로부터 수집된 49,484 개의 판단.
• 구조: 탐욕적 집합 덮개 알고리즘을 사용하여 모든 비디오 쌍이 적어도 하나의 삼중항에 나타나도록 보장했습니다. 데이터는 200 개의 훈련 비디오와 50 개의 테스트 비디오 (자극 불중첩) 로 분할되었습니다.
• 정답: 인간의 유사성은 쌍별 유사성 판단의 빈도에 기반한 표현 유사성 행렬 (RSM) 로 표현됩니다.

2.2 행동 기하학적 감독 (BGS)

핵심 기여는 비디오 모델의 임베딩 기하학을 인간의 유사성 판단과 정렬하도록 설계된 하이브리드 학습 목표인 행동 기하학적 감독 (BGS) 입니다.

• 아키텍처: V-JEPA 2, V-JEPA 2.1, TimeSformer, VideoMAE, CLIP 등 네 가지 이질적인 비전 트랜스포머 (ViT) 백본에 저랭크 적응 (LoRA) 을 적용하여 구현되었습니다. 이는 2% 미만의 파라미터만 업데이트합니다.
• 하이브리드 손실 함수 ($L_{hybrid}$): 국소적 및 전역적 제약을 결합합니다:
  1. 삼중항 손실 ($L_{triplet}$): 앵커와 양의 쌍 사이의 거리가 음의 (이상치) 쌍과의 거리보다 마진 $\gamma$만큼 작아지도록 국소적 제약을 강제합니다.
  2. RSA 손실 ($L_{RSA}$): 표현 유사성 분석 (RSA) 을 사용하여 모델의 쌍별 거리 행렬을 인간의 RSM 과 정렬함으로써 전역 기하학을 강제합니다. 이 항은 메모리를 관리하기 위해 에포크당 비디오의 하위 집합에 대해 6 번 적용됩니다.
• 학습 스케줄: 모델은 50 에포크 동안 미세 조정됩니다. RSA 손실의 가중치 ($\beta$) 는 0.3 에서 0.7 까지 선형적으로 증가하여 초기에는 국소적 삼중항의 정확성을 우선시하고 후기에는 전역 구조를 우선시합니다.

2.3 통제 및 기준선

개선 메커니즘을 분리하기 위해 저자들은 BGS 를 다음과 비교했습니다:

• 사전 학습 기준선: 12 개의 비디오 인코더, 2 개의 이미지 인코더, 2 개의 VLM, 그리고 비디오 캡션을 사용한 22 개의 문장 임베딩 언어 모델.
• 애블레이션: 삼중항 전용 손실, RSA 전용 손실, 그리고 예산이 일치된 삼중항 변형.
• 언어 증류 통제: 인간의 행동 판단 대신 MPNet 캡션 임베딩을 감독 목표로 사용하여 동일한 하이브리드 손실로 훈련된 모델.

2.4 평가 지표

• 주요: 모델 RSM 과 인간 RSM 간의 스피어만 상관 제곱 ($R^2$) (반분 신뢰도 천장 $R^2 = 0.213$).
• 보조:
  • 분산 분해: 설명된 분산을 고유 비디오, 고유 언어, 공유 구성 요소로 분해.
  • 선형 프로브: 명시적 감독 없이 발현된 사회적 - 정서적 속성 (가치, 각성, 지배성, 친밀감, 의사소통) 테스트.
  • OOD 일반화: 추상적 기하학적 사회적 상호작용이 포함된 PHASE 데이터셋에 대한 제로샷 전이.
  • 행동 인식: UCF101 에 대한 성능 유지.
  • 주의 분석: 초점의 변화를 관찰하기 위한 공간적 주의 롤아웃.

3. 주요 결과

3.1 성능 격차 해소

• 사전 학습 결핍: 어떤 사전 학습 비디오 모델도 최상의 문장 인코더 (MPNet, $R^2 = 0.134$) 의 성능과 일치하지 못했습니다. 가장 우수한 사전 학습 비디오 모델 (X3D-M) 은 $R^2 = 0.124$에 불과했습니다.
• BGS 성공: BGS 를 통한 미세 조정은 성능을 크게 향상시켰습니다. 가장 우수한 모델인 증류된 V-JEPA 2.1 은 $R^2 = 0.165$(노이즈 천장의 78%) 에 도달했고, V-JEPA 2(대형) 는 $R^2 = 0.172$에 도달했습니다. 둘 다 MPNet 기준선을 초과했습니다.
• 하이브리드 목표의 필요성: 하이브리드 손실은 삼중항 전용 ($R^2 = 0.158$) 및 RSA 전용 ($R^2 = 0.131$) 변형보다 우수한 성능을 보였습니다. 특히, 언어 증류 통제는 이러한 이득을 재현하지 못했습니다 ($R^2 = 0.123$), 이는 단순한 캡션 전이가 메커니즘이 아님을 배제합니다.

3.2 발현된 사회적 - 정서적 구조

• 고유 분산: 분산 분해는 미세 조정된 모델이 캡션 기반 임베딩이 포착하지 못한 인간 판단의 고유 분산을 포착했음을 밝혔습니다 ($R^2$ 고유 비디오 분산이 0.02 에서 0.04 로 두 배 증가).
• 비감독 속성: 속성 레이블로 훈련된 적이 없음에도 불구하고, BGS 정렬 모델은 가치, 각성, 지배성의 선형적으로 디코딩 가능한 표현을 개발했습니다. 언어 증류 통제는 5 개 차원 중 4 개에서 이러한 속성을 회복하지 못했습니다.

3.3 일반화 및 보존

• 제로샷 전이: BGS 정렬 모델은 추상적 사회적 상호작용이 포함된 PHASE 데이터셋에서 81% 의 정확도를 달성하여 인간 합의 수준과 일치했고, 사전 학습 기준선 (55%) 보다 현저히 우수했습니다. 이는 분포 외 (OOD) 자극에 대한 일반화를 보여줍니다.
• 행동 인식: 미세 조정은 UCF101 에 대한 행동 인식 성능을 유지했으며 (V-JEPA 2.1 의 경우 약간 향상), 사전 학습 능력의 파괴적 망각이 없음을 나타냈습니다.

3.4 메커니즘적 변화

• 주의 재구성: 주의 롤아웃 분석은 공간적 초점의 체계적인 변화를 보여주었습니다. 사전 학습 모델은 단일 초점 영역 (예: 몸통) 에 집중하는 반면, 미세 조정된 모델은 얼굴, 시선 방향, 상호작용하는 손, 그리고 두 에이전트 모두와 같은 사회적 정보 영역으로 주의를 재분배했습니다. 이 변화는 훈련 중 어떤 공간적 감독 없이 발생했습니다.

4. 중요성 및 주장

이 논문은 비디오 모델에서의 사회적 지각이 경량 행동 감독을 통해 접근 가능해지는 잠재적 속성이라고 주장합니다. 주요 기여는 다음과 같습니다:

1. 표현 격차의 증명: 현재 비디오 사전 학습은 언어 모델이 특정 행동 정렬이 적용될 때까지 더 잘 포착하는 사회적 - 시각적 구조를 놓치고 있습니다.
2. BGS 를 통한 확장 가능한 정렬: 행동 기하학적 감독은 컴팩트한 신호 (LoRA, 2% 미만의 파라미터) 와 행동 데이터를 사용하여 fMRI 기반 '뇌 튜닝'의 인프라 비용 없이 다양한 비디오 백본에 인간과 유사한 사회적 유사성 구조를 성공적으로 유도합니다.
3. 언어 증류를 넘어선 것: 이 이득은 단순히 캡션에서 학습한 결과만이 아닙니다. BGS 는 언어 임베딩이 놓치는 고유한 시각 - 사회적 구조 (예: 시선, 상호작용 역학) 를 포착하며, 명시적 레이블링 없이 해석 가능한 사회적 - 정서적 차원을 회복합니다.
4. 견고성: 이 방법은 추상적이고 분포 외의 사회적 상호작용으로 일반화되며 표준 행동 인식 능력을 유지합니다.

저자들은 관계적 행동 데이터가 임베딩의 기하학적 구조를 인간의 유사성 판단과 일치하도록 형성함으로써 비디오 모델을 인간과 유사한 사회적 시각 이해로 이끄는 고유한 형태의 정렬을 제공한다고 결론지었습니다.