SocialFusion: Addressing Social Degradation in Pre-trained Vision-Language Models

기술 요약: SocialFusion: 사전 학습된 시각-언어 모델의 사회적 퇴화 문제 해결

문제 정의
대규모 사전 학습된 시각-언어 모델(VLMs)은 놀라운 일반적 능력을 보여주지만, 여러 시각적 사회적 상호작용 이해 과업을 동시에 통합하는 데는 실패합니다. 기존의 VLM들은 과업 간의 시너지를 활용하는 대신, 다양한 사회적 과업을 공동 학습할 때 단일 과업 학습보다 성능이 저하되는 "부정적 전이(negative transfer)" 현상을 보입니다. 저자들은 이러한 실패가 그들이 **"사회적 퇴화(social degradation)"**라고 명명한 현상에서 기인한다고 가설을 세웠습니다. 이들은 표준적인 VLM의 시각-언어 사전 학습 과정이 미세한 사회적 정보를 표현하는 시각 인코더의 능력을 손상시켜, 인코딩된 특징들을 사회적 지각 과업에 대해 덜 해독 가능하고 덜 호환되게 만든다고 주장합니다.

방법론
본 논문은 표준 VLM의 퇴화된 표현에 의존하는 대신, 동결된 시각 인코더와 언어 모델 사이의 최소한의 연결을 학습함으로써 사회적 퇴화를 우회하도록 설계된 통합 프레임워크인 SocialFusion을 제안합니다.

• 아키텍처:
  • 시각 인코더 (Visual Encoder): SocialFusion은 일반적인 VLM 사전 학습 파이프라인을 거치지 않은 사전 학습된 파운데이션 모델(주요 실험에서는 CLIP 사용)을 활용합니다. 원래의 시각적 표현 품질을 보존하기 위해 시각 인코더의 가중치는 동결됩니다.
  • 커넥터 (Connector): 가벼운 3개 층의 MLP가 시각적 특징 맵을 대형 언어 모델(LLM)의 임베딩 공간으로 투영합니다.
  • 언어 모델 (Language Model): LLM(Llama 3.2 1B)은 동결되며, 과업별 학습을 허용하기 위해 선형 레이어에 저차원 적응(LoRA) 어댑터만을 적용합니다.
  • 입력 및 출력: 모델은 이미지와 선택적 바운딩 박스(학습된 위치 임베딩으로 변환됨)를 입력받습니다. 분류 과업(제스처, 표정, 관계, 시선 방향)의 경우 텍스트 토큰을 출력합니다. 시선 대상 추정의 경우, 최종 시각적 특징을 선형 투영 및 전치 컨볼루션(transposed convolution)을 통해 2D 히트맵으로 투영합니다.
• 학습 목표: 모델은 결합된 손실 함수를 사용하여 다섯 가지 서로 다른 사회적 과업에 대해 공동 학습됩니다. 여기서 손실 함수는 텍스트 기반 과업을 위한 교차 엔트로피 손실과 히트맵 예측을 위한 픽셀 단위 이진 교차 엔트로피를 포함합니다.
• 사회적 퇴화 조사: 가설을 검증하기 위해 저자들은 VLM 사전 학습 전과 후의 시각 인코더를 비교하는 통제된 실험을 수행했습니다. 이들은 두 가지 메커니즘을 분석했습니다:
  1. 해독 가능성 (Decodability): 선형 표현 프로빙(linear representation probing)을 사용하여 사전 학습 후 사회적 특징이 얼마나 잘 선형적으로 분리될 수 있는지 측정합니다.
  2. 호환성 (Compatibility): 그래디언트 충돌 분석(Gradient Conflict Degree)을 사용하여 공동 학습 중 과업 그래디언트 간의 정렬 정도를 측정합니다.

주요 기여

1. 사회적 퇴화 식별: 본 논문은 VLM 사전 학습이 사회적 상호작용 과업을 위한 시각 인코더의 표현을 구체적으로 퇴화시킨다는 점을 식별하고 실증적으로 입증했습니다. 통제된 실험 결과, 인코더는 시각-언어 사전 학습을 거친 후가 거치기 전보다 사회적 과업에서 더 낮은 성능을 보였습니다.
2. 메커니즘 분석: 선형 프로빙과 그래디언트 충돌 분석을 통해, 저자들은 사회적 퇴화의 주요 원인이 시각적 특징의 선형 해독 가능성 감소이며, 그래디언트 충돌은 부차적이고 덜 중요한 역할을 한다는 것을 밝혀냈습니다.
3. SocialFusion 프레임워크: 시각 인코더를 동결하고 LLM에 대한 경량 연결을 학습하는 최소한의 융합 아키텍처를 제안합니다. 이 접근 방식은 표준 VLM에서 발생하는 퇴화를 방지합니다.
4. 통합된 긍정적 전이: SocialFusion은 테스트된 다섯 가지 모든 시각적 사회적 상업 과업(제스처 분석, 시선/주의, 얼굴 표정, 대화 역학, 사회적 상황 분석)에서 공동 학습 시 긍정적 전이를 달러한 최초의 모델입니다.

결과

• 베이스라인 비교: 인기 있는 오픈 소스 VLM(Qwen2-VL, Sail-VL 1.5, MolmoE)을 LoRA 미세 조정으로 테스트했을 때, 이 모델들은 공동 학습 시 극심한 부정적 전이를 보였으며, 종종 단일 과업 학습보다 성능이 떨어졌습니다.
• SocialFusion 성능:
  • SocialFusion은 공동 학습 시 테스트된 10개 지표(과업당 2개) 모두에서 긍정적 전이를 달려했습니다.
  • HaGRIDv2 제스처 인식 벤치마크(99.8 mAP)와 PISC 사회적 상황 분석 벤치마크(도메인 94.2 mAP, 관계 88.5 mAP)에서 새로운 **SOTA(최고 수준 성능)**를 기록했습니다.
  • GazeFollow, LAM (Looking at Me), AffectNet에서는 경쟁력 있는 성능을 유지했으나, 전문화된 모델(DINOv2 기반 접근법 등)이 우위를 점하고 있는 AffectNet이나 GazeFollow의 SOTA를 넘어서지는 못했습니다.
• 시너지 분석: 쌍별(Pairwise) 학습 실험에 따르면 일부 과업 쌍은 시너지를 보였으나, 전체 긍정적 전이 효과는 다양한 과업을 동시에 학습할 때 가장 두드러졌습니다. 이는 모델이 일반화 가능한 "원자적 사회 역량(atomic social competencies)"을 학습함을 시사합니다.

의의 및 주장
본 논문은 현재의 VLM 사전 학습 전략이 일반적인 멀티모달 이해에는 효과적일지라도, 일반적인 사회적 역량을 습득하는 데는 해로울 수 있음을 주장합니다. 연구 결과는 대규모 사전 학습 중에 학습된 시각적 표현이 사회적 지각에 필요한 특정 시각적 단서들을 보존하지 못한다는 점을 시사합니다.

SocialFusion의 의의는 더 크거나 복잡한 모델을 구축하는 것이 아니라, 표준 사전 학습 파이프라인에 의한 표현 퇴화를 피함으로써 복잡하고 다면적인 사회적 영역에서의 긍정적 전이가 가능하다는 것을 보여준 데 있습니다. 저자들은 이것이 미래의 VLM 개발에서 사회적 인지 능력을 갖춘 학습 패러다임에 대한 중요한 필요성을 강조하며, 사회적 상호작용과 같은 특화된 영역은 미세한 시각적 단서를 보존하기 위해 별도의 사전 학습 또는 미세 조정 전략이 필요할 수 있음을 시사한다고 주장합니다. 이 연구는 실제 환경의 인간 상호작용에 대해 추론할 수 있는, 사회적으로 유능한 통합 AI 시스템을 구축하기 위한 토대가 됩니다.