MSGL-Transformer: A Multi-Scale Global-Local Transformer for Rodent Social Behavior Recognition

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 설치류 (쥐, 생쥐) 의 사회적 행동 분석은 신경과학 및 약리학 연구에서 중요한 역할을 합니다. 하지만 기존의 수동 점수화 (Manual Scoring) 는 시간이 많이 소요되고 인간의 오류에 취약하며, 특히 빠른 상호작용이나 중첩된 동작을 식별하기 어렵습니다.
• 기존 방법의 한계:
  • 딥러닝 접근법: CNN 이나 RNN(LSTM 등) 기반 방법들은 공간적/시간적 패턴을 학습하지만, **짧은 미세한 동작 (예: 코 접촉)**과 **긴 행동 패턴 (예: 따르기, 혼자 있기)**을 동시에 포착하는 데 어려움을 겪습니다.
  • Transformer 의 한계: 기존 Transformer 기반 모델들은 전역적 (Global) 인 문맥에 집중하는 경향이 있어, 몇 프레임만 지속되는 중요한 국소적 (Local) 인 운동 신호를 놓칠 수 있습니다.
  • 데이터 불균형: 설치류 행동 데이터는 '혼자 있기 (Solitary)'나 '기타 (Other)'와 같은 장시간 지속되는 행동이 대부분을 차지하고, '공격 (Attack)'이나 '목덜미 공격 (Nape Attacking)'과 같은 중요한 희귀 행동은 매우 적어 모델 학습에 편향이 발생합니다.
• 핵심 문제: 단일 시간 규모 (Temporal Scale) 의 모델로는 설치류 행동의 다중 시간 규모 특성 (짧은 순간의 미세 운동 vs 긴 상호작용) 을 동시에 정확하게 인식하기 어렵습니다.

2. 제안 방법론: MSGL-Transformer (Methodology)

저자들은 **MSGL-Transformer (Multi-Scale Global-Local Transformer)**를 제안했습니다. 이는 포즈 기반 (Pose-based) 시퀀스 데이터를 입력받아 사회적 행동을 분류하는 경량 Transformer 아키텍처입니다.

주요 구성 요소

1. 다중 규모 글로벌 - 로컬 어텐션 (Multi-Scale Global-Local Attention):

   • 기존 Transformer 가 전역 문맥만 강조하는 것과 달리, **세 개의 병렬 어텐션 분기 (Branch)**를 도입하여 다양한 시간 범위의 의존성을 동시에 학습합니다.
   • 단거리 (Short-range): 처음 $\lfloor T/2 \rfloor$ 프레임에 대해 인과적 (Causal) 마스킹을 적용하여 빠른 운동 신호를 포착합니다.
   • 중거리 (Medium-range): 전체 $T$ 프레임에 대해 동일한 인과적 마스킹을 적용하여 중간 길이의 패턴을 학습합니다.
   • 전역 (Global): 전체 토큰 (Global Token 포함) 에 대해 양방향 (Bidirectional) 어텐션을 적용하여 장기적인 상호작용 문맥을 포착합니다.
   • 결합: 단거리와 중거리의 출력은 평균화되어 '로컬 어텐션 표현'을 생성하며, 이는 전역 표현과 잔차 연결 (Residual Addition) 및 레이어 정규화를 통해 결합됩니다.

2. 행동 인지 변조 블록 (Behavior-Aware Modulation, BAM):

   • SE-Net(Squeeze-and-Excitation) 의 채널 재가중치 메커니즘에서 영감을 받았습니다.
   • 전체 포즈 시퀀스로부터 학습된 변조 벡터 (Modulation Vector) 를 생성하여, **시간 임베딩 (Temporal Embeddings)**을 동적으로 재가중치합니다.
   • 이를 통해 행동 분석에 더 유용한 운동 패턴을 강조하고, 덜 중요한 특징은 억제합니다.

3. 입력 표현 및 아키텍처:

   • 사전 정의된 공간 그래프 (Spatial Graph) 나 고정된 시간 창에 의존하지 않고, 포즈 좌표 시퀀스를 직접 입력으로 사용합니다.
   • 학습 가능한 글로벌 토큰 (Global Token, [CLS] 와 유사) 을 시퀀스 앞에 추가하여 전체 시퀀스의 요약 정보를 제공합니다.
   • 경량 Transformer 인코더 (2 레이어) 를 사용하여 계산 효율성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. MSGL-Transformer 제안: 설치류 사회적 행동을 인식하기 위해 다중 규모 어텐션과 BAM 블록을 통합한 새로운 Transformer 아키텍처를 제안했습니다.
2. BAM 블록 도입: 채널 특징이 아닌 시간 임베딩을 변조하여 행동 관련 역동성을 강조하는 새로운 메커니즘을 소개했습니다.
3. 범용성 입증: 구조적 수정 없이 입력 차원과 클래스 수만 조정하여 서로 다른 종 (쥐 vs 생쥐), 다른 포즈 구성 (12 차원 vs 28 차원), 다른 행동 어휘를 가진 두 개의 공개 데이터셋 (RatSI, CalMS21) 에서 모두 우수한 성능을 보였습니다.
4. 성능 개선: 기존 시퀀스 기반 모델 (TCN, LSTM, Bi-LSTM) 및 최신 키포인트 기반 방법 (ST-GCN, HSTWFormer 등) 을 능가하는 결과를 달성했습니다.

4. 실험 결과 (Results)

데이터셋

• RatSI: 쥐의 사회적 상호작용 (5 개 행동 클래스, 12 차원 포즈, 약 20 만 프레임). 9 개 관찰 비디오에 대한 교차 검증 수행.
• CalMS21: 생쥐의 사회적 상호작용 (4 개 행동 클래스, 28 차원 포즈, 약 77 만 프레임). 공식 테스트 세트 사용.

성능 지표

• RatSI (쥐):
  • 평균 정확도: 75.4%, F1-Score: 0.745.
  • Baseline 모델 (TCN, LSTM, Bi-LSTM) 대비 우수한 성능을 보였습니다.
  • 희귀 클래스인 'Moving Away'는 불균형으로 인해 성능이 낮았으나, 전체적인 안정성은 입증되었습니다.
• CalMS21 (생쥐):
  • 정확도: 87.1%, F1-Score: 0.8745.
  • 기존 최강 모델인 HSTWFormer보다 평균 클래스 정확도에서 +10.7%p 향상.
  • ST-GCN, MS-G3D, CTR-GCN, STGAT 등 다른 스키레톤 기반 방법들보다도 우월한 성능을 기록했습니다.
  • 특히 희귀 행동인 'Attack'의 F1-Score(0.5829) 에서도 다른 모델 대비 가장 좋은 성능을 보였습니다.

분석

• 경계 오류 분석: 행동 전환점 (Transition point) 근처에서의 분류 정확도가 급격히 떨어지는 현상을 확인했으나, 안정적인 구간에서는 높은 정확도를 유지했습니다.
• Ablation Study: BAM 블록과 다중 규모 어텐션 (MSA) 을 모두 제거했을 때 성능이 저하되어, 두 구성 요소가 모두 모델 성능에 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

• 다중 시간 규모 모델링의 중요성: 설치류 행동 인식에는 짧은 순간의 미세한 운동과 긴 상호작용 패턴을 동시에 포착하는 것이 필수적이며, 제안된 MSGL-Transformer 는 이를 효과적으로 해결했습니다.
• 강력한 일반화 능력: 하나의 아키텍처로 서로 다른 종, 다른 포즈 설정, 다른 행동 분류 체계를 가진 데이터셋 모두에서 재설계 없이 높은 성능을 발휘했습니다. 이는 모델의 확장성과 실용성을 보여줍니다.
• 한계 및 향후 과제: 데이터 불균형 (희귀 행동 클래스) 이 여전히 주요 과제로 남아있습니다. 향후 클래스 인지 손실 함수 (Class-aware loss) 와 데이터 증강 기법을 도입하여 희귀 행동 인식 성능을 개선할 계획입니다.

이 연구는 설치류 행동 분석 분야에서 기존 딥러닝 모델의 한계를 극복하고, Transformer 기반의 효율적이고 정확한 자동화 시스템을 제시했다는 점에서 의의가 큽니다.