Animal behavioral analysis and neural encoding with transformer-based self-supervised pretraining

이 논문은 레이블이 없는 비디오 데이터를 활용하여 다양한 신경 - 행동 분석 과제의 성능을 향상시키는 새로운 자기지도 학습 기반의 BEAST 프레임워크를 제안합니다.

핵심

🧠 뇌와 행동을 연결하는 새로운 열쇠: BEAST

이 논문은 **"동물의 행동을 영상으로 분석할 때, 왜 우리는 여전히 많은 사람의 손이 필요한 라벨링 (표시 작업) 에 의존해야 하는가?"**라는 질문에 답하기 위해 개발된 새로운 인공지능 기술, BEAST에 대한 이야기입니다.

기존의 방식은 마치 어려운 수학 문제를 풀기 위해 해설서를 먼저 외워야 하는 것과 비슷했습니다. 하지만 BEAST는 **"스스로 공부해서 문제를 푸는 법을 터득한 천재 학생"**을 만든 것입니다.

---

🎬 1. 문제: 왜 이렇게 힘들까요?

과학자들은 동물의 뇌가 어떻게 작동하는지 이해하기 위해, 동물의 행동 (예: 쥐가 어떻게 움직이는지) 을 카메라로 찍고 그 영상을 분석합니다.
하지만 기존 기술들은 두 가지 큰 문제가 있었습니다.

1. 라벨링의 고통: 컴퓨터가 "이건 코를 만지는 행동이야", "저건 발을 긁는 행동이야"라고 배우게 하려면, 사람이 일일이 수천 장의 영상에서 동물의 코, 발, 귀를 손으로 표시해줘야 합니다. 이는 마치 수천 권의 책을 일일이 손으로 페이지 번호를 적는 작업처럼 지루하고 비쌉니다.
2. 데이터의 낭비: 실험실에는 라벨이 붙지 않은 '무한한' 동영상이 쌓여 있는데, 기존 AI 는 이걸 제대로 활용하지 못했습니다.

🚀 2. 해결책: BEAST (BEhavioral Analysis via Self-supervised pretraining of Transformers)

저자들은 BEAST라는 새로운 AI 모델을 개발했습니다. 이 모델은 **스스로 학습 (Self-supervised learning)**을 통해 라벨이 없는 영상만 보고도 동물의 행동을 이해하는 법을 배웁니다.

🧩 BEAST의 두 가지 핵심 비법 (마법 같은 학습법)

BEAST는 두 가지 놀라운 방법으로 영상을 공부합니다.

1. 마스크 게임 (Masked Autoencoding):

   • 비유: 마치 눈가리개를 하고 퍼즐을 맞추는 게임입니다.
   • 원리: AI 는 동물의 영상에서 일부 부분 (예: 동물의 얼굴이나 발) 을 가리고, 나머지 부분만 보고 "가려진 부분은 무엇일까?"를 맞춰보게 합니다.
   • 효과: 이 과정을 통해 AI 는 동물의 모양, 털, 피부 질감 같은 세부적인 특징을 아주 잘 기억하게 됩니다.

2. 시간 여행 게임 (Temporal Contrastive Learning):

   • 비유: 동영상을 보고 "이건 1 초 전의 모습이고, 저건 1 초 후의 모습"을 구분하는 게임입니다.
   • 원리: AI 는 "지금 이 순간의 행동"과 "그다음 순간의 행동"이 어떻게 연결되는지, 그리고 "다른 동물의 행동"과는 어떻게 다른지를 구분하도록 훈련됩니다.
   • 효과: 이를 통해 AI 는 동물의 움직임의 흐름과 리듬을 이해하게 됩니다.

이 두 가지 게임을 반복하며 BEAST는 라벨 없이도 동물의 행동을 완벽하게 이해하는 **'두뇌 (Backbone)'**를 갖게 됩니다.

---

🏆 3. BEAST가 해낸 놀라운 일들

이제 BEAST는 라벨이 거의 없는 상태에서도 세 가지 중요한 일을 훌륭하게 해냅니다.

① 🧠 뇌의 신호 읽기 (Neural Encoding)

• 상황: 동물의 뇌에서 전기 신호가 나옵니다. "이 신호가 나왔을 때 쥐는 무엇을 하고 있었을까?"를 예측해야 합니다.
• BEAST의 활약: 기존에는 동물의 발이나 코 위치를 정확히 표시한 데이터가 있어야만 뇌 신호를 예측할 수 있었습니다. 하지만 BEAST는 동영상을 직접 보고 뇌 신호와 가장 잘 맞는 행동을 찾아냅니다. 마치 **동영상을 보며 "아, 지금 쥐가 발을 긁고 있네, 그래서 뇌에서 이런 신호가 나오는구나!"**라고 추론하는 것과 같습니다.
• 결과: 기존 방법보다 훨씬 정확하게 뇌와 행동의 관계를 찾아냈습니다.

② 🐭 몸짓 추적 (Pose Estimation)

• 상황: 동물의 관절이나 신체 부위가 어디에 있는지 추적합니다.
• BEAST의 활약: 기존에는 수천 장의 영상을 일일이 표시해야 했지만, BEAST는 수십 장만 표시해도 나머지 수천 장을 거의 완벽하게 추적합니다.
• 비유: 한 번의 지도 (라벨) 를 보고 나면, 나머지 길 전체를 스스로 찾아내는 나침반이 된 것입니다.

③ 🎭 행동 분류 (Action Segmentation)

• 상황: 동물이 "그루밍 (털 다듬기)", "공격", "휴식" 등 어떤 행동을 하고 있는지 프레임 단위로 분류합니다.
• BEAST의 활약: 라벨이 거의 없는 상태에서도 동물의 행동을 정확하게 분류합니다. 특히 여러 동물이 섞여 있어도 (예: 쥐 두 마리가 싸우는 상황) 서로를 구분하며 행동을 분석합니다.

---

💡 4. 왜 이것이 중요한가요? (결론)

이 연구는 **"라벨링이라는 고된 노동 없이도, AI 가 스스로 동물의 행동을 이해할 수 있다"**는 것을 증명했습니다.

• 시간과 비용 절감: 연구자들은 이제 수개월씩 걸리던 라벨링 작업을 몇 시간으로 줄일 수 있습니다.
• 과학의 민주화: 고가의 장비나 많은 인력이 없어도, 작은 실험실에서도 정교한 뇌 - 행동 연구를 할 수 있게 됩니다.
• 새로운 발견: 사람이 눈으로 찾기 힘든 미세한 행동 변화까지 AI 가 포착해내어, 뇌가 어떻게 작동하는지에 대한 새로운 통찰을 줄 것입니다.

한 줄 요약:

BEAST는 "눈가리개 퍼즐"과 "시간 여행 게임"을 통해 스스로 동물의 행동을 배운 천재 AI 로, 이제 우리는 더 이상 동물의 몸짓을 일일이 손으로 표시하지 않아도 뇌와 행동의 비밀을 풀 수 있게 되었습니다.

기술 요약

BEAST: Transformer 기반 자기지도 학습을 통한 동물 행동 분석 및 신경 인코딩

이 논문은 신경과학 연구에서 필수적이지만 기술적 난제가 많은 '행동과 뇌의 관계'를 이해하기 위한 새로운 프레임워크인 BEAST (BEhavioral Analysis via Self-supervised pretraining of Transformers) 를 제안합니다. 기존 방법론의 한계를 극복하고, 라벨이 없는 대량의 동물 행동 비디오 데이터를 활용하여 다양한 신경 - 행동 분석 작업의 성능을 획기적으로 향상시키는 자기지도 학습 (Self-Supervised Learning, SSL) 기반의 확장 가능한 프레임워크를 소개합니다.

1. 문제 정의 (Problem)

현대 신경과학은 뇌가 생성하는 행동을 통해 뇌를 이해해야 한다는 원칙을 따르고 있습니다. 그러나 카메라를 이용한 행동 분석에는 다음과 같은 심각한 기술적 장벽이 존재합니다.

• 라벨 데이터의 부족: 기존의 비디오 분석 모델들은 대부분 특정 작업에 맞춰 설계된 모델을 사용하며, 이를 훈련시키기 위해 방대한 양의 수동 라벨링 (예: 관절점, 행동 클래스) 이 필요합니다.
• 데이터 활용의 비효율성: 실험을 통해 생성되는 방대한 양의 '라벨 없는 비디오 데이터'가 대부분 활용되지 못하고 있습니다.
• 범용 모델의 한계: 일반적인 컴퓨터 비전 기반의 대규모 모델 (예: DINOv2, VideoMAE 등) 은 동물 행동이라는 특수한 도메인 (정적인 배경, 반복되는 행동, 다양한 종) 에 최적화되지 않아 성능이 제한적입니다.

2. 방법론 (Methodology)

BEAST 는 실험실별로 특정 실험 환경에 맞춰 커스터마이징된 Vision Transformer (ViT) 백본을 사전 학습 (Pretraining) 하는 프레임워크입니다. 핵심 기술은 다음과 같습니다.

2.1 하이브리드 자기지도 학습 목표

BEAST 는 두 가지 자기지도 학습 손실 함수를 결합하여 단일 백본이 다양한 하위 작업에 최적의 특징을 추출하도록 합니다.

1. 마스킹 오토인코딩 (Masked Autoencoding, MAE): 개별 프레임의 세밀한 외관 (Appearance) 정보를 학습합니다. 비디오의 패치 (Patch) 중 75% 를 마스킹하고, ViT 가 이를 복원하도록 훈련합니다. 이는 저수준의 픽셀 수준의 특징을 포착하는 데 탁월합니다.
2. 시간적 대비 학습 (Temporal Contrastive Learning): 프레임 간의 시간적 역동성 (Behavioral Dynamics) 을 학습합니다.
   • 새로운 프레임 샘플링 전략: 기존 방법 (VIC-MAE 등) 은 같은 비디오 내의 임의의 두 프레임을 양의 쌍 (Positive Pair) 으로 사용하지만, BEAST 는 앵커 프레임 (Anchor) 의 바로 전후 (±1 프레임) 만을 양의 쌍으로 정의합니다.
   • 이유: 동물 행동 실험은 장시간 기록되며 행동이 반복되므로, 시간적으로 가까운 프레임이 시각적으로나 행동적으로 더 밀접한 관련이 있습니다. 이 전략은 정적인 배경과 동적인 동물 움직임을 효과적으로 분리하여 학습하게 합니다.

2.2 아키텍처 및 학습 과정

• 모델: Vision Transformer (ViT-B/16) 를 기반으로 합니다.
• 학습: ImageNet 사전 학습 가중치로 초기화한 후, 실험실의 라벨 없는 비디오 데이터로 MAE 와 대비 학습을 동시에 수행합니다.
• 하위 작업 적응: 사전 학습된 백본은 신경 인코딩 (Neural Encoding), 포즈 추정 (Pose Estimation), 행동 분할 (Action Segmentation) 등 세 가지 주요 작업에 대해 미세 조정 (Fine-tuning) 됩니다.

3. 주요 기여 (Key Contributions)

1. 실험실 맞춤형 자기지도 학습 프레임워크: 각 실험실의 고유한 실험 환경 (카메라 각도, 조명, 동물 종) 에 맞춰 라벨 없이 사전 학습된 강력한 백본을 제공합니다.
2. 다양한 도메인에서의 성능 입증: 신경 인코딩, 포즈 추정, 행동 분할이라는 세 가지 근본적으로 다른 작업에서 기존 최첨단 모델 (DINOv2, DeepLabCut, SimBA 등) 을 능가하거나 경쟁력 있는 성능을 입증했습니다.
3. 라벨링 비용의 획기적 감소: 포즈 추정이 필요한 기존 파이프라인을 우회하거나, 최소한의 라벨링 (예: 포즈 추정의 경우 100 프레임만으로도 고품질 결과 도출) 으로도 우수한 성능을 달성하여 연구 부담을 줄였습니다.

4. 실험 결과 (Results)

논문은 다양한 종 (쥐, 물고기 등) 과 실험 설정 (고정형, 자유 이동, 단일/다중 동물) 에서 BEAST 를 평가했습니다.

4.1 신경 인코딩 (Neural Encoding)

• 목표: 행동 비디오에서 뇌 활동 (뉴런의 발화) 을 예측합니다.
• 결과: BEAST 는 기존 키포인트 (Keypoint) 기반 방법, PCA, CEBRA, DINOv2 등을 모두 능가했습니다. 특히 비키포인트 기반의 BEAST 특징이 포즈 추정만으로는 포착하지 못하는 미세한 행동 정보를 포함하여 뇌 활동 예측 정확도 (Bits Per Spike, BPS) 를 크게 향상시켰습니다.

4.2 포즈 추정 (Pose Estimation)

• 목표: 동물의 해부학적 랜드마크 (관절점) 를 추적합니다.
• 결과: 기존 DeepLabCut 및 Lightning Pose (ResNet 기반) 보다 우수한 성능을 보였습니다. 특히 라벨이 없는 데이터로 사전 학습된 BEAST 백본은 라벨이 매우 적은 상황 (100 프레임) 에서도 기존 모델보다 훨씬 정확한 포즈 추정을 가능하게 했습니다. MAE 손실이 픽셀 수준의 특징 학습에, 대비 학습이 시간적 구조 학습에 기여하여 시너지 효과를 냈습니다.

4.3 행동 분할 (Action Segmentation)

• 목표: 비디오 프레임 단위로 행동 클래스 (예: 그루밍, 공격, 조사 등) 를 분류합니다.
• 결과: BEAST 는 포즈 추정이 필요한 기존 방법 (SimBA, TREBA) 과 비교하여 포즈 추정 파이프라인을 완전히 제거하면서도 동등하거나 더 우수한 정확도 (F1 Score) 를 달성했습니다. CalMS21 데이터셋에서 BEAST 는 기존 최상위 기록을 갱신하는 수준으로 성능이 뛰어났습니다.

5. 의의 및 결론 (Significance)

• 데이터 효율성: 라벨링이 어려운 신경과학 분야에서 라벨 없는 비디오 데이터를 효과적으로 활용하는 새로운 패러다임을 제시했습니다.
• 접근성 향상: 개별 실험실이 자체 데이터로 강력한 기초 모델을 구축할 수 있게 하여, 고비용의 라벨링 작업과 복잡한 파이프라인을 단순화했습니다.
• 과학적 통찰: 행동의 미세한 특징이 뇌 활동과 어떻게 연결되는지에 대한 새로운 통찰을 제공하며, 행동과 뇌의 관계를 더 깊이 이해하는 데 기여합니다.

결론적으로, BEAST 는 컴퓨터 비전과 신경과학의 교차점에서 자기지도 학습을 활용한 범용적이고 강력한 행동 분석 도구로서, 라벨 데이터의 부족이라는 핵심 문제를 해결하고 신경과학 연구의 속도와 정확도를 획기적으로 높일 수 있는 기반을 마련했습니다.