FERAL: A Supervised Video-Understanding System for Direct Video-to-Behavior Mapping

기술 요약: FERAL

문제 정의
동물 행동의 정량적 연구는 전통적으로 수동 주석 달기(manual annotation) 또는 키포인트(자세 추정)를 먼저 추출한 후 행동을 분류하는 자동화된 파이프라인에 의존해 왔습니다. 자세 기반 도구(예: DeepLabCut, SLEAP)는 운동학적 분석에 혁신을 가져왔으나, 다음과 같은 중대한 한계가 있습니다. 즉, 엄격하게 통제된 영상 조건이 필요하며, 가려짐(occlusion)이나 복잡한 사회적 상호작용에 취약하고, 특정 행동을 해석하는 데 필수적인 맥락적 시각 정보를 버리게 됩니다. 또한, 원시 픽셀을 직접 행동으로 매핑하는 기존 비디오 기반 접근 방식(예: DeepEthogram)이나 비디오 파운데이션 모델(예: DAP, ChimpVLM)은 특정 데이터셋에 국한되거나, 종 전반에 걸친 일반화 능력이 부족하거나, 배포 가능한 종 불문(species-agnostic) 도구라기보다는 벤치마크 수준에 머물러 있습니다. 따라서 중간 단계인 자세 추출에 의존하지 않고, 다양한 종, 기록 양식(실험실, 야생, 항공 촬영), 그리고 조직 수준(단일 개체부터 집단 행동까지)에 걸쳐 일반화할 수 있는, 원시 비디오를 직접 프레임 단위의 행동 레이블로 매핑할 수 있는 시스템에 대한 절실한 필요성이 존재합니다.

방법론
FERAL(Feature Extraction for Recognition of Animal Locomotion)은 자세 추정을 완전히 우회하도록 설계된 지도 학습 기반 비디오 이해 툴킷입니다. 이는 원시 비디오 프레임을 사용자 정의 행동 레이블(ethograms)로 직접 매핑합니다.

• 아키텍처: FERAL은 사전 학습된 비디오 파운데이션 모델, 구체적으로는 100만 시간 이상의 인터넷 비디오로 사전 학습되고 Diving48로 미세 조정된 V-JEPA 2(ViT-L/16 모델)를 백본으로 활용합니다. 처음부터 다시 학습하는 대신, FERAL은 24개의 트랜스포머 레이어 중 상위 12개 레이어를 미세 조정합니다.
• 처리 파이프라인:
  1. 전처리: 원시 비디오의 크기를 조정(기본 256×256)하고 탐색 가능한 형식으로 재인코딩합니다. 다양한 도구(예: BORIS, EthoVision)에서 생성된 사용자 주석은 표준화된 프레임 정렬 JSON 스키마로 변환됩니다.
  2. 청킹(Chunking): 계산적 제한을 처리하기 위해 비디오를 중첩된 시간적 청크(50% 중첩을 가진 64개 프레임)로 나눕니다.
  3. 특징 추출 및 분류: 백본은 각 청크에 대해 시공간적 임베딩을 생성합니다. 이들은 어텐션 기반 풀링 모듈에 의해 처리되어 시간적으로 정렬된 임베딩으로 집계되며, 이후 경량화된 분류 헤드에 의해 프레임 단위 클래스 로짓(logits)으로 투영됩니다.
  4. 앙상블: 중첩된 청크들로부터의 예측값들을 평균하여 안정적인 프레임 단위 확률을 생성합니다.
• 학습 전략: 시스템은 클래스 불균형을 처리하기 위해 클래스 가중치 교차 엔트로피 손실(역빈도의 제곱근 사용)을 채택합니다. TrivialAugment와 MixUp을 이용한 데이터 증강을 활용하며, VRAM 요구 사항을 줄이기 위해 그래디언트 체크포인팅(gradient checkpointing)을 지원합니다.
• 구성: 속도와 정확도의 균형을 맞추기 위해 세 가지 프리셋이 제공됩니다: Lite(더 빠르고 작은 백본), Default(표준 성능), Max(최고 정확도를 위한 높은 중첩 및 스무딩 적용).

주요 기여

1. 직접적인 비디오-행동 매핑: FERAL은 중간 단계인 자세 추출 과정을 제거하여, 전체 시각적 및 시간적 맥락을 보존하면서 원시 픽셀로부터 직접 행동 분할을 가능하게 합니다.
2. 종 및 양식 불문(Agnosticism): 이 툴킷은 다양한 종(예: 선충, 초파리부터 생쥐, 개미, 얼룩말, 유인원까지)과 기록 환경(통제된 실험실, 야생 드론 영상, 카메라 트랩)에 걸쳐 일반화되도록 설계되었습니다.
3. 확장성 및 접근성: 오픈 소스 패키지로 공개된 FERAL은 기존 파이프라인과 통합되며, 소비자급 GPU나 클라우드 플랫폼(예: Google Colab, RunPod)에서 실행될 수 있어 계산 자원이 제한된 연구자들도 고성능 행동 정량화를 사용할 수 있게 합니다.
4. 집단 행동 처리: 밀집된 그룹에서 어려움을 겪는 자세 기반 시스템과 달리, FERAL은 개별 추적 없이도 장면의 외형으로부터 창발적 집단 상태(예: 개미의 습격)를 성공적으로 식별합니다.

결과
FERAL은 여러 데이터셋에 대해 최첨단 자세 기반 및 비디오 기반 방법들과 벤치마킹을 수행했습니다:

• CalMS21 (생쥐 사회적 상호작용): FERAL은 94.2% mAP를 달성하여, 경쟁 모델인 Google의 VideoPrism 및 자기 지도 자세 사전 학습 베이스라인을 능가했습니다. 특히, 전체 데이터셋의 25%만을 사용하여 92.1% mAP를 달성함으로써 전체 데이터로 학습된 모델들을 앞질렀습니다.
• MABe22 (딱정벌레/개미 상호작용): 딱정벌레-개미 서브셋에서 FERAL은 0.92의 매크로 F1 점수를 기록했으며, 이는 다른 학습 프로토콜을 사용한 경쟁 최고의 제출물(0.758)을 크게 상회하는 수치입니다.
• DeepEthogram 데이터셋: FERAL은 Mouse-Social, Mouse-Homecage, Fly를 포함한 6개 데이터셋 중 5개에서 DeepEthogram의 프레임 단위 F1 점수와 대등하거나 이를 능가했습니다.
• 야생 기록:
  • 얼룩말 경계 행동: 그레이비 얼룩말의 항공 드론 영상에서 FERAL은 0.785의 매크로 F1을 달성했습니다. 반면, 동일한 데이터로 학습된 자세 기반 분류기는 오버헤드 뷰에서 수직 머리 자세를 감지하는 데 어려움을 겪어 거의 무작위 수준의 성능(~0.55)으로 무너졌습니다.
  • PanAf500 (야생 유인원): FERAL은 야생 침팬지와 고릴라의 행동에 대해 90.8% Top-1 정확도 및 81.0% 클래스 평균 재현율을 달성하여, X3D, I3D, 3D ResNet-50 및 영장류 특화 파운데이션 모델(ChimpVLM, DAP, PriVi)보다 우수한 성능을 보였습니다.
• 집단 역학: FERAL은 개미 군집의 이진 습격 이벤트를 97.8% mAP로 성공적으로 탐지했으며, 더 세밀한 습격 하부 구조(탐색, 모집, 반응)를 70.0% mAP로 해결했습니다.

의의 및 주장
본 논문은 FERAL이 기존의 자세 기반 파이프라인이 실패하는 복잡하고 자연적인 환경에서도 작동할 수 있는, 확장 가능하고 종 불문적인 견고한 행동 분할의 토대를 구축한다고 주장합니다. "동물이 어디에 있는가"(자세)에서 "동물이 무엇을 하고 있는가"(행동)로 패러다임을 전환함으로써, FERAL은 비디오로부터 직접 행동을 파악하여 동물 행동 연구에서 활용 가능한 실험 패러다임을 넓힙니다.

저자들은 FERAL이 지도 학습(supervised) 도구임을 강조합니다. 즉, 새로운 행동을 자율적으로 발견하는 것이 아니라, 정의된 범주를 높은 정밀도로 인식하는 데 탁-월합니다. FERAL은 비지도 발견 도구(MoSeq, B-SOiD 등) 및 자세 추적 시스템(DeepLabCut 등)과 상호 보완적인 관계이며, 행동 정량화를 위한 통합된 솔루션을 제공합니다. 최소한의 주석 노력만으로 실험실 환경에서 야생 기록까지 일반화할 수 있는 능력(학습 데이터의 1~5%만으로도 높은 성능을 보임으로써 입증됨)은 FERAL을 행동학, 신경과학, 생태학 분야의 변혁적인 도구로 자리매김하게 합니다.