B-REAL: A keypoint-less behavior platform for offline classification and real-time detection

뇌가 어떻게 작동하는지 이해하기 위해, 과학자들은 먼저 그 뇌가 제어하는 동물이 실제로 무엇을 하고 있는지를 이해해야 합니다. 수십 년 동안 동물의 행동을 측정하는 표준 방식은 인간 관찰자가 비디오 녹화물을 보면서 마우스가 구석에서 냄새를 맡는 것부터 파리가 다른 파리를 공격하는 것까지 모든 움직임을 기록하기 위해 영상을 일시 정지하고 되감는 것이었습니다. 이 방법은 유연하고 해석이 용이하지만, 믿기 힘들 정도로 느리고 인간의 오류에 취약합니다. 최근 몇 년 동안 컴퓨터가 이 작업을 대신하기 시작했지만, 대부분은 자체적인 병목 현상을 만드는 두 단계의 과정을 거쳐야 했습니다. 첫째, 컴퓨터 프로그램이 코 끝이나 다리의 관절처럼 동물의 몸에서 특정 지점을 찾도록 훈련시켜야 하는데, 이 과정에는 수천 시간의 인간 라벨링 작업이 필요합니다. 둘째, 컴퓨터는 그 지점들을 사용하여 어떤 행동이 일어나고 있는지 추측합니다. 이 접근 방식은 설정하는 데 시간이 오래 걸리고, 동물이 서로 가려져 보이지 않을 때 자주 실패하며, 보통 실시간으로 반응하기에는 너무 느립니다. 만약 연구자가 마우스가 스스로 몸을 단장(grooming)하는 즉시 보상을 주거나, 특정 움직임이 발생하는 순간 실험을 중단하고 싶다면, 컴퓨터는 영상이 녹화되는 도중에 동작을 포착하고 결정을 내릴 수 있을 만큼 충분히 빨라야 합니다.

카네기 멜론 대학교의 연구진은 중간 단계를 완전히 생략한 B-REAL이라는 새로운 시스템을 개발했습니다. 동물의 골격을 매핑하려고 시도하는 대신, 이 시스템은 가공되지 않은 비디오 픽셀을 직접 보고 행동을 즉각적으로 인식하는 법을 배웁니다. 그 결과, 이 도구는 표준 컴퓨터 하드웨어에서도 카메라가 다음 사진을 찍는 속도보다 더 빠르게 동물이 무엇을 하고 있는지 분류할 수 있습니다. 이러한 속도는 동물의 행동이 환경에 즉각적인 변화(예: 물 한 방울을 떨어뜨리거나 빛을 번쩍이는 것)를 유발할 수 있는 새로운 종류의 실험을 가능하게 하며, 이 모든 과정은 행동이 일어나는 도중에 이루어집니다. 연구진은 이 방법이 기존 시스템보다 훨씬 적은 훈련 데이터로도 작동하며, 단 몇 분의 일 초 동안 지속되는 찰나의 움직임도 포착할 수 있고, 실시간으로 동물의 자연스러운 행동을 형성하는 데 사용될 수 있음을 보여주었습니다.

이 새로운 접근 방식의 핵심은 컴퓨터가 비디오를 처리하는 방식의 변화에 있습니다. 전통적인 방식은 비디오를 일련의 정지 영상으로 취급하여, 먼저 신체 부위를 찾은 다음 그 부위들이 어떻게 움직이는지 계산합니다. B-REL은 신체 부위를 찾는 단계를 건너뜁니다. 이 시스템은 짧은 비디오 프레임 시퀀스를 가져와 패턴을 인식하도록 설계된 유형의 컴퓨터 프로그램인 신경망에 직접 입력합니다. 특정 지점을 추적하지 않고 움직임을 이해하기 위해, 시스템은 인접한 프레임 사이에 작은 정보 조각들을 교환하는 기술을 사용합니다. 여러 장의 사진 더미에서 위쪽 사진의 몇몇 픽셀을 아래쪽 사진과 교환하는 것을 상상해 보십시오. 이를 통해 컴퓨터는 쥐의 발이나 날개가 정확히 어디에 위치하는지 알 필요 없이 시간이 지남에 따라 사물이 어떻게 변하는지 볼 수 있습니다. 이 방법은 컴퓨터가 동물의 복잡한 지도를 학습할 필요가 없기 때문에, 동물이 부분적으로 가려지거나 조명이 변할 때 발생하는 기존 시스템의 흔한 실패를 피할 수 있습니다 있습니다.

연구진은 이 시스템을 두 가지 매우 다른 과제, 즉 생쥐 사이의 복잡한 사회적 상호작용과 초파리 사이의 극도로 빠르고 드문 공격 행동에 대해 테스트했습니다. 생쥐 실험에서 시스템은 단 1분의 라벨링된 비디오를 본 후에도 공격하기, 조사하기, 올라타기 등을 높은 정확도로 구분하는 법을 배웠습니다. 이는 유사한 성능에 도달하기 위해 종종 수 시간의 라벨링된 데이터가 필요한 기존 도구들에 비해 상당한 개선입니다. 연구진이 이 시스템을 초파리에 테스트했을 때 도전 과제는 더욱 컸습니다. 다른 파리에게 달려드는 것과 같은 일부 공격적 행동은 비디오의 단 하나의 프레임, 즉 약 33밀리초 동안만 지속됩니다. 대부분의 컴퓨터 시스템은 움직임을 긴 시간에 걸쳐 평균화하기 때문에 이러한 순간을 완전히 놓칩니다. 그러나 B-REAL은 매우 짧은 순간의 돌진을 높은 정밀도로 감지했으며, 아주 적은 훈련 데이터가 주어졌을 때도 다른 방법들보다 뛰어난 성능을 보였습니다. 시스템이 이러한 희귀한 사건들을 식별할 수 있었던 이유는, 미리 정의된 신체 랜드마크에 의존하는 대신 비디오의 시각적 패턴으로부터 직접 학습했기 때문이며, 이러한 랜드마크들은 매우 빠르고 미묘한 변화를 포착하지 못할 수 있습니다.

아마도 이 시스템의 능력을 가장 설득력 있게 보여준 것은 컴퓨터가 교사 역할을 하는 폐쇄 루프(closed-loop) 실험이었을 것입니다. 연구진은 마우스가 머리를 단장할 때 컴퓨터가 감지하면 달콤한 물 보상을 받는 상황을 설정했습니다. 시스템은 단장 행동을 식별하고 순식간에 물 분출기를 작동시켜야 했습니다. 감지가 매우 빠르고 정확했기 때문에 마우스들은 빠르게 그 연결 고리를 학습했습니다. 실험 과정에서 마우스의 단장 횟수는 129% 증가했습니다. 동물들은 단순히 더 자주 단장을 한 것이 아니라, 보상을 확실히 받기 위해 단장의 지속 시간을 약간 더 길게 가져가는 방향으로 자신의 행동을 조정했습니다. 이는 이 시스템이 단순한 수동적 관찰자가 아니라, 자연스러운 행동을 형성하는 데 있어 실시간으로 특정 행동을 강화할 수 있는 유능한 파트너임을 입증합니다.

연구진은 더 많은 라벨링된 데이터 없이도 컴퓨터에 유리한 출발점을 제공하는 방법을 탐구하여 시스템을 더욱 효율적으로 만들었습니다. 그들은 수천 시간의 라벨링되지 않은 비디오로부터 일반적인 움직임 개념을 학습한 대규모 사전 학습 비디오 모델을 사용했습니다. 그들은 이 대규모 모델이 알고 있는 지식을 더 작고 빠른 시스템으로 전이시켰습니다. '증류(distillation)'라고 알려진 이 과정 덕분에, 시스템은 원래 처음부터 학습하려면 5~10분이 걸릴 내용을 단 30초의 라벨링된 비디오만으로 학습할 수 있었습니다. 놀랍게도, 이러한 사전 학습은 시스템이 전혀 다른 카메라 각도(예: 동물의 아래쪽에서 보는 뷰)에서도 행동을 인식하는 능력을 향상시켰는데, 이는 사전 학습 데이터에 위쪽이나 옆쪽 뷰만 포함되었음에도 불구하고 가능했습니다. 이는 시스템이 다양한 환경에 적용될 수 있는 동물의 움직임에 대한 깊은 이해를 학습했음을 시사하며, 미래의 실험에 대한 높은 적응력을 보여줍니다.

이 연구의 함의는 단순히 속도와 정확성을 넘어섭니다. 신체 부위를 추적할 필요가 없기 때문에, 이 시스템은 자세만으로는 정의하기 어려운 행동, 예를 들어 동물이 특정 물체와 상호작용하거나 복잡한 환경을 탐색하는 행동 등을 관찰할 수 있습니다. 이는 컴퓨터가 동물의 상태에 실시간으로 반응하여 대상과 환경 사이에 역동적인 루프를 만드는 실험의 문을 열어줍니다. 현재 연구는 생쥐와 파리에 집중되어 있지만, 그 원리는 실시간 행동 이해가 중요한 모든 상황에 광범위하게 적용될 수 있습니다. 시스템은 표준 하드웨어에서 실행되므로 운영을 위해 값비싼 슈퍼컴퓨터를 필요로 하지 않으며, 이는 고급 행동 분석을 더 넓은 범위의 연구실에서 사용할 수 있게 해줍니다. 궁극적으로 B-REAL은 행동을 과거의 정적인 기록에서, 그 순간의 뇌를 안내하고 이해하는 데 사용할 수 있는 살아있는 신호로 변화시킵니다.