Rodent-Bench

이 논문은 쥐의 행동 영상을 주석하는 멀티모달 대규모 언어 모델 (MLLM) 의 능력을 평가하기 위해 고안된 새로운 벤치마크인 'Rodent-Bench'를 소개하고, 현재 최첨단 모델들이 긴 영상 시퀀스 처리와 미묘한 행동 상태 구분 등에서 여전히 한계를 보임을 규명합니다.

핵심

🐭 "Rodent-Bench": 쥐의 행동을 분석하는 AI 의 시험지

이 논문은 브리스톨 대학의 연구팀이 "쥐의 행동을 영상으로 분석하는 AI(멀티모달 대형 언어 모델)"의 능력을 테스트하기 위해 만든 새로운 시험지에 대해 설명합니다.

마치 새로운 운전면허 시험을 만들어서, 최신 자동차 모델들이 실제로 도로를 잘 달리는지, 위험을 잘 감지하는지 확인하는 것과 비슷합니다.

---

1. 왜 이 시험이 필요한가요? (배경)

과학자들은 쥐의 행동을 연구할 때, 수천 시간 분량의 영상을 직접 보고 "이 쥐는 지금 '긁고 있네', '움직임을 멈췄네', '그루밍(몸단장) 하고 있네'"라고 일일이 기록해야 합니다. 이는 엄청나게 지루하고 시간이 오래 걸리는 일입니다.

최근 등장한 **고급 AI(멀티모달 LLM)**들은 영상을 보고 설명할 수 있다고 홍보합니다. 연구자들은 "이 AI 들이 인간을 대신해 쥐 영상을 분석해 주면 어떨까?"라고 생각했습니다. 하지만, 이 AI 들이 정말로 과학 연구에 쓸만할지, 아니면 그냥 장난감인지 확인해 볼 시험지가 없었습니다.

그래서 연구팀은 **Rodent-Bench(로덴트-벤치)**라는 시험지를 만들었습니다.

2. 시험지 구성: 두 가지 난이도

이 시험지는 AI 의 능력에 따라 두 가지 버전으로 나뉩니다.

• Rodent-Bench-Short (초급/중급): 영상 길이가 10 분 이하인 것들. (일부 AI 는 긴 영상을 못 보기 때문)
• Rodent-Bench-Long (고급): 영상 길이가 최대 35 분까지인 것들. (긴 영상을 잘 처리할 수 있는 AI 만 도전 가능)

시험 내용: AI 는 영상을 보고, 쥐가 "긁기", "몸단장", "동결 (움직임 정지)", "사회적 상호작용" 등 다양한 행동을 하는 시간을 정확히 구분해서 JSON(컴퓨터가 읽는 데이터) 파일로 만들어야 합니다.

3. 시험 결과: AI 들은 아직 "수행자"가 아닙니다

연구팀은 최신 AI 모델 3 개 (Gemini 2.5 Pro, Gemini 2.5 Flash, Qwen-VL-Max) 를 시험에 출전시켰습니다. 결과는 어떨까요?

결론: "아직은 과학 연구 보조원으로 쓰기엔 너무 미숙합니다."

• 성적표: 대부분의 AI 는 **우연히 맞히는 수준 (Chance Performance)**에 머물렀습니다.
• 잘한 부분: "몸단장 (Grooming)"처럼 행동이 뚜렷하고 오래 지속되는 것은 어느 정도 잘 알아맞혔습니다. (일부 모델은 60~70% 정도의 정확도)
• 못한 부분:
  • 동결 (Freezing): 쥐가 공포에 질려 아예 움직임을 멈추는 상태와 단순히 쉬는 상태를 구별하는 것은 AI 에게 너무 어려웠습니다. (AI 는 "아무것도 안 움직이는데 뭐가 다르지?"라고 혼란스러워했습니다.)
  • 짧은 행동: 1 초도 안 되는 짧은 행동을 정확히 끊어내지 못했습니다.
  • 형식 오류: AI 가 답변을 줄 때, 컴퓨터가 읽을 수 없는 엉망진창의 코드를 만들어내는 경우가 많았습니다. (예: "끝나는 시간"을 "end_long_time"이라고 잘못 적거나, JSON 파일이 중간에 끊기는 등)

4. 비유로 이해하기

이 상황을 쉽게 비유하자면 다음과 같습니다.

• 상황: AI 는 영상을 보는 똑똑한 비서입니다.
• 과제: 비서에게 30 분짜리 쥐 영상을 주고, "쥐가 언제 긁고, 언제 멈췄는지 시간표로 만들어줘"라고 시켰습니다.
• 결과:
  • 비서는 **"몸단장"**하는 건 잘 알아봤습니다. ("아, 이 쥐는 비누칠하고 있네요!")
  • 하지만 "동결" 상태는 못 구분했습니다. ("이 쥐는 잠든 건가요, 아니면 공포에 질린 건가요? 비서님, 모르겠어요.")
  • 그리고 시간표를 만들 때는 오타가 너무 많아서 컴퓨터가 읽을 수 없게 만들었습니다.

5. 연구팀의 결론과 앞으로의 전망

이 논문은 **"현재의 AI 기술은 아직 과학 연구의 핵심 도구로 쓰기엔 부족하다"**는 냉정한 사실을 보여줍니다.

하지만 이는 나쁜 소식만은 아닙니다.

• 첫걸음: 이제부터는 AI 가 과학 연구에 얼마나 발전했는지, 이 시험지 (Rodent-Bench) 를 통해 객관적으로 측정할 수 있게 되었습니다.
• 목표: 앞으로 AI 개발자들은 이 시험지를 보고 "어디가 부족하지? (시간 구분 능력? 미세한 행동 구별?)"를 파악하고 고쳐서, 진짜로 인간 과학자를 도와주는 '슈퍼 비서'를 만드는 것이 목표입니다.

한 줄 요약:

"AI 가 쥐 영상을 분석하는 시험을 치렀는데, 아직은 수행자 (인턴) 수준이라 과학 연구에 바로 투입할 수는 없지만, **어디가 부족한지 정확히 파악할 수 있는 기준 (시험지)**을 마련했다는 점이 중요합니다."

기술 요약

Rodent-Bench: 다중 모달 대규모 언어 모델 (MLLM) 을 위한 설치류 행동 주석 벤치마크

1. 문제 정의 (Problem)

• 연구의 배경: 신경과학 및 생물의학 연구에서 동물 행동 분석은 필수적이지만, 수동으로 동물 행동 비디오를 주석 (annotation) 하는 과정은 시간이 많이 소요되고 재현성을 저해하는 병목 현상입니다.
• 기존 기술의 한계: 기존 컴퓨터 비전 및 딥러닝 기반 도구 (DeepLabCut 등) 는 특정 행동에 대해 전용 모델을 훈련해야 하므로 유연성이 부족합니다.
• MLLM 의 잠재력과 격차: 최근 등장한 다중 모달 대규모 언어 모델 (MLLM) 은 자연어 지시를 통해 다양한 행동을 처리할 수 있는 잠재력을 가지고 있지만, 과학적 도메인 (특히 설치류 행동 분석) 에 적용된 사례는 거의 없습니다. 또한, 기존 비디오 이해 벤치마크는 과학적 요구사항 (미세한 시간적 구분, 긴 비디오 시퀀스 처리, 복잡한 행동 상태 식별) 을 충분히 반영하지 못합니다.
• 핵심 문제: 현재 MLLM 이 과학적 비디오 주석 보조 도구로 활용되기에는 성능이 부족하며, 이를 평가할 표준화된 벤치마크가 부재했습니다.

2. 방법론 (Methodology)

2.1 벤치마크 구성 (Rodent-Bench)
저자는 MLLM 의 능력을 평가하기 위해 두 가지 버전의 벤치마크를 제안했습니다.

• Rodent-Bench-Short: 최대 10 분 길이의 비디오 (Qwen-VL-Max 등 짧은 비디오만 처리 가능한 모델 대응).
• Rodent-Bench-Long: 최대 35 분 길이의 비디오 (Gemini 모델 등 긴 비디오 처리 가능 모델 대응).

2.2 데이터셋 (Datasets)
다양한 행동 패러다임을 포함하는 공개 및 비공개 데이터셋을 통합했습니다.

• CalMS21: 사회적 상호작용 (공격, 탐색, 교미 등).
• Rodent Grooming: 그루밍 행동 (털 손질) 감지.
• Mouse-Ventral 1&2: 배면 촬영 (Digging, Licking, Scratching 등).
• Scratch-AID: 가려움 유발제 주사 후 긁는 행동 (Scratching).
• Freezing: 공포 반응으로 인한 동결 행동 (Resting 과 구별 필요, 매우 미세한 차이).

2.3 평가 지표 (Evaluation Metrics)
행동 주석의 정확성과 시간적 분할 품질을 평가하기 위해 다음과 같은 지표를 사용했습니다.

• 초 단위 정확도 (Second-wise Accuracy): 각 초 단위의 분류 정확도.
• Macro F1 Score: 클래스 간 불균형을 고려하지 않은 F1 점수 평균.
• 평균 정밀도 (mAP): 다양한 IoU(교차합집합) 임계값을 기반으로 한 시간적 분할 정밀도.
• 상호 정보 (Mutual Information): 예측과 정답 간의 통계적 의존성.
• 매튜 상관 계수 (MCC): 불균형 데이터셋에서도 신뢰할 수 있는 상관 계수.
• 데이터셋 가중치: 데이터셋의 난이도 (엔트로피) 와 길이를 고려한 가중 MCC.

2.4 실험 설정

• 평가 모델: 2025 년 7 월 기준 최신 MLLM 3 종 (Gemini-2.5-Pro, Gemini-2.5-Flash, Qwen-VL-Max).
• 프롬프트 전략: 각 데이터셋에 맞는 행동 정의와 JSON 출력 형식을 지시하는 제로샷 (Zero-shot) 프롬프트 사용.
• 작업: 비디오를 분석하여 고정된 행동 라벨을 할당하고, 비겹치는 시간 구간으로 나눈 JSON 파일을 생성하도록 지시.

3. 주요 결과 (Key Results)

• 전반적인 성능 저하: 평가된 모든 MLLM 은 설치류 행동 주석 보조 도구로 사용하기에 충분한 성능을 보여주지 못했습니다.
• 모델별 비교:
  • Gemini-2.5-Pro: 다른 모델 대비 상대적으로 가장 높은 성능을 보였으나, 여전히 과학적 요구사항을 충족하지는 못함.
  • Gemini-2.5-Flash: Pro 보다 성능이 낮고 변동성이 큼.
  • Qwen-VL-Max: 대부분의 데이터셋에서 우연 수준 (Chance performance) 의 성능을 보임. 특히 긴 비디오 처리 시 프레임 추출 방식의 한계로 인해 성능이 극도로 낮음.
• 행동별 성능 편차:
  • 성공적인 경우: '그루밍 (Grooming)'과 같은 명확하고 시각적으로 뚜렷한 행동에서 상대적으로 나쁜 성능을 보임.
  • 실패한 경우:
    • 동결 (Freezing): 움직임의 정지와 공포 반응인 '동결'을 구별하는 것이 매우 어려움 (MCC 가 음수 또는 0 에 근접).
    • 긁는 행동 (Scratching): 매우 짧고 모호한 행동 구간을 식별하지 못함.
    • 사회적 상호작용: 복잡한 다중 개체 상호작용의 맥락을 이해하지 못함.
• 기술적 한계:
  • 시간적 분할 (Temporal Segmentation): 행동의 시작과 끝을 정확히 구분하지 못함.
  • 형식 오류: JSON 출력 형식이 깨지거나 (잘못된 키 사용, 중단), 비정형적인 텍스트가 포함되어 자동화 파이프라인 적용이 어려움.
  • 긴 비디오 처리: 30 분 이상의 비디오를 처리할 때 성능이 급격히 저하됨.

4. 주요 기여 (Key Contributions)

1. 최초의 과학적 행동 주석 벤치마크: 설치류 행동 분석을 위한 포괄적인 벤치마크 (Rodent-Bench) 를 최초로 제안했습니다.
2. 표준화된 평가 프레임워크: 과학적 비디오 이해를 위한 새로운 평가 지표 (시간적 분할 정확도, 상호 정보 등) 와 데이터셋 가중치 방식을 도입했습니다.
3. MLLM 의 과학적 적용 한계 규명: 현재 최첨단 MLLM 이 미세한 행동 차이, 긴 시간적 맥락, 복잡한 실험 조건을 처리하는 데 심각한 한계가 있음을 실증적으로 증명했습니다.
4. 데이터셋 공개: 다양한 행동 패러다임을 포함한 데이터셋과 주석 데이터를 공개하여 향후 연구의 기반을 마련했습니다.

5. 의의 및 시사점 (Significance)

• 과학적 연구의 자동화 장벽 확인: MLLM 이 아직 신경과학 연구의 자동화 보조 도구로 바로 도입되기에는 무리가 있음을 명확히 했습니다.
• 향후 연구 방향 제시:
  • 시간적 추론 강화: 미세한 시간적 분할을 위한 모델 아키텍처 개선 필요.
  • 맥락 이해 향상: 시각적으로 유사하지만 행동적으로 다른 상태 (예: 휴식 vs 동결) 를 구별할 수 있는 능력 배양.
  • 출력 안정성: 과학적 파이프라인에 통합하기 위한 신뢰할 수 있는 구조화된 출력 (JSON 등) 생성 능력 확보.
• 미래 전망: Rodent-Bench 는 MLLM 이 과학적 신뢰도 임계값을 달성할 때까지의 진전을 추적하는 기준점 (Baseline) 으로 작용하며, 궁극적으로 각 실험 패러다임마다 전용 모델을 훈련할 필요 없이 자연어 지시만으로 행동 분석이 가능한 '민주화된' 자동화 시대를 위한 발판이 될 것입니다.

결론적으로, 이 논문은 MLLM 이 과학적 비디오 분석 분야에서 큰 잠재력을 가지고 있지만, 현재 기술 수준에서는 정밀한 행동 주석 작업에 적용하기에는 시간적 정밀도, 맥락 이해, 출력 안정성 측면에서 여전히 해결해야 할 과제가 많음을 경고하고 있습니다.