🧬 biology

Meow-Omni 1: A Multimodal Large Language Model for Feline Ethology

본 논문은 동물 행동 분석에서의 의미적 동의어 혼란 문제를 해결하여 최첨단 고양이 의도 인식을 달성하기 위해 비디오, 오디오, 생리학적 시계열 데이터, 텍스트를 융합한 새로운 오픈소스 4 모달 대규모 언어 모델인 Meow-Omni 1 을 소개합니다.

원저자: Jucheng Hu, Zhangquan Chen, Yulin Chen, Chengjie Hong, Liang Zhou, Tairan Wang, Sifei Li, Giulio Zhu, Feng Zhou, Yiheng Zeng, Suorong Yang, Dongzhan Zhou

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jucheng Hu, Zhangquan Chen, Yulin Chen, Chengjie Hong, Liang Zhou, Tairan Wang, Sifei Li, Giulio Zhu, Feng Zhou, Yiheng Zeng, Suorong Yang, Dongzhan Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

다음은 "Meow-Omni 1" 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 번역한 것입니다.

큰 문제: "고양이 속마음 통역사" 딜레마

고양이가 무엇을 생각하고 있는지 추측해 보려 한다고 상상해 보세요. 고양이가 골골송을 하고 있습니다. 행복해서 그런 걸까요? 아니면 고통을 받아 스스로 달래기 위해 그런 걸까요?

문제점: 이 논문은 이를"의미적 앨리어싱 (Semantic Aliasing)"이라고 부릅니다. 이는 문맥에 따라 완전히 반대되는 두 가지 의미를 가지는 단어와 같습니다. 골골송은 "너를 사랑해"라는 뜻일 수도 있고 "너무 무서워"라는 뜻일 수도 있으며, 고양이의 얼굴 (영상) 을 보거나 소리 (오디오) 를 듣는 것만으로는 그 차이를 구분하기 어렵습니다.
옛날 방식: 이전 AI 모델들은 사진만 보거나 녹음만 듣는 탐정들과 같았습니다. 그들은 고양이의 내부 신체 신호에 대해 "맹목"이었습니다. 행동 (예: "달리기") 을 추측할 수는 있었지만, 의도 (예: "무서워서 달리는 것" 대 "놀면서 달리는 것") 를 추측할 수는 없었습니다.

해결책: Meow-Omni 1

연구진들은 고양이를 이해하도록 특별히 설계된 새로운 유형의 AI 뇌인 Meow-Omni 1을 개발했습니다. 이는 단순히 보고 듣는 것을 넘어, 고양이의 심박수와 움직임 센서에 직접 연결된 수의학교의 수퍼 인턴과 같습니다.

다음은 간단한 비유를 통해 작동 방식을 설명한 것입니다:

1. 네 가지 감각 (Quad-Modal)

대부분의 AI 모델은 두세 가지 "감각"만 가지고 있습니다. Meow-Omni 1 은 논문에서 Quad-Modal이라고 부르는 네 가지를 갖추고 있습니다:

눈 (영상): 고양이의 움직임을 관찰합니다.
귀 (오디오): 야옹음과 골골송을 듣습니다.
목소리 (텍스트): 설명을 읽고 질문을 합니다.
"내부 감각" (생체 시계열 데이터): 이것이 마법의 재료입니다. 심박수, 가속도, 신체 진동을 추적하는 (고양이용 스마트워치 같은) 센서로부터 고속 데이터를 읽습니다.
- 비유: 인간 탐정이 용의자가 달리는 것을 보면 "그가 늦었나 보다"라고 생각할 수 있습니다. 하지만 용의자의 심박수가 분당 180 회로 뛰고 있다는 심박수 모니터를 함께 본다면, "그가 쫓기고 있구나"라고 깨닫습니다. Meow-Omni 1 은 이 "내부 감각"을 사용하여 골골송을 부르는 고양이의 수수께끼를 풉니다.

2. 뇌 수술 (아키텍처)

연구진들은 처음부터 뇌를 새로 만든 것이 아니라, 기존의 똑똑한 AI(MiniCPM-o) 에 "수술"을 가했습니다.

이식: 그들은 다른 프로젝트 (Intern-S1 Pro) 에서 센서 데이터를 읽는 데 특화된 "시계열 인코더 (time-series encoder)"라는 도구를 가져와 고양이 AI 에 이식했습니다.
번역기: 그들은 특수한 "프로젝션 레이어 (projection layer)"를 구축하여 번역기 역할을 하게 했습니다. 이는 고양이의 센서에서 나오는 날것의 고속 숫자 데이터를 AI 뇌가 이해할 수 있는 언어로 변환하는 것으로, 비디오 게임 캐릭터가 외국어를 영어로 번역하는 것과 같습니다.

3. 훈련 (생각하는 법 학습)

이 AI 는 단순히 사실을 외운 것이 아니라 추론하는 법을 배웠습니다.

데이터셋 (Meow-10K): 그들은 AI 에게 10,831 개의 고양이 사례를 학습시켰습니다. 각 사례는 영상, 소리, 센서 데이터가 혼합되어 있으며, 인간 전문가가 고양이가 실제로 무엇을 느끼고 있는지에 대한 설명과 짝을 이루고 있습니다.
목표: 단순히 "고양이가 점프하고 있다"라고 추측하는 대신, AI 는 의도를 추측하도록 훈련되었습니다: "고양이가 점프하는 것은 놀고 있기 때문이다."
테스트 (MeowBench): 이것이 작동하는지 확인하기 위해 MeowBench라는 테스트를 만들었습니다. 이는 AI 가 고양이의 데이터를 보고 행동의 올바른 이유를 여러 옵션 중에서 선택해야 하는 객관식 시험과 같습니다.

결과: 효과가 있었을까요?

네, 큰 성과였습니다.

점수: Meow-Omni 1 은 테스트에서 **71.16%**의 정확도를 기록했습니다.
경쟁: 영상이나 오디오만 본 기존 최상위 AI 모델들을 압도적인 차이로 능가했습니다. 영상, 오디오, 센서 데이터를 텍스트 설명으로만 본 매우 똑똑한 "올라운더" AI 조차 66.89% 만 기록했습니다.
교훈: 이 논문은 고양이의 심박수를 말로 설명하는 것만으로는 부족하며, AI 가 고양이의 진정한 의도를 이해하려면 날것의 데이터를 직접 "느껴야" 함을 증명합니다.

"주저함" 기능 (불확실성)

이 논문이 강조하는 가장 멋진 점 중 하나는 AI 가 혼란을 어떻게 처리하는지입니다.

상황: 고양이가 행복해 보이지만 (영상), 센서는 고통을 받고 있다고 말합니다 (생체 데이터).
옛날 AI: 시각적 정보를 바탕으로 한 가지 답을 자신 있게 선택하여 틀릴 가능성이 높습니다.
Meow-Omni 1: 신호가 충돌할 때 AI 는 "불확실해집니다." 내부 신뢰 점수가 떨어지고, 본질적으로 "확실하지 않아, 이 단서들은 맞지 않아"라고 말합니다.
중요성: 논문은 이것이 안전에 중요하다고 제안합니다. AI 가 불확실하면 위험한 잘못된 답변을 주는 대신 상황을 인간 수의사가 확인하도록 플래그를 표시할 수 있습니다.

요약

Meow-Omni 1은 고양이의 심박수와 움직임 센서를 단순한 배경 소음이 아닌 주요 언어로 취급하는 최초의 AI 입니다. 고양이가 어떻게 보이는지, 어떻게 들리는지, 그리고 내부적으로 어떻게 느껴지는지를 결합함으로써, 골골송을 부르는 고양이가 행복한지 고통을 받고 있는지라는 퍼즐을 마침내 해결할 수 있습니다. 저자들은 코드, 데이터, 모델을 누구나 사용할 수 있도록 공개하여 수의사들과 동물 연구자들이 비언어적 동물을 더 잘 이해하도록 돕는 것을 목표로 합니다.

기술 요약: Meow-Omni 1

문제 정의

본 연구가 해결하는 핵심 과제는 계산 동물행동학에서의 의미적 동의어 (semantic aliasing) 현상이다. 이는 동일한 외부 신호 (예: 고양이의 골골송) 가 생리학적 맥락에 따라 근본적으로 다른 내부 상태 (예: 만족감 대 통증) 에 대응되는 현상을 의미한다. 기존 멀티모달 대규모 언어 모델 (MLLM) 은 고주파 생물학적 시계열 (TS) 데이터에 대해 대체로 '맹목적'이다. 그 결과, 진정한 잠재 상태 추론 대신 피상적인 행동 패턴 매칭 (다음 비디오 프레임 또는 피치 컨투어 예측) 에 의존하게 된다. 현재 아키텍처는 시각 및 청각 신호를 생리학적 현실에 본질적으로 연결 (grounding) 하지 못해 의도 추론에서 모호성을 초래한다.

방법론

1. 아키텍처: 네이티브 4 모달 통합

Meow-Omni 1은 텍스트, 비디오, 오디오, 생물학적 시계열이라는 네 가지 데이터 스트림을 본질적으로 융합하도록 설계된 최초의 오픈소스 MLLM 이다.

백본: MiniCPM-o 4.5 아키텍처를 기반으로 구축됨.
모델 수술: 고양이 생체 인식을 수용하기 위해 저자들이 '이식' 작업을 수행함:
- 어휘 확장: 토크나이저에 세 가지 제어 토큰 (<|ts_start|>, <|ts_unit|>, <|ts_end|>) 이 추가됨.
- 전문 인코더: 과학적 멀티모달 기반 모델인 Intern-S1 Pro에서 전용 시계열 인코더를 통합함.
- 프로젝션 레이어: 추출된 생물학적 특징을 LLM 의 공동 임베딩 공간에 매핑하는 맞춤형 선형 프로젝터가 도입되어, 생리학적 데이터를 이질적인 센서 판독치가 아닌 본질적인 언어 토큰으로 모델이 처리할 수 있게 함.
순전파 (Forward Pass): 모델은 임의의 모달리티 하위 집합 (V, A, TS, Text) 을 포함하는 가변 길이 시퀀스를 처리하며, 통합된 인과적 트랜스포머 블록 내에서 TS 임베딩을 시각 및 언어 토큰과 교차 배치함.

2. 이론적 프레임워크

저자들은 Pearl 의 구조적 인과 모델을 사용하여 동물 의도 ( $I$ ) 를 공식화함. 의도는 단순한 분류 레이블이 아니라, 가상의 '자유 선택' 개입 ( $do(E_{free})$ ) 하에서 특정 미래 행동의 확률을 최대화하는 잠재적 생물학적 및 인지적 동력으로 정의됨. 이 접근법은 동물 관찰 행동을 억제하거나 변경할 수 있는 환경적 제약 (예: 케이지 또는 조련사의 존재) 에서 동물의 진정한 의도를 분리해냄.

3. 훈련 파이프라인

모달 안정성을 보장하기 위해 훈련은 두 단계 프로세스로 진행됨:

1 단계 (프로젝터 정렬): LLM 백본과 TS 인코더는 고정된 상태에서 TS 프로젝터가 383,853 개의 레이블된 TS 샘플 (Next-Behaviour Prediction 전략 사용) 로 사전 훈련됨. 이를 통해 생체 인식 특징이 언어적 잠재 공간과 정렬됨.
2 단계 (멀티모달 전문화): 모델은 Meow-10K 데이터셋 (10,831 개 샘플) 에서 LLM 백본만을 사용하여 미세 조정됨. 이 데이터셋에는 다양한 모달리티 조합 (예: V+A, V+TS, A+TS, 완전한 4 모달) 이 포함되어 모델이 사용 가능한 스트림의 어떤 하위 집합으로부터도 추론할 수 있도록 학습시킴.

4. 데이터셋 및 벤치마크

Meow-10K: 가속도계 데이터, 비디오 클립, 오디오 녹음, 동기화된 쌍 등 여러 출처에서 파생된 10,831 개 샘플로 구성된 훈련 데이터셋. 통합된 30 개 클래스 의도 분류 체계의 레이블과 자연어 질의 - 응답 쌍을 포함함.
MeowBench: 527 개의 고충실도 샘플을 포함하는 새로운 전문가 검증 평가 벤치마크. 자연스럽게 동기화된 4 모달 데이터가 부족하므로, 동일한 의도 레이블을 공유하는 단일 모달 데이터 (비디오 - 오디오 및 TS) 를 매칭하여 샘플을 합성했으며, 전문 고양이 행동학자들이 이를 검증함. 벤치마크는 구별 정확도를 테스트하기 위해 객관식 질문 (MCQ) 형식을 사용함.

주요 기여

Meow-Omni 1 아키텍처: 시각, 청각, 생물학적 시계열 모달리티를 통합하여 공동 행동 추론을 수행하는 최초의 네이티브 MLLM.
Meow-10K 데이터셋: 다양한 모달리티 조합과 자연어 설명을 포함하는 10,000 개 이상의 고양이 샘플로 구성된 다중 출처 데이터셋.
MeowBench: 생체 인식, 비전, 오디오 간의 교차 모달 추론을 통해 의도 해독을 평가하도록 특별히 설계된 최초의 벤치마크.
오픈 동물행동학 AI 프레임워크: 기반 모델이 비인간 종에 어떻게 적응될 수 있는지 보여주는 완전한 오픈소스 파이프라인 (모델 가중치, 훈련 코드, 데이터).

결과

MeowBench 에서 평가된 Meow-Omni 1 은 **Top-1 정확도 71.16%**를 달성하여 모든 베이스라인을 능가함:

단일 모달 베이스라인: 전문 음향 (36.86%), 비디오 (61.95%), TS (48.98%) 모델을 현저히 능가함.
멀티모달 베이스라인: 비언어적 신호를 일반적 인코더로 처리하는 선도적인 범용 오모니 - 모달 모델인 Qwen3.5-Omni-Plus(V+A+TS 기준 66.89%) 를 상회함.
애블레이션 연구: 생물학적 TS 데이터의 포함이 가장 큰 성능 향상을 제공함. 비전 단독은 69.97% 를 달성했으나, TS 를 추가 (V+TS) 하면 성능이 70.82% 로 상승했고, 완전한 4 모달 통합은 71.16% 에 도달함. 이는 생물학적 마커가 순수한 시각 또는 청각 디스플레이에 내재된 의미적 동의어 문제를 해결하는 데 도움이 됨을 확인시킴.
불확실성 정량화: 온도 샘플링을 사용하여 모델은 모달리티 간 충돌을 감지하는 능력을 입증함. 일치하는 데이터에서는 예측 엔트로피가 낮아 (1.28 비트) 높은 확신을 나타냄. 반면, 시각적 단서가 만족감을 시사하지만 TS 가 통증을 나타내는 적대적 충돌 데이터에서는 엔트로피가 급격히 상승 (3.15 비트) 하여, 모델이 가장 강력한 모달리티로 기본화하는 대신 모호성을 올바르게 식별했음을 나타냄.

중요성 및 주장

본 논문은 Meow-Omni 1이 종간 의도 이해를 위한 확장 가능한 패러다임을 확립한다고 주장함. 그 주요 중요성은 다음과 같음:

의미적 동의어 해결: 동물 행동에 대한 진정한 의미 이해는 피상적인 패턴 매칭을 넘어 관찰 데이터를 생리학적 현실에 연결 (grounding) 해야 함을 입증함.
임상 및 보전 활용: 기반 모델 내에서 감각적 격차를 해소함으로써 수의 진단 (예: 은폐된 통증 탐지) 및 야생동물 보전을 위한 실용적 도구 제공.
안전성 및 해석 가능성: 모호한 상태를 플래그하고 고위험 시나리오에서 인간 전문가에게 위임할 수 있도록 불확실성 정량화 메커니즘 도입.

저자들은 이 작업을 차세대 수의 진단 및 동물행동학 연구를 위한 기초 단계로 위치시키며, 초기에는 집고양이 (Felis catus) 를 대상으로 설계되었으나 더 광범위한 종간 의사소통을 위한 템플릿으로 의도됨.