💻 computer science

OmniEncoder: See, Hear, and Feel Continuous Motion Like Humans With One Encoder

본 논문은 모달리티별 인코더의 한계를 극복하고 연속적인 운동에 대한 통합적이고 인간과 유사한 지각을 가능하게 하며 세밀한 시각 작업의 성능을 크게 향상시키면서 경쟁력 있는 오디오-비주얼 벤치마크를 유지하기 위해 시각 및 오디오 신호를 대칭적인 25fps 로 공동 임베딩하는 통합형 트랜스포머 백본인 Omni-Encoder 를 소개합니다.

원저자: Detao Bai, Shimin Yao, Weixuan Chen, Chengen Lai, Yuanming Li, Zhiheng Ma, Xihan Wei

게시일 2026-05-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Detao Bai, Shimin Yao, Weixuan Chen, Chengen Lai, Yuanming Li, Zhiheng Ma, Xihan Wei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

초당 한 장씩 멈춰 있는 사진만 보며 사운드트랙을 풀속도로 듣는다고 상상해 보세요. 이것이 바로 현재 대부분의 '오미-모달'(시각과 청각을 모두 처리하는) AI 모델이 작동하는 방식입니다. 이 모델들은 비디오 프레임을 느리게(초당 1~2 장) 보지만, 오디오는 매우 빠르게(초당 25 회) 처리합니다. 이로 인해 불일치가 발생합니다. AI 는 세상을 슬로우 모션으로 보지만, 소리는 실시간으로 듣기 때문에 특정 손짓과 그 소리를 정확히 연결하기 어렵습니다.

이 논문은 인간처럼 보고, 듣고, 움직임을 '느끼는' 새로운 AI 뇌인 Omni-Encoder를 소개하며 이를 해결합니다.

간단한 비유를 통해 작동 원리를 설명하겠습니다:

1. 문제: "슬로우 모션 카메라" 대 "빠른 귀"

현재 AI 모델은 10 초마다 복도를 확인하지만 모든 발소리를 즉시 듣는 경비원과 같습니다. 누군가 점검 사이사이에 손을 빠르게 흔들면 경비원은 이를 놓칩니다.

문제점: 기존 모델은 수어나 체조와 같은 빠른 움직임을 포착하기엔 비디오 샘플링 속도가 너무 느린 반면, 오디오는 풀속도로 처리합니다. 이로 인해 시각과 청각 사이의 '춤'을 놓치게 됩니다.

2. 해결책: "초당 25 프레임의 슈퍼 브레인"

Omni-Encoder 는 비디오와 오디오를 동일한 높은 속도인 초당 25 프레임으로 처리하도록 설계되었습니다. 단순히 이미지를 보는 것을 넘어, 이미지 사이의 움직임을 이해합니다.

컴퓨터가 너무 많은 데이터로 과부하가 걸리지 않도록 하기 위해 저자들은 세 가지 영리한 방법을 고안했습니다:

A. "3 차선 고속도로" (Omni-Encoder 토큰 템플릿)

비디오와 오디오를 하나의 지저분한 데이터 더미로 취급하는 대신, 시스템은 시간의 각 순간을 세 개의 명확한 '차선'으로 조직화합니다:

오디오 차선: 소리를 전달합니다.
"움직임" 차선 (시각 연속): 이것이 마법 같은 재료입니다. 이 데이터 포인트들은 '모션 센서'처럼 작동합니다. 사물이 어떻게 보이는지(색상이나 모양) 는 상관없이 한 프레임에서 다음 프레임으로 어떻게 움직이는지에만 관심을 가집니다. 마치 댄서의 얼굴이 아닌 손의 경로를 추적하는 것과 같습니다.
"정적" 차선 (시각 기반): 질감, 모양, 배경과 같은 사물의 외관 세부 정보를 전달합니다.

효율성 트릭: 시스템은 모든 움직임을 놓치지 않도록 '움직임'과 '오디오' 차선을 풀속도(초당 25 프레임) 로 유지합니다. 반면, '정적' 차선은 초당 2 프레임으로만 속도를 늦춥니다. 그 이유는 배경이 그렇게 빠르게 변하지 않기 때문입니다. 이는 빠른 움직임 데이터를 유지하면서 막대한 컴퓨터 자원을 절약합니다.

B. "3D GPS" (Omni-RoPE)

일반 AI 에서는 데이터가 소리인지, 움직이는 손인지, 아니면 정적인 벽인지 구분하기 어렵습니다. 모두 같은 숫자로 보이기 때문입니다.
Omni-Encoder 는 모든 데이터 조각에 고유한 3D GPS 좌표(시간, 높이, 너비) 를 부여합니다.

소리는 '원점'(0,0) 에서 좌표를 받습니다.
움직이는 손은 바로 옆 좌표(0,1) 를 받습니다.
정적인 벽은 더 바깥쪽 좌표(1,1) 를 받습니다.
이를 통해 AI 는 즉시 "아, 이 데이터 포인트는 소리이고 저것은 움직이는 객체구나"라고 알아내어 혼란 없이 서로의 관계를 이해할 수 있습니다.

C. "슬라이딩 윈도우" (Temporal Window Shifting)

비디오와 오디오의 25 프레임을 한 번에 처리하는 것은 도서관의 모든 책을 동시에 읽으려는 것과 같습니다. 너무 무겁습니다.
저자들은 Temporal Window Shifting이라는 기법을 사용합니다. 마치 16 페이지를 한 번에 덮는 작은 창을 통해 책을 읽는다고 상상해 보세요.

먼저 1~16 페이지를 읽습니다.
그 다음 창을 반만큼 이동시켜 9~24 페이지를 읽습니다.
다시 창을 이동시킵니다.
이 방식은 AI 가 한 번에 전체 영화를 암기할 필요 없이 한 순간에서 다음 순간으로 이야기가 어떻게 흐르는지 볼 수 있게 합니다. 사고 과정을 빠르고 효율적으로 유지합니다.

3. 결과: 무엇을 증명했는가?

팀은 빠르고 세부적인 움직임을 포착해야 하는 작업에서 이 새로운 시스템을 테스트했습니다:

수어: 수어 인식은 빠른 손짓으로 쓰인 책을 읽는 것과 같습니다. 기존 모델은 약 1% 에서 37% 만 정확했습니다. Omni-Encoder 는 90% 에서 97% 까지 정확하여 수어 전용으로 설계된 시스템조차 능가했습니다.
스포츠 및 액션: 다이빙 동작이나 체조 인식과 같은 작업에서 기존 최상위 모델과 맞먹거나 능가하는 성능을 보였습니다.
오디오 - 시각 추론: "누가 말하고 있는가?"와 같이 듣고 보아야 하는 질문을 할 때, 별도의 '귀'와 '눈'을 사용하는 복잡한 시스템과 동일한 성능을 발휘했습니다.

결론

이 논문은 AI 가 보고 듣는 방식을 통합함으로써—서로 불일치하는 두 개의 별도 스트림이 아닌 단일 동기화된 데이터 스트림으로 취급함으로써—인간처럼 세상을 이해하는 모델을 구축할 수 있다고 주장합니다. 이를 통해 연속적인 움직임의 '느낌'을 포착할 수 있게 되어 빠른 동작, 제스처, 그리고 소리와의 관계를 이해하는 능력이 크게 향상됩니다.

기술 요약: OmniEncoder

1. 문제 제기

현재의 오모니멀 (omni-modal) 대규모 언어 모델 (OmniLLM) 은 일반적으로 비전과 오디오를 위해 별도의 인코더를 사용하는 모달리티별 모듈식 설계를 채택합니다. 이러한 아키텍처는 종종 "비전은 저해상도, 오디오는 고해상도"인 샘플링 전략으로 이어지는데, 여기서 시각 프레임은 낮은 주파수 (1~2 fps) 로 샘플링되는 반면 오디오는 높은 주파수 (25 fps) 로 처리됩니다.

저자들은 이러한 설계가 인간의 지각과 근본적인 불일치를 초래한다고 주장합니다. 인간은 세계를 통합적으로 지각하며, 시각, 청각, 촉각을 통해 연속적인 운동을 동시에 감지하고, 감각 처리의 초기 단계에서 교차 모달 상호작용이 발생합니다. 지배적인 "프레임 단위, 모달리티 단위" 접근 방식은 다음과 같은 문제를 야기합니다:

인코딩 단계에서의 빈약한 교차 모달 상호작용.
수화 인식, 세밀한 스포츠 분석, 입술 읽기와 같은 작업에 필수적인 세밀한 시각적 운동의 포착 불가.
전역 어텐션 메커니즘을 사용하여 오디오 밀도에 맞춰 시각 프레임률을 높일 때 발생하는 계산 비효율성 (시퀀스 길이에 대해 2 차 ( $O(T^2)$ ) 으로 확장됨).

2. 방법론: Omni-Encoder

이러한 과제를 해결하기 위해 저자들은 공유 잠재 공간 내에서 시각 및 오디오 신호를 대칭적인 25 fps로 공동 임베딩하도록 설계된 통합 트랜스포머 백본인 Omni-Encoder를 제안합니다. 이 아키텍처는 나중에 융합하는 대신 원시 비디오와 오디오를 동시에 처리합니다.

핵심 아키텍처 구성 요소

A. Omni-Encoder 토큰 템플릿

입력 비디오는 각 시간 위치 ( $t$ ) 에서 세 가지 구별되는 토큰 스트림으로 분해됩니다:

오디오 토큰 ( $a_t$ ): 경량 1D CNN 을 통해 로그 멜 스펙트로그램에서 추출됩니다.
시각 연속 (VC) 토큰 ( $vc_t$ ): 프레임 간 운동 역학 (예: 운동 궤적, 제스처 시작, 미세 운동) 을 포착하기 위해 도입된 프레임 단위 학습 가능 벡터입니다.
시각 기본 (VB) 토큰 ( $vb_t$ ): 패치 임베딩을 통해 생성되어 정적 외관 특징 (질감, 모양, 레이아웃) 을 포착합니다.

토큰 희석화: 운동 충실도를 유지하면서 계산 가능성을 확보하기 위해 **토큰 희석기 (Token Sparsifier)**가 적용됩니다. 이는 모든 오디오 및 VC 토큰을 전체 25 fps 해상도로 유지하지만, VB 토큰은 2 fps 로 다운샘플링합니다. 이는 VC 토큰이 포착한 고주파수 운동 정보를 희생하지 않으면서 하류 LLM 디코더로 전달되는 총 토큰 수를 획기적으로 줄입니다.

B. Omni-RoPE (3D 회전 위치 인코딩)

표준 3D 회전 위치 임베딩 (RoPE) 은 좌표 $(t, h, w)$ 를 할당합니다. 그러나 이 방법을 이질적인 모달리티에 직접 적용하면 오디오와 VC 토큰이 독립적인 공간 좌표를 갖지 못한다는 충돌이 발생합니다.

해결책: 저자들은 공간 좌표를 재매핑합니다. VB 토큰은 $(t, 1, 1)$ 에서 시작하도록 이동시키고, 오디오 토큰은 $(t, 0, 0)$ 을, VC 토큰은 $(t, 0, 1)$ 을 차지합니다.
이점: 이를 통해 세 가지 모달리티 모두 동일한 3D RoPE 공식 내에서 겹치지 않는 위치 인코딩을 받아, 모델이 모달리티를 구별하고 교차 모달 관계를 모델링하면서도 해상도 무관한 외삽성을 유지할 수 있습니다.

C. 시간 창 이동 (Temporal Window Shifting)

25 fps 비디오의 계산 비용을 처리하기 위해 저자들은 Swin Transformer 에서 영감을 받은 시간 창 이동 메커니즘을 사용하여 전역 시공간 어텐션을 대체합니다.

메커니즘: 토큰 시퀀스는 겹치지 않는 시간 그룹 ( $G=16$ 프레임) 으로 분할됩니다. 결합된 시공간 어텐션은 이러한 그룹 내에서 계산됩니다.
이동: 교번하는 레이어에서 창 경계가 $G/2$ 프레임만큼 이동하여 인접 그룹 간 정보 흐름이 가능해집니다.
복잡도: 이로써 어텐션 복잡도가 2 차 $O(T^2)$ 에서 선형 $O(T \cdot G)$ 로 감소하여, 관리 가능한 계산 오버헤드로 25 fps 에서 밀집된 교차 모달 상호작용을 가능하게 합니다.

학습 전략

이 모델은 단일 단계, 엔드 투 엔드 학습 전략을 사용합니다:

베이스: Qwen2.5-Omni-3B의 LLM 구성 요소가 고정된 디코더로 사용됩니다.
초기화: Omni-Encoder 는 자기지도형 비디오 표현 학습 (V-JEPA) 의 가중치로 초기화됩니다. 새로운 구성 요소 (오디오 임베딩, VC 학습 가능 쿼리) 는 무작위로 초기화됩니다.
최적화: 최종 언어 모델링 (LM) 헤드만 학습 가능하며, 나머지 모든 LLM 파라미터는 고정됩니다. 이는 복잡한 다단계 사전 학습 파이프라인을 피합니다.

3. 주요 기여

통합 고주파수 인코딩: 시각 및 오디오 신호를 동시에 25 fps 로 처리하는 최초의 통합 인코더로, 인간과 유사한 연속적 지각과 현재 이산적 샘플링 방법 간의 격차를 해소합니다.
새로운 아키텍처 혁신: 토큰 템플릿(운동과 외관 분리), Omni-RoPE(통합 시공간 - 모달리티 좌표), 시간 창 이동(효율적인 밀집 어텐션) 의 도입.
밀집 운동 작업에서의 성능: 세밀한 시간 모델링이 필요한 작업, 특히 수화와 스포츠 동작 인식에서 통합 인코더가 전문 모델보다 우수한 성능을 발휘함을 입증.

4. 실험 결과

저자들은 Omni-Encoder 를 모달리티별 베이스라인 및 기존 OmniLLM(예: Qwen2.5-Omni, Gemini-2.5-Pro) 과 여러 벤치마크에서 평가했습니다:

시각 연속 이해:
- 수화: NationalCSL6707에서 Omni-Encoder 는 **90.32%**를 기록하여 이전 최우수 도메인 특화 모델 (69.61%) 보다 20 퍼센트 포인트 이상 앞섰습니다. SLR500에서는 **97.8%**에 도달하여 전문 모델인 SignBERT 를 능가했습니다.
- 동작 인식: Diving48에서 90.8%(SOTA 90.3% 대비), SthSv2에서 **68.7%**를 기록하여 InternVideo2-S2-1B 와 같은 강력한 베이스라인과 경쟁했습니다.
- 관찰: 기존 OmniLLM 들은 (SFT 를 적용한 경우에도) 이러한 작업에서 무작위 수준이거나 열악한 성능을 보였습니다 (예: Qwen2.5-Omni SFT 는 Diving48 에서 25.7% 점수). 이는 희소 시각 인코딩의 한계를 강조합니다.
오디오 - 시각 추론:
- 화자 위치 추정/식별: Omni-Encoder 는 **98.8%**의 위치 추정 및 **82.31%**의 식별률을 달성하여 HumanOmni-Speaker 와 같은 전용 모델을 능가하거나与之 견주었습니다.
- AVQA: **82.6%**를 기록하여 Qwen2.5-Omni-3B 의 SFT 변형과 유사한 성능을 보였습니다.
오디오 - 시각 인식 (LRS2):
- 입술 컷아웃 전처리를 사용하지 않은 상태에서, 모델은 단어 오류율 (WER) 이 45.3%(시각 전용), 10.2%(오디오 전용), 7.2%(오디오 - 시각) 를 기록하여 효과적인 교차 모달 융합을 입증했습니다.

5. 의미 및 주장

이 논문은 **통합 잡식성 인코딩 (unified omnivorous encoding)**이 인간의 지각 통합 특성을 더 잘 반영하는 오모니멀 모델을 구축하기 위한 유망한 방향이라고 주장합니다.

패러다임 전환: 모달리티별, 불일치 샘플링률에서 벗어나 통합된 고주파수 인코딩 공간으로 이동함으로써, 모델이 기존 범용 OmniLLM 이 접근할 수 없었던 세밀한 운동 역학을 포착할 수 있음을 결과들이 시사합니다.
효율성 vs 충실도: 이 아키텍처는 모달리티 분리(오디오, 정적 시각, 운동 신호 구분) 와 계산 효율성(비디오 길이에 따른 선형 확장) 의 이중 과제를 성공적으로 조화시킵니다.
일반화: 모델은 작업별 아키텍처 커스터마이징 없이 밀집 운동 작업에서 전문가 수준의 성능을 달성하여, 고밀도 시간 모델링이 효과적인 범용 표현 전략임을 검증했습니다.

저자들은 현재 모델이 특정 인식 작업에서 독점적 최첨단 모델보다 약간 뒤처지고 있지만 (제한된 학습 데이터 규모에 기인함), 통합 접근 방식이 세계를 통합적으로 지각하는 미래 오모니멀 시스템에 대한 견고한 기반을 제공한다고 결론지었습니다.