💻 computer science

GMoT: Gated Motion-Aware Tokenization for Fine-Grained Micro-Gesture Video Reasoning with Multimodal LLMs

본 논문은 희소한 운동학적 증거와 해부학적 근거를 명시적으로 증류함으로써 멀티모달 거대 언어 모델의 미세한 마이크로 제스처 비디오 추론 능력을 향상시키기 위해, GMoT(Gated Motion-Aware Tokenization) 모듈과 점진적 보상 유도 정책 정제 패러다임을 결합하여 iMiGUE 및 SMG 벤치마크에서 최첨단 성능을 달성하는 방법을 소개한다.

원저자: Taorui Wang, Wei Xia, Hui Ma, Zijia Song, Jiayu Zhang, Zeheng Wang, Yong Xu, Zitong Yu

게시일 2026-07-21

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Taorui Wang, Wei Xia, Hui Ma, Zijia Song, Jiayu Zhang, Zeheng Wang, Yong Xu, Zitong Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 인간의 바디랭귀지를 이해하도록 가르치고 있다고 상상해 보세요. 당신은 로봇에게 사람의 영상을 보여주며, 그 사람이 아주 미세한 움직임을 통해 정확히 무엇을 느끼고 있는지, 혹은 무엇을 생각하고 있는지 말해주기를 원합니다. 이것이 바로 컴퓨터가 시각적 세계를 보고 해석하는 법을 배우는 과학의 한 분야인 **컴퓨터 비전(computer vision)**의 세계입니다. 보통 이러한 컴퓨터들은 달리기, 점프하기, 손 흔들기처럼 크고 명확한 동작을 포착하는 데 매우 뛰어납니다. 하지만 이 세계에는 **마이크로 제스처(micro-gestures)**라는 까다로운 영역이 있습니다. 이는 우리가 무의식중에 하는 아주 미세한 움직임들입니다. 예를 들어 손가락의 빠른 경련, 어깨의 아주 미미한 으쓱임, 혹은 입술의 순간적인 씰룩임 같은 것들입니다. 이러한 움직임은 너무 빠르고 좁은 공간에서 일어나기 때문에 놓치기 쉽습니다.

문제는 오늘날 가장 똑똑한 영상 판독 컴퓨터들, 즉 **멀티모달 거대 언어 모델(MLLM)**들이 마치 교과서는 아주 잘 읽지만 라이브 연극은 제대로 보지 못하는 학생과 같다는 점입니다. 이들은 정적인 자세, 배경, 사람의 얼굴 같은 큰 그림에 너무 집중한 나머지, 진실을 밝혀주는 작고 찰나적인 단서들을 놓치곤 합니다. 예를 들어, 팔짱을 끼고 있는 사람을 보고 단순히 "화가 났다"라고 추측할 수 있지만, 그 사람이 방금 손가락을 한 번 톡톡 친 것이 "조급함"을 의미한다는 사실은 알아채지 못할 수도 있습니다. 이 논문은 이 강력한 AI 모델들이 큰 그림을 보고 짐작하는 것을 멈추고, 중요한 작고 움직이는 세부 사항들에 주의를 기울이도록 가르치는 과제에 도전합니다.

문제점: "정적 스냅샷"의 함정

표준적인 비디오 AI를 영화의 한 장면을 찍은 흐릿한 스냅샷 한 장을 보고 줄거리를 추측하려는 사진작가라고 생각해 보세요. 만약 영화가 어떤 사람이 초조하게 어깨를 흔드는 내용이라면, 표준 AI는 단순히 사람이 가만히 서 있는 모습만 보고 "서 있음"이라고 판단할 것입니다. 이 모델은 영상을 너무 느리게 보거나 모든 것을 평균화하여, 작은 움직임을 씻어내 버리기 때문에 '움직임'을 놓치게 됩니다.

이 논문의 저자인 타오루이 왕(Taorui Wang)과 그의 팀은 기존 AI 모델들이 "성급한 추측"을 하고 있다는 점에 주목했습니다. 모델들은 팔짱을 낀 자세를 보고 즉시 "방어적"이라고 결정해 버리며, 전혀 다른 의미를 가질 수 있는 미세한 손가락 탭(tap)을 무시하곤 했습니다. 모델들은 운동학적 증거(어떻게 움직였는가)보다는 정적인 외형(사람이 어떻게 보이는가)에 의존하고 있었습니다. 설상가치하게도, 모델들은 최종 정답만 맞히면 보상을 받았기 때문에, 때때로 "환각(hallucination)" 현상을 일으켰습니다. 즉, 실제 영상에서 일어나고 있는 일과는 상관없이 논리적으로 들리는 그럴싸한 이유를 지어내어 설명하는 것이었습니다.

해결책: GMoT (The "Motion Detective")

이를 해결하기 위해 팀은 GMoT(Gated Motion-Aware Tokenization)라는 새로운 도구를 만들었습니다. 아주 똑똑하지만 약간 게으른 탐정(AI 모델)이 미스터리를 풀려고 노력하고 있다고 상상해 보세요. 이 탐정은 보통 범죄 현장을 힐끗 보고는 결론을 내립니다. GMoT는 탐정에게 돋보기와 형광펜을 건네주는 전문 조수와 같습니다.

GMoT의 작동 단계는 다음과 같습니다:

액션에 스포트라이트 비추기: 영상의 프레임을 똑같이 보는 대신, GMoT는 스포트라이트처럼 작동합니다. 영상 전체를 스캔하여 움직임이 정확히 어디에서 발생하는지(예: 특정 손가락이나 어깨)를 찾아내고, 지루한 배경 소음은 무시합니다.
움직임 동결하기: 인접한 두 개의 영상 프레임을 가져와서 하나를 다른 하나에서 뺍니다. 이는 러너의 사진 두 장을 찍어 첫 번째 사진에서 두 번째 사진을 빼서 오직 "잔상" 형태의 움직임만을 남기는 것과 같습니다. 이를 통해 사람 몸의 정적인 부분들을 제거하고 순수한 움직임의 에너지만을 분리해 냅니다.
"게이트(Gate)" 주입: 팀은 이 새로운 "움직임 정보"를 추가하는 것이 AI의 기존 뇌를 혼란스럽게 할까 봐 걱정했습니다. 그래서 그들은 "게이트(제어 스위치)"를 만들었습니다. 처음에는 게이트가 거의 닫혀 있어 AI가 이미 알고 있는 것에 의존하게 합니다. AI가 학습함에 따라 게이트가 천천히 열리며, AI를 압도하지 않으면서도 더 나은 추측을 할 수 있도록 적절한 양의 움직임 단서들을 들여보냅니다.

학습: 단순히 맞히는 것이 아니라 설명하는 법 배우기

팀은 단순히 AI가 정답을 맞히는 것만을 원하지 않았습니다. 그들은 AI가 실제로 본 것에 기반하여 자신의 추론을 설명하기를 원했습니다. 이를 위해 네 단계의 특별한 학습 과정을 설계했습니다:

웜업(Warm-up): 먼저 일반적인 영상에서 움직임을 찾는 법을 통해 새로운 GMoT 모듈을 가르쳤습니다.
도메인 적응(Domain Adaptation): 수천 개의 마이크로 제스처 영상을 보여주어 미세한 움직임의 특유한 언어를 학습하게 했습니다.
사고의 사슬(Chain-of-Thought, CoT) 학습: AI가 정답을 내놓기 전에 자신의 생각을 글로 쓰도록 가르쳤습니다. 단순히 "어깨 흔듦"이라고 말하는 대신, "어깨가 빠르게 위아래로 움직이는 것이 보이는데, 이는...을 나타낸다"라고 말해야 합니다.
보상 가이드 정교화(Reward-Guided Refinement): 이것은 마지막 다듬기 단계였습니다. AI가 (가장 흔한 답을 고르는 식의) "게으른 추측"을 하면 벌점을 주고, 실제 움직임에 집중하면 보상을 주는 점수 시스템을 구축했습니다. 만약 AI가 움직임을 보지 않고 배경이나 사람의 기분에 대해 이야기를 지어내면 벌칙을 받았습니다. 반대로 특정 신체 부위를 정확히 지목하면 보상을 받았습니다.

결과: 보이지 않는 것을 보다

팀은 두 가지 주요 마이크로 제스처 데이터셋인 iMiGUE와 SMG를 통해 새로운 시스템을 테스트했습니다.

iMiGUE 데이터셋에서, 그들의 모델(Qwen3-VL-8B 백본 기반)은 **67.32%**의 정확도를 달성했습니다. 이는 베이스 모델보다 6.80 포인트 향상된 수치로, 엄청난 도약이었습니다.
SMG 데이터셋에서는 **73.11%**의 정확도에 도달하며 베이스 모델보다 3.11 포인트 개선되었습니다.

이 수치들은 모델이 다른 모델들이 놓치는 찰나의 미세한 움직임을 포착하는 데 훨씬 뛰어나다는 것을 의미합니다. 하지만 팀은 점수에서 멈추지 않았습니다. 그들은 AI가 실제로 현실에 "근거(grounded)"하고 있는지 측정하는 새로운 방법을 도입했습니다. 그들은 AI가 정답을 맞혔을 때, 설명 속에 올바른 신체 부위(예: "입술" 또는 "어깨")를 언급했는지 확인했습니다. 이를 신체 영역 근거화(Body-Region Grounding, BRG) 재현율이라고 부릅니다. 그들의 모델은 단순히 짐작하는 것이 아니라, 실제로 올바른 곳을 바라보고 있음을 보여주었습니다.

이것이 왜 중요한가

이 논문은 AI가 인간의 행동을 진정으로 이해하기 위해서는 정적인 스냅샷에 의존하는 것을 멈추고, 움직임의 "깜빡임"에 주목해야 한다고 제안합니다. 미세한 움직임을 명시적으로 추적하는 시스템을 구축하고, AI가 그 움직임에 기반해 추론을 설명하도록 강제함으로써, 연구진은 환각 현상을 줄이고 인간 신체의 미묘하고 무언의 언어를 이해할 수 있는 모델을 만들어냈습니다. 이는 AI가 단순히 우리의 외형을 보는 것을 넘어, 우리가 무엇을 하고 있는지를 이해하는 단계로 나아가는 발걸음입니다.

기술 요약: 미세 제스처 비디오 추론을 위한 GMoT

문제 정의

미세 제스처 인식(Micro-gesture recognition, MGR)은 잠재적인 정서 및 인지 상태를 드러내는, 짧고 공간적으로 국소화된 인간의 움직임(예: 가벼운 어깨 으쓱임이나 입술 누르기)을 탐지하는 것을 포함합니다. 이러한 동작들은 낮은 진폭, 짧은 지속 시간, 그리고 단 몇 프레임에 불과할 수 있는 좁은 공간 영역이라는 특징을 가집니다.

현재의 멀티모달 거대 언어 모델(MLLM)은 강력한 일반 비디오 이해 능력을 갖추고 있음에도 불구하고, 다음과 같은 두 가지 주요 한계점으로 인해 MGR 수행에 어려움을 겪습니다:

정적 편향(Static Bias): 표준 비디오 MLLM은 희소한 시공간 샘플링과 시공간 풀링에 의존하며, 이 과정에서 미세한 운동학적 신호가 희석되거나 누락됩니다. 결과적으로 모델은 변별력 있는 움직임 단서(motion cues)보다는 "정적 자세 사전 지식"(예: 팔짱을 낀 자세를 보고 분류하는 것)에 의존하는 경향이 있습니다.
환각 추론(Hallucinated Reasoning): 명시적인 제약이 없다면, MLLM은 최종 분류 레이블을 만족시키기 위해 시각적으로 근거가 없는 그럴듯한 추론 과정("성급한 추측")을 생성하곤 합니다. 이는 근거에 기반한 설명을 제공하는 데 실패하게 만듭니다.

단일 데이터셋 내의 Top-1 정확도에만 초점을 맞춘 기존 평가 방식은 모델이 전이 가능한 미세 역동성을 실제로 포착하는지, 아니면 단순히 데이터셋 특유의 외형적 편향을 암기하는지를 검증하지 못합니다.

방법론: GMoT

저자들은 기존의 MLLM이 가진 사전 학습된 시각-언어 인터페이스를 방해하지 않으면서, 명시적인 운동학적 편향(kinematic bias)을 주입하기 위해 설계된 경량 모듈인 **GMoT(Gated Motion-Aware Tokenization)**를 제안합니다. GMoT는 세 가지 핵심 메커니즘을 통해 작동합니다.

1. 모션 인식 토큰화 (Motion-Aware Tokenization)

GMoT는 시각 스트림과 융합되기 전에 희소한 시공간 단서들을 압축된 모션 토큰 시퀀스로 증류합니다:

모션 유도 공간적 돌출성(Motion-Prompted Spatial Saliency): 경량 스코어러(scorer)가 패치 토큰을 투영하여 관련성 점수를 생성하고, 공간 소프트맥스(spatial softmax)를 적용하여 가중치가 부여된 프레임 레벨 표현을 생성합니다. 이는 배경 노이즈를 억제하면서 국소적인 움직임 증거를 증폭시키는 학습된 필터 역할을 합니다.
운동학 기반 시간 차분(Kinematics-Inspired Temporal Differencing): 복잡한 시간적 혼합(temporal mixing)에 의존하는 대신, GMoT는 명시적인 인접 프레임 간 시간 차분을 계산합니다. 이를 두 개의 스트림으로 분리하는데, 하나는 평균 크기(움직임 에너지를 정량화)이고 다른 하나는 부호가 있는 차이(방향성 운동학을 보존)입니다. 이들은 결합되어 고정된 길이의 모션 토큰으로 투영됩니다.
의미 보존 적응형 게이팅(Semantic-Preserving Adaptive Gating): 사전 학습된 MLLM의 정렬된 시각-의미 공간을 깨뜨리지 않기 위해, 모션 토큰은 보수적으로 초기화된 의미론적 게이트( $\tilde{z}_t = z_t + \sigma(g) \odot m_t$ )를 통해 융합됩니다. 이 게이트는 "거의 닫힌" 상태에서 시작하여, 모델이 얼마나 많은 움직임 증거를 도입할지 점진적으로 학습할 수 있도록 합니다.

2. 학습 전략

저자들은 모델을 단순 분류에서 근거 기반 추론으로 전환하기 위해 4단계의 점진적 학습 파이프라인을 채택합니다:

단계 0 (웜업, Warm-up): 모션 토큰 생성을 안정화하기 위해 LLM과 비전 인코더를 동결한 상태에서 일반 비디오 데이터셋을 사용하여 GMoT 모듈을 학습시킵니다.
단계 1 (비디오-레이블 쌍잉, Video-Label Pairing): 시각적 표현을 도메인 특화 의미론에 정렬하기 위해 LoRA를 사용하여 미세 제스처 비디오-레이블 쌍에 대해 지도 미세 조정(SFT)을 수행합니다.
단계 2 (CoT 형식 SFT): 모델이 관찰 가능한 움직임 증거에 집중된 연쇄 사고(Chain-of-Thought, CoT) 설명을 생성하도록 학습합니다. 이 단계에서는 여러 LMM이 후보 설명을 생성하고, 선택기(Selector, Qwen3-VL-MoE)가 클래스가 정확하고 시각적으로 근거가 있으며 환각이 없는 것을 선택하는 반자동 주석 파이프라인을 활용합니다.
단계 3 (보상 가이드 정책 정교화, Reward-Guided Policy Refinement): 그룹 상대 정책 최적화(GRPO)를 사용하는 강화 학습 단계입니다. 보상 함수( $R_i$ $R_{i}$ )는 네 가지 항을 결합합니다:
- 레이블 정확도 ( $R_{label}$ ): 정확한 일치에는 보상을 주고, 잘못된 추측에는 벌점을 주며, 도메인 외 환각에는 엄격한 벌점을 부여합니다.
- 게으른 예측 페널티 ( $R_{lazy}$ ): 모델이 고빈도 클래스를 반복적으로 추측함으로써 롱테일 분포를 악용하는 것을 방지합니다.
- 형식 준수 ( $R_{format}$ ): 출력이 요구되는 CoT 템플릿을 따르는지 확인합니다.
- 관찰 집중도 ( $R_{focus}$ ): 무관한 배경 키워드가 포함된 추론 과정에 벌점을 부여합니다.

주요 기여

GMoT 모듈: 무거운 3D 컨볼루션을 사용하지 않고도 MLLM에 공간적 돌출성, 명시적 시간 차분 및 게이트 융합을 통합하여 미세한 움직임을 포착할 수 있게 하는 새로운 토큰화 접근 방식을 제시합니다.
추론 중심 학습: 반자동 CoT 감독과 점진적 보상 가이드 정책 정교화 전략을 결드한 프레임워크를 제공합니다. 이는 해부학적 근거 제시를 장려하고 "게으른" 외형 기반 추측에 저항하도록 유도합니다.
광범위한 평가 프로토콜:
- 신체 부위 근거(Body-Region Grounding, BRG) 재현율: 올바르게 분류된 샘플에 대해 계산되는 새로운 지표로, 모델의 추론이 관련 해부학적 부위를 얼마나 정확하게 식별하는지 정량화합니다.
- 교차 도메인 전이: 데이터셋 변화 하에서의 강건성을 테스트하기 위해 iMiGUE와 SMG 데이터셋 간의 레이블 중첩 전이 프로토콜을 사용합니다.

실험 결과

본 방법론은 Qwen3-VL-8B 백본을 사용하여 iMiGUE 및 SMG 데이터셋에서 평가되었습니다.

Top-1 정확도: GMoT는 iMiGUE에서 67.32%, SMG에서 **73.11%**를 달성했습니다. 이는 베이스라인인 Qwen3-VL-8B 대비 각각 +6.80 및 +3.11 포인트의 향상을 나타냅/니다.
비교: GMoT가 증강된 모델은 비교된 모든 CNN, Transformer, 상태 공간 모델(SSM) 베이스라인 및 기타 MLLM(예: InternVL2.5, Video-LLaMA2)을 능가했습니다.
강건성: 모델은 레이블 보존 손상(label-preserving corruptions) 상황에서도 명확한 이득을 유지했으며, 강력한 교차 도메인 전이 능력을 입증했습니다.
근거 제시: 프레임워크는 제안된 BRG Recall로 측정했을 때 생성된 근거에서 높은 해부학적 근거 제시 능력을 보여주었습니다.

의의 및 주장

본 논문은 미세 제스처 인식이 순수하게 레이블 중심의 인식에서 근거 기반의 운동학적 추론으로 패러다임 전환이 필요하다고 주장합니다.

저자들은 GMoT가 약한 국소적 움직임을 압축된 토큰으로 명시적으로 추출함으로써 기존 비디오 MLLM의 고유한 "정적 편향"을 성공적으로 해결했다고 주장합니다. 환각에 벌점을 주고 해부학적 집중도에 보상을 주는 학습 체계를 강제함으로써, 이 프레임워크는 분류 정확도를 높일 뿐만 아니라 해석 가능하고 시각적으로 근거가 있는 설명을 생성합니다. 이 연구는 미세한 행동 분석을 위해서는 모델이 정적인 외형 패턴에 의존하는 것이 아니라, 무엇이 어떻게 변했는지에 주목하도록 강제되어야 함을 강조합니다.

저자들은 이 접근 방식이 상당한 개선을 보여주었지만, 미세 제스처 추론을 위해 특별히 설계되었으며 표현 적응과 관련된 지속 학습 방법론에서 영감을 얻긴 했으나 클래스 증분 학습 문제를 본질적으로 해결하는 것은 아니라고 언급했습니다. 모든 코드는 공개될 예정입니다.