💻 computer science

Manta: Enhancing Mamba for Few-Shot Action Recognition of Long Sub-Sequence

이 논문은 Transformer 기반 방법의 계산 복잡성 문제와 Mamba 의 한계를 극복하기 위해, 지역 특징 표현을 강화하는 마트료시카 Mamba 와 내부 클래스 분산을 줄이는 하이브리드 대비 학습을 병렬로 결합한 'Manta' 프레임워크를 제안하여 장구간 비디오의 소수 샘플 행동 인식 성능을 획기적으로 개선했음을 보여줍니다.

원저자: Wenbo Huang, Jinghui Zhang, Guang Li, Lei Zhang, Shuoyuan Wang, Fang Dong, Jiahui Jin, Takahiro Ogawa, Miki Haseyama

게시일 2026-03-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenbo Huang, Jinghui Zhang, Guang Li, Lei Zhang, Shuoyuan Wang, Fang Dong, Jiahui Jin, Takahiro Ogawa, Miki Haseyama

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제점: 왜 기존 기술은 긴 영상을 못 봤을까?

기존의 인공지능 (Transformer 기반) 은 긴 동영상을 분석할 때 머리 (컴퓨터 성능) 가 너무 빨리 지쳐버립니다. 그래서 긴 영상을 잘게 쪼개어 8 프레임 (약 0.3 초) 만 보고 판단했습니다.

하지만 '절벽에서 다이빙하기' 같은 행동은 긴 시간 동안 이루어집니다.

문제 1 (중요한 순간 놓침): 긴 영상 중 '물속으로 떨어지는' 순간은 아주 짧지만 가장 중요합니다. 그런데 기존 AI 는 영상 전체를 한 번에 훑어보다가 이 중요한 순간을 놓치거나, '떨어지는' 시점이 영상마다 달라서 (시간 순서 불일치) 혼란을 겪습니다.
문제 2 (비슷한 것들의 차이): 같은 '다이빙' 행동이라도, 날씨가 다르고 카메라 각도가 다르면 영상의 색감이나 배경이 완전히 달라집니다. 영상 길이가 길어질수록 이런 작은 차이들이 쌓여서 (변동성 증가), AI 가 "아, 이건 같은 행동이야!"라고 판단하기 더 어려워집니다.

2. 해결책: Manta 의 두 가지 비밀 무기

저자들은 이 문제를 해결하기 위해 Manta라는 모델을 만들었습니다. 이름은 '마트료시카 인형'과 'Mamba(뱀)'를 합친 말입니다.

무기 1: 마트료시카 Mamba (내부 인형과 외부 인형)

이 모델은 영상을 한 번에 다 보는 게 아니라, 작은 조각부터 큰 흐름까지 여러 단계로 나누어 봅니다.

내부 인형 (Inner Module): 영상 조각 (예: 2 초, 4 초) 을 잘게 쪼개서 **가장 중요한 '국소적인 특징' (예: 손이 물에 닿는 순간)**을 집중적으로 찾아냅니다. 마치 요리사가 요리의 핵심 재료를 하나하나 맛보는 것과 같습니다.
외부 인형 (Outer Module): 이렇게 찾아낸 작은 조각들을 다시 하나로 이어붙여 시간의 흐름을 자연스럽게 연결합니다. "아, 이 조각이 저 조각보다 먼저 왔구나"라고 시간 순서를 맞춰주는 역할입니다.
효과: 중요한 순간을 놓치지 않으면서도, 긴 영상의 흐름을 자연스럽게 이해하게 됩니다.

무기 2: 하이브리드 대비 학습 (혼자서도, 함께도 배우기)

긴 영상에서 쌓이는 '차이 (변동성)'를 줄이기 위해 두 가지 학습 방식을 동시에 사용합니다.

지도 학습 (선생님이 있는 수업): "이건 A 행동, 저건 B 행동"이라고 정답을 알려주며 학습합니다.
비지도 학습 (스스로 공부): 정답이 없는 데이터도 함께 모아, "이건 저건 비슷해 보이네?"라고 스스로 그룹을 짓게 합니다.
효과: 비록 영상이 조금씩 다르더라도 (날씨, 조명 등), 핵심 행동은 같은 그룹으로 묶이도록 만들어서 오답을 줄입니다.

3. 결과: 왜 Manta 가 특별한가?

기존 모델들은 긴 영상을 처리하려다 **메모리 부족 (OOM)**으로 멈추거나, 성능이 급격히 떨어졌습니다. 하지만 Manta 는 다음과 같은 성과를 냈습니다.

긴 영상도 척척: 128 프레임 (약 4~5 초) 이 넘는 긴 영상에서도 성능이 떨어지지 않고 오히려 더 좋아졌습니다.
노이즈에 강함: 영상이 흐리거나, 불필요한 장면이 섞여 있어도 (비, 빛, 흔들림 등) 정확하게 행동이 무엇인지 알아냅니다.
빠른 속도: 복잡한 계산을 하지 않아도 되어, 기존 방식보다 훨씬 빠르게 작동합니다.

요약: 한 줄로 정리하면?

"Manta 는 긴 동영상을 볼 때, 중요한 순간을 놓치지 않도록 작은 조각부터 꼼꼼히 분석하고 (마트료시카), 영상의 작은 차이에도 흔들리지 않도록 스스로 그룹을 지어 학습하는 (하이브리드 학습) 똑똑한 AI 입니다."

이 기술은 감시 카메라, 헬스케어, 스포츠 분석 등 긴 영상을 실시간으로 이해해야 하는 모든 분야에 혁신을 가져올 것으로 기대됩니다.

논문 요약: Manta (Matryoshka MAmba and CoNtrasTive LeArning)

1. 문제 정의 (Problem Definition)

Few-Shot Action Recognition (FSAR) 의 한계: 기존 FSAR 연구는 주로 짧은 비디오 서브-시퀀스 (약 8 프레임) 에 의존합니다. Transformer 기반 방법론은 계산 복잡도 문제로 인해 긴 서브-시퀀스를 처리하기 어렵습니다.
긴 서브-시퀀스의 필요성: "절벽 다이빙"과 같은 행동은 전체 과정을 표현하기 위해 긴 서브-시퀀스가 필요하며, 이는 더 풍부한 맥락 정보를 제공합니다.
기존 Mamba 적용의 문제점:
1. 국소 특징 (Local Feature) 모델링 및 정렬 부재: Mamba 는 전역 특징 모델링에 중점을 두지만, 긴 시퀀스 내의 핵심 국소 특징 (예: '떨어지는' 순간) 은 시퀀스의 일부에 불과하며 시간적으로 정렬되지 않을 수 있습니다. 이를 무시하면 분류 오류가 발생합니다.
2. 클래스 내 분산 (Intra-class Variance) 누적: 긴 서브-시퀀스일수록 촬영 조건이나 후처리 등으로 인해 같은 클래스 내에서도 프레임 간 시각적 차이가 커지고, 이 분산이 누적되어 클러스터링을 어렵게 만듭니다.

2. 제안 방법론 (Methodology)

저자들은 Manta(Matryoshka MAmba and CoNtrasTive LeArning) 프레임워크를 제안하여 위 문제를 해결합니다.

A. Matryoshka Mamba (국소 특징 모델링 및 시간 정렬)
- Inner Module (내부 모듈): 긴 서브-시퀀스를 여러 조각 (fragments) 으로 나누어 각 조각에서 국소 특징을 강화합니다. Mamba-2 기반의 양방향 스캔 (Forward/Backward) 을 통해 국소적인 시간 의존성을 포착합니다.
- Outer Module (외부 모듈): 강화된 국소 특징들 간의 시간적 의존성을 포착하여 **암시적 시간 정렬 (Implicit Temporal Alignment)**을 수행합니다.
- 다중 스케일 (Multi-scale) 설계: 다양한 프레임 길이 ( $o$ ) 로 Inner Module 을 중첩 (Matryoshka doll 구조) 하여 다양한 크기의 국소 특징을 포착하고, 학습 가능한 가중치로 이를 융합합니다.
- 교차 거리 계산 (Cross Distance Calculation): 예측된 프로토타입과 쿼리 간의 거리를 계산할 때, 정방향과 역방향 정렬을 모두 고려하여 시간 정렬을 더욱 강화합니다.
B. 하이브리드 대비 학습 (Hybrid Contrastive Learning)
- 클래스 내 분산 누적의 부정적 영향을 완화하기 위해 **지도 (Supervised)**와 비지도 (Unsupervised) 방식을 결합한 대비 학습을 도입합니다.
- 지도 방식: 레이블이 있는 지원 세트 (Support Set) 에서 같은 클래스를 양 (+) 샘플, 다른 클래스를 음 (-) 샘플로 활용.
- 비지도 방식: 레이블이 없는 쿼리 세트 (Query Set) 와 모든 샘플을 대상으로 레이블 없이 유사성을 학습.
- 이를 통해 같은 클래스의 샘플이 밀집되고 다른 클래스는 분리되도록 하여 분산 문제를 해결합니다.
C. 전체 아키텍처
- 특징 추출 (Backbone) $\rightarrow$ Matryoshka Mamba Branch (정렬 및 특징 강화) $\rightarrow$ Contrastive Branch (분산 완화) $\rightarrow$ 교차 엔트로피 손실 ( $L_{ce}$ ) 과 대비 손실 ( $L_{hc}$ ) 의 가중 합으로 학습.

3. 주요 기여 (Key Contributions)

Matryoshka Mamba 제안: 긴 서브-시퀀스 FSAR 을 위해 국소 특징을 강화하고 암시적 시간 정렬을 수행하는 새로운 아키텍처를 설계했습니다.
하이브리드 대비 학습 패러다임: 레이블이 있는 데이터와 없는 데이터를 모두 활용하여 클래스 내 분산 누적을 완화하는 새로운 학습 전략을 제시했습니다.
SOTA 성능 달성: SSv2, Kinetics, UCF101, HMDB51 등 주요 벤치마크에서 새로운 최고 성능 (SOTA) 을 기록했으며, 특히 긴 서브-시퀀스 환경에서 기존 Transformer 기반 방법론을 압도했습니다.

4. 실험 결과 (Results)

성능: 다양한 Few-shot 설정 (1-shot, 5-shot) 에서 기존 최첨단 방법론 (TRX, HyRSM, MoLo, AMFAR 등) 보다 높은 정확도를 기록했습니다.
- 예: SSv2 1-shot 기준, ResNet-50 백본 사용 시 기존 SOTA(61.7%) 대비 63.4% 달성.
- ViT 및 VMamba 백본 사용 시에도 동급 또는 더 높은 성능을 보였습니다.
긴 서브-시퀀스 확장성: 프레임 수 ( $F$ ) 를 8 에서 128 까지 늘렸을 때, 기존 방법론들은 메모리 부족 (OOM) 이나 성능 저하를 보인 반면, Manta 는 128 프레임까지 안정적으로 성능을 유지하며 향상되었습니다.
강건성 (Robustness):
- 노이즈 테스트: 프레임 레벨 노이즈 (불필요한 프레임 삽입) 와 샘플 레벨 노이즈 (다른 클래스 샘플 혼입), 배경 노이즈 (빛, 비, 가우시안) 가 추가되었을 때 기존 방법론보다 성능 저하가 훨씬 적었습니다.
- 복잡한 작업: 클래스 수 ( $N$ ) 가 증가하는 복잡한 작업에서도 성능이 급격히 떨어지지 않고 안정적으로 유지되었습니다.
계산 효율성: Transformer 기반 방법론에 비해 단일 GPU 에서 추론 속도가 훨씬 빠르며, 계산 복잡도가 낮습니다.

5. 의의 및 결론 (Significance)

긴 서브-시퀀스 FSAR 의 새로운 패러다임: 기존 Transformer 의 계산 한계를 극복하고, Mamba 의 효율성을 FSAR 에 성공적으로 적용하여 긴 비디오 시퀀스를 효과적으로 처리할 수 있음을 증명했습니다.
국소 특징과 시간 정렬의 중요성 강조: 긴 시퀀스에서도 핵심 국소 특징을 포착하고 시간적으로 정렬하는 것이 정확도 향상의 핵심임을 입증했습니다.
실용성: 낮은 계산 비용과 높은 강건성으로 인해 실제 환경 (감시, 헬스케어 등) 에서의 Few-Shot Action Recognition 적용 가능성을 크게 높였습니다.

이 논문은 Mamba 아키텍처와 대비 학습을 결합하여 Few-Shot Action Recognition 의 핵심 난제인 '긴 시퀀스 처리'와 '클래스 내 분산' 문제를 동시에 해결한 획기적인 연구로 평가됩니다.