A Heterogeneous Two-Stream Framework for Video Action Recognition with Comparative Fusion Analysis
이 논문은 RGB와 광학 흐름(Optical Flow)의 서로 다른 특성을 고려하여 각각 ViT-Tiny와 MobileNetV2를 사용하는 이기종(heterogeneous) 2-스트림 구조인 'DualStreamHybrid'를 제안하고, 다양한 융합 전략을 통해 데이터셋 규모에 따라 최적의 융합 방식이 달라짐을 입증했습니다.
기존의 AI들은 이 두 가지를 볼 때 **똑같은 안경(모델 구조)**을 쓰고 봤습니다. 하지만 이 논문의 저자들은 이렇게 말합니다.
"테니스 라켓의 색깔을 보는 눈과, 팔이 휘둘러지는 궤적을 보는 눈은 달라야 하지 않을까?"
그래서 이들은 **'이질적인(Heterogeneous) 두 개의 눈'**을 만들었습니다.
RGB 눈 (ViT-Tiny): 마치 아주 정밀한 '사진 작가' 같습니다. 전체적인 풍경과 물체의 모양을 아주 세밀하게 잡아냅니다.
움직임 눈 (MobileNetV2): 마치 민첩한 '운동선수' 같습니다. 복잡한 풍경보다는 물체가 어디로, 어떻게 휙휙 움직이는지 그 '흐름'에만 집중합니다.
2. 융합 전략: "두 전문가의 의견을 어떻게 합칠 것인가?"
두 명의 전문가(사진 작가와 운동선수)가 각자 의견을 냈을 때, 이를 하나로 합치는 방법(Fusion)을 5가지 방식으로 실험했습니다.
방법 1. 단순 투표 (Late Fusion): "사진 작가가 '축구'라 하고, 운동선수가 '농구'라 하면 그냥 반반씩 믿자."
방법 2. 이어 붙이기 (Concatenation): "두 사람의 의견을 그냥 한 줄로 길게 이어 붙여서 보자."
방법 3. 서로 질문하기 (Cross-Attention):(이 논문의 우승 후보!) 사진 작가가 운동선수에게 묻습니다. "내가 지금 테니스 코트를 보고 있는데, 네가 보는 움직임 중에 테니스 스윙 같은 게 있어?" 라고 서로의 정보를 주고받으며 확인하는 방식입니다.
방법 4. 비중 조절하기 (Weighted Fusion):(가장 안정적인 방법!) "이 상황에선 사진 작가의 말이 55%, 운동선수의 말이 45% 정도 중요해!"라고 점수를 매겨 합치는 방식입니다.
방법 5. 필터링하기 (Gated Fusion): "중요한 정보만 통과시키고 나머지는 차단하자!"라고 문지기 역할을 하는 방식입니다.
3. 실험 결과: "상황에 따라 정답이 다르다!"
연구팀은 두 가지 시험지(UCF11, UCF50)로 테스트를 했습니다.
문제가 쉬울 때 (UCF11 - 11개 동작):
'서로 질문하기(Cross-Attention)' 방식이 최고였습니다. 정보가 적을 때는 두 전문가가 서로 꼼꼼하게 물어보며 확인하는 것이 가장 정확했기 때문입니다.
문제가 어려울 때 (UCF50 - 50개 동작):
'비중 조절하기(Weighted Fusion)' 방식이 가장 믿음직했습니다. 문제가 복잡해지면 너무 깊게 질문하는 것보다, 각자의 전문성에 맞춰 적절히 무게중심을 잡는 것이 훨씬 안정적이었습니다.
4. 요약하자면?
이 논문은 **"모습을 보는 눈과 움직임을 보는 눈은 서로 다른 특성을 가져야 하며, 그 둘을 합칠 때는 데이터가 적으면 서로 대화하게 만들고(Attention), 데이터가 많아지면 적절히 비중을 나누는 것(Weighted)이 가장 좋다"**는 것을 증명했습니다.
마치 **"정밀한 사진가와 민첩한 운동선수를 한 팀으로 묶어, 상황에 따라 대화를 시키거나 역할 분담을 시키는 것이 최고의 영상 분석 팀을 만드는 비결"**이라고 말하는 것과 같습니다!
[기술 요약] 비교 융합 분석을 통한 비디오 행동 인식을 위한 이종(Heterogeneous) 투 스트림 프레임워크
1. 문제 정의 (Problem Statement)
기존의 비디오 행동 인식(Video Action Recognition) 분야에서 사용되는 대부분의 투 스트림(Two-stream) 네트워크는 RGB 스트림과 광학 흐름(Optical Flow) 스트림에 동일한 백본(Backbone) 구조를 적용합니다. 하지만 저자들은 두 모달리티(Modality)가 가진 구조적 특성이 근본적으로 다르다는 점에 주목합니다.
RGB 프레임: 전역적인 외형(Appearance), 장면 맥락, 객체 존재 여부 등 풍부한 공간적 정보를 포함하며, 이는 Vision Transformer(ViT)와 같은 어텐션 메커니즘에 적합합니다.
광학 흐름(Optical Flow): 인접한 픽셀 간의 국소적인(Local) 움직임 패턴을 인코딩하며, 이는 합성곱 신경망(CNN)의 필터 구조에 더 적합합니다.
기존 방식처럼 두 스트림에 동일한 구조를 강요하는 것은 각 모달리티의 고유한 특성을 제대로 활용하지 못한다는 한계가 있습니다.
2. 제안 방법론 (Methodology: DualStreamHybrid)
본 논문은 각 모달리티의 특성에 최적화된 백본을 사용하는 이종 구조인 DualStreamHybrid를 제안합니다.
A. 아키텍처 구성
RGB Appearance Stream: 사전 학습된 ViT-Tiny/16을 사용하여 단일 프레임에서 전역적인 공간 관계를 포착합니다.
Optical Flow Motion Stream: 20채널로 쌓인 광학 흐름 데이터를 입력받는 MobileNetV2를 사용합니다. 이는 파라미터 수가 적어 데이터가 제한적인 상황에서 처음부터(from scratch) 학습하기에 적합하며, 국소적 움직임을 효과적으로 포착합니다.
Projection Layer: 두 스트림의 출력 차원(ViT: 192차원, MobileNetV2: 1280차원)이 다르기 때문에, 이를 동일한 192차원으로 맞추기 위한 학습 가능한 투영 층을 도입합니다.
B. 5가지 융합 전략 (Fusion Strategies)
두 스트림의 특징을 결합하기 위해 다음 다섯 가지 방식을 비교 분석했습니다.
Late Fusion: 각 스트림의 소프트맥스(Softmax) 예측값을 평균냄.
Concatenation Fusion: 두 벡터를 이어 붙인 후 MLP를 통과시킴.
Cross-Attention Fusion: RGB 특징을 Query로, Flow 특징을 Key/Value로 사용하여 상호작용을 모델링함.
Weighted Fusion: 학습 가능한 스칼라 가중치(α)를 통해 두 스트림의 기여도를 조절함.
Gated Fusion: 차원별로 게이트(Gate)를 생성하여 각 모달리티의 정보를 선택적으로 결합함.
3. 주요 기여 (Key Contributions)
이종 백본 설계: 모달리티의 특성에 맞춰 ViT(RGB)와 CNN(Flow)을 결합한 새로운 투 스트림 구조를 제안했습니다.
체계적인 융합 비교: 동일한 조건 하에서 5가지 융합 전략을 통제된 환경에서 비교하여, 데이터셋 규모에 따른 최적의 전략을 규명했습니다.
데이터 규모에 따른 통찰 제공: 데이터셋의 크기(UCF11 vs UCF50)에 따라 최적의 융합 방식이 달라짐을 실험적으로 증명했습니다.
해석 가능한 모달리티 기여도: Weighted Fusion을 통해 각 모달리티가 행동 인식에 기여하는 비중을 수치화하여 보여주었습니다.
4. 실험 결과 (Results)
실험은 두 가지 규모의 데이터셋(UCF11, UCF50)에서 수행되었습니다.
UCF11 (소규모 데이터셋):
Cross-Attention 방식이 **98.12%**로 가장 높은 정확도를 기록했습니다.
이는 데이터가 적을 때 명시적인 상호 어텐션 메커니즘이 모달리티 간의 관계를 학습하는 데 매우 효과적임을 시사합니다.
UCF50 (대규모 데이터셋):
Weighted Fusion 방식이 **96.86%**로 가장 높은 정확도를 기록하며 가장 안정적인 성능을 보였습니다.
데이터셋이 커지고 클래스가 다양해질수록, 복잡한 융합 모델(Attention, Gated)보다 파라미터가 적고 최적화가 쉬운 Weighted Fusion이 더 유리함을 확인했습니다.
모달리티 비중 변화:
UCF11에서는 RGB와 Flow의 기여도가 거의 비슷했으나, UCF50에서는 RGB의 기여도(αRGB)가 더 높아졌습니다. 이는 클래스가 많아질수록 객체의 외형 정보가 더 중요한 판별 근거가 되기 때문입니다.
5. 의의 및 결론 (Significance & Conclusion)
본 연구는 **"모든 모달리티에 동일한 아키텍처를 적용할 필요가 없다"**는 점을 입증했습니다.
실무적 가이드라인: 연구자는 데이터셋의 규모와 학습 예산에 따라 융합 전략을 선택해야 합니다. 데이터가 적고 정교한 상호작용이 필요하면 Cross-Attention을, 데이터가 크고 안정적인 성능이 중요하다면 Weighted Fusion을 사용하는 것이 권장됩니다.
한계 및 향후 과제: Farneback 알고리즘 기반의 광학 흐름이 비디오 압축 노이즈에 취약하다는 점을 발견했으며, 향후 RAFT와 같은 딥러닝 기반 광학 흐름 추정기를 도입하여 성능을 더욱 높일 수 있음을 제시했습니다.