Multimodal Knowledge Distillation for Egocentric Action Recognition Robust to Missing Modalities

이 논문은 모든 모달리티가 존재하지 않아도 되는 강인한 1 인칭 시점 행동 인식을 위해, 멀티모달 교사 모델의 지식을 배운 KARMMA 프레임워크를 제안하여 다양한 센서 구성에서도 재학습 없이 효율적으로 배포할 수 있음을 보여줍니다.

핵심

🤖 로봇의 눈과 귀: "KARMMA"란 무엇인가요?

상상해 보세요. 로봇이 주방에서 요리하는 사람의 행동을 지켜본다고 칩시다. 로봇은 사람의 **눈 (비디오)**과 **귀 (소리)**를 통해 상황을 파악합니다.

• 기존의 문제점: 대부분의 로봇은 "눈과 귀가 모두 정상적으로 작동할 때만" 잘 작동합니다. 하지만 실제로는 카메라가 고장 나거나, 마이크가 꺼져 있거나, 소음이 심해서 소리를 못 듣는 경우가 많습니다. 이때 기존 로봇들은 "아, 데이터가 하나 없네? 그럼 아예 망했어!"라고 생각하며 행동을 못 알아봅니다.
• KARMMA 의 해결책: KARMMA 는 "눈이 안 보여도 귀로, 귀가 안 들려도 눈으로" 상황을 파악할 수 있도록 훈련시킨 새로운 로봇 두뇌입니다. 어떤 센서가 고장 나더라도 로봇이 멈추지 않고 계속 일할 수 있게 해줍니다.

🎓 "선생님"과 "학생"의 특별한 수업 (지식 증류)

이 기술의 핵심은 **'지식 증류 (Knowledge Distillation)'**라는 개념을 사용합니다. 마치 학교에서 훌륭한 선생님이 작은 학생에게 지식을 전수하는 과정과 비슷합니다.

1. 거대한 선생님 (Teacher):

   • 이 선생님은 모든 감각 (비디오, 소리, 흐름 등) 을 다 갖춘 거대한 두뇌입니다.
   • 하지만 이 선생님은 너무 무겁고 느려서, 작은 로봇 (에지 디바이스) 에 직접 넣기엔 무겁습니다.
   • 중요한 점은, 이 선생님은 이미 훈련된 고정된 눈과 귀를 가지고 있어서, 새로운 센서가 생기더라도 다시 처음부터 가르칠 필요가 없다는 것입니다.

2. 똑똑한 학생 (Student):

   • 이 학생은 선생님보다 훨씬 작고 가볍습니다. 로봇의 몸체에 바로 장착할 수 있을 정도로 빠릅니다.
   • 미션: 학생은 선생님의 모든 지식을 배워야 하지만, 선생님이 가르칠 때 "눈이 가려진 상황"이나 "귀가 막힌 상황"도 연습해야 합니다.
   • 결과적으로 학생은 어떤 센서가 고장 나더라도, 남은 센서만으로도 선생님의 수준에 가까운 판단을 내릴 수 있게 됩니다.

🛠️ KARMMA 가 사용하는 3 가지 비밀 무기

이 시스템이 어떻게 그렇게 똑똑해졌는지, 세 가지 비법을 소개합니다.

1. "실전 훈련" (모달리티 드롭아웃)

• 비유: 축구 선수가 연습할 때, 항상 완벽한 날씨와 상태가 아니라 비 오는 날, 다리가 아픈 날, 눈이 가려진 날에도 훈련을 시키는 것과 같습니다.
• 효과: KARMMA 는 훈련 과정에서 일부 센서를 일부러 꺼버리는 연습을 시킵니다. 덕분에 실제 로봇이 작동할 때 센서가 고장 나도 당황하지 않고 대처할 수 있습니다.

2. "빈 자리 채우기" (누락된 모달리티 전략)

• 비유: 팀 미팅에서 한 사람이 말을 못 하면, 다른 사람이 그 사람의 역할을 대신해 주는 것처럼요.
• 효과: 만약 오디오 데이터가 없다면, AI 는 "오디오가 없다는 사실"을 인식하고, 그 빈자리를 채울 수 있는 **특별한 신호 (학습된 토큰)**를 자동으로 넣어줍니다. 그래서 데이터가 없어도 네트워크가 멈추지 않고 계속 작동합니다.

3. "불필요한 정보 정리" (토큰 축소)

• 비유: 책상 위에 산더미처럼 쌓인 서류를 정리할 때, 중요한 것만 남기고 나머지는 요약해서 정리하는 것과 같습니다.
• 효과: 로봇이 처리해야 할 정보 (데이터) 가 너무 많으면 계산이 느려집니다. KARMMA 는 중요한 정보만 남기고 불필요한 부분을 자동으로 줄여서, 계산 속도는 2 배 빠르게, 메모리 사용량은 절반으로 줄였습니다.

🏆 왜 이 기술이 중요한가요?

1. 실제 로봇에 딱 맞습니다: 로봇은 항상 완벽한 환경에서 작동하지 않습니다. 카메라가 가려지거나 마이크가 고장 날 수 있는데, KARMMA 는 이런 상황에서도 안정적으로 작동합니다.
2. 한 번 훈련으로 끝납니다: 기존에는 센서 조합마다 (비디오만, 소리만, 둘 다 등) 모델을 따로 만들어야 했지만, KARMMA 는 하나의 모델로 모든 상황을 다 처리합니다.
3. 빠르고 가볍습니다: 거대한 서버가 아니라, 로봇 자체 (에지 디바이스) 에서 실시간으로 빠르게 판단할 수 있게 만들어줍니다.

📝 한 줄 요약

"KARMMA 는 로봇에게 '눈이 가려져도 귀로 듣고, 귀가 막혀도 눈으로 보며' 상황을 판단하는 능력을 가르쳐주는, 가볍고 튼튼한 새로운 두뇌입니다."

이 기술 덕분에 앞으로 로봇은 우리 집이나 공장, 병원 등에서 더 안전하고 유연하게 우리와 함께 일할 수 있게 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 자전적 행동 인식 (Egocentric Action Recognition): 로봇이 인간과 상호작용하거나 작업 진행 상황을 모니터링하기 위해 1 인칭 시점 (First-person view) 의 영상을 이해하는 기술입니다.
• 기존 방법의 한계:
  • 대부분의 기존 연구는 RGB 비디오만 사용하거나, 모든 모달리티 (오디오, 광학 흐름 등) 가 추론 (Inference) 시점에 항상 존재한다고 가정합니다.
  • 실제 로봇 환경에서는 카메라 가림 (Occlusion), 마이크 음소거, 센서 고장, 개인정보 보호 정책 등으로 인해 특정 모달리티가 실시간으로 결손 (Missing) 되는 경우가 빈번합니다.
  • 이러한 결손이 발생하면 기존 다중 모달 모델의 성능이 급격히 저하되거나 아예 작동하지 않는 문제가 발생합니다.
• 핵심 과제: 모든 모달리티가 존재할 때 높은 정확도를 유지하면서도, 일부 모달리티가 결손되더라도 강인하게 작동하는 경량화 모델을 개발하는 것입니다. 또한, 학습 및 추론 시 모달리티 정렬 (Alignment) 이 필요 없는 유연한 구조가 요구됩니다.

2. 제안 방법: KARMMA (Methodology)

저자들은 KARMMA (Knowledge distillation framework for egocentric Action Recognition robust to Missing ModAlities) 라는 새로운 다중 모달-to-다중 모달 지식 증류 (Multimodal-to-Multimodal Distillation) 프레임워크를 제안했습니다.

A. 아키텍처 구성

1. Teacher (교사 모델):
   • 고정된 (Frozen) 사전 학습된 단일 모달리티 인코더 (Feature Extractors, FEs) 들을 결합하여 구성됩니다.
   • Transformer 기반의 Fusion Block (FB) 을 사용하여 다양한 모달리티를 융합합니다.
   • 학습 시에는 Feature Extractors 는 고정하고 Fusion Block 만 학습하여 새로운 인코더 통합을 용이하게 합니다.
2. Student (학생 모델):
   • Teacher 로부터 지식을 전달받는 경량화 모델입니다.
   • Teacher 보다 작은 Feature Extractors 와 더 컴팩트한 Fusion Block 을 사용합니다.
   • 핵심 특징: 학습 및 추론 시 임의의 모달리티 부분집합 (Subset) 으로 작동 가능합니다.

B. 주요 기술적 혁신

1. 모달리티 드롭아웃 (Modality Dropout) 적용:
   • Teacher 와 Student 모두 학습 시 확률적으로 모달리티를 제거하여, 모델이 특정 모달리티에 과도하게 의존하지 않도록 합니다.
   • 이를 통해 데이터셋 내 모달리티 정렬이 불완전한 경우에도 학습이 가능합니다.
2. 결손 모달리티 처리 전략 (Missing Modality Strategy):
   • 결손된 모달리티를 보상하기 위해 두 가지 학습 가능한 토큰을 도입합니다:
     • 모달리티별 토큰 ($\breve{t}_m$): 각 모달리티를 식별하는 역할 (위치 인코딩과 유사).
     • 토큰별 토큰 ($\bar{t}^m_i$): 모달리티가 결손되었을 때 이를 보상하는 토큰.
   • 이 전략은 입력 크기를 변경하지 않으면서 네트워크가 임의의 결손 패턴을 처리할 수 있게 합니다.
3. 토큰 축소 전략 (Token Reduction - $\Theta$-Average):
   • Self-attention 의 계산 비용이 토큰 수에 따라 제곱으로 증가하는 문제를 해결하기 위해, 인접한 토큰들을 평균화하여 토큰 수를 임계값 ($\Theta$) 으로 제한하는 파라미터 없는 (Parameter-free) 전략을 사용합니다.
4. 지식 증류 (Knowledge Distillation):
   • Teacher 의 클래스 확률 분포와 Student 의 분포를 KL-Divergence 로 정렬하여 지식을 전달합니다.
   • 손실 함수는 교차 엔트로피 (Task supervision) 와 KL-Divergence (Teacher supervision) 를 가중치 $\alpha$로 조절하여 결합합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 증류 프레임워크: 학습 및 추론 시 모달리티 정렬이 필요 없는 다중 모달-to-다중 모달 증류 프레임워크를 최초로 제안했습니다.
2. 강인한 경량 모델: 결손 모달리티를 명시적으로 고려하여, 재학습 없이도 다양한 센서 구성에서 작동 가능한 경량이고 빠른 학생 모델을 생성합니다.
3. 유연한 Teacher 설계: Teacher 는 사전 학습된 단일 모달리티 인코더를 고정 (Frozen) 하여 융합하므로, 새로운 인코더가 등장할 때 재학습 없이 쉽게 통합할 수 있습니다.
4. 효율적인 토큰 축소: 정확도 손실 없이 계산 비용을 획기적으로 줄이는 간단한 토큰 축소 전략을 제시했습니다.

4. 실험 결과 (Results)

• 데이터셋: Epic-Kitchens-100 (RGB, 광학 흐름, 오디오) 및 Something-Something V2 (RGB, 광학 흐름, 객체 탐지 주석).
• 성능 비교:
  • 결손 모달리티 강인성: 모달리티가 90% 결손된 상황에서도 KARMMA Student 는 Baseline 모델보다 Epic-Kitchens 에서 약 2%, Something-Something 에서 약 12% 높은 정확도를 기록하며 성능 저하를 크게 완화했습니다.
  • 전체 모달리티 사용 시: 모든 모달리티가 존재할 때에도 Teacher 보다 높은 정확도를 달성했습니다 (Student 가 Feature Extractors 를 미세 조정 (Fine-tune) 하기 때문).
  • SOTA 비교: 기존 최첨단 (SOTA) 인 Multimodal-to-Unimodal 증류 방법 (Radevski et al.) 보다 유연성이 뛰어납니다. 기존 방법은 추론 시 RGB 만 사용하지만, KARMMA 는 임의의 모달리티 조합으로 추론이 가능합니다.
• 자원 효율성:
  • Student 모델은 Teacher 대비 약 50% 적은 메모리와 계산량 (GFLOPs) 을 요구합니다.
  • 특히 오디오만 사용하는 경우, Student 가 사용하는 작은 인코더 (AST-T) 로 인해 Teacher (Swin-T) 대비 메모리 사용량이 극적으로 감소합니다.

5. 의의 및 결론 (Significance)

• 로봇 배포 적합성: 이 연구는 실제 로봇 환경 (Edge/On-device) 에서 발생할 수 있는 센서 고장이나 가림 문제를 해결할 수 있는 실용적인 솔루션을 제공합니다.
• 유연성: 별도의 재학습 없이 다양한 센서 구성 (예: 카메라만 있는 경우, 오디오만 있는 경우, 둘 다 있는 경우) 에 동일한 모델을 적용할 수 있어 시스템 통합 비용을 절감합니다.
• 미래 전망: 인간 - 로봇 상호작용 (HRI) 및 감시 시스템 등 다양한 분야에서 신뢰할 수 있는 지각 (Perception) 시스템을 구축하는 데 중요한 기여를 할 것으로 기대됩니다.

요약하자면, KARMMA는 결손된 센서 데이터에도 불구하고 높은 정확도를 유지하면서 계산 자원을 효율적으로 사용하는 차세대 자전적 행동 인식 모델로, 실제 로봇 응용 분야에 매우 적합한 기술적 진보를 이루었습니다.