💻 computer science

Continual Video-MLLM Adaptation over Evolving Domains

본 논문은 비디오-MLLM이 치명적 망각과 도메인 간 간섭을 방지하면서 지속적으로 진화하는 도메인에 적응할 수 있도록, 도메인 격리형 경량 전문가와 도메인 내 및 도메인 간 라우팅 메커니즘을 사용하는 매개변수 효율적인 프레임워크인 분포 인식 전문가 라우팅(DAER)을 제안한다.

원저자: Rui Cheng, Meixing Shi, Yuxiang Cai, Jingcai Guo, Jianwei Yin, Zhi Chen

게시일 2026-07-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rui Cheng, Meixing Shi, Yuxiang Cai, Jingcai Guo, Jianwei Yin, Zhi Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 똑똑한 로봇에게 영상을 통해 세상을 이해하는 법을 가르치고 있다고 상상해 보세요. 이 로봇은 "비디오 멀티모달 거대 언어 모델(Video-MLLM)"로, 이미 세상의 모든 책을 읽고 모든 영화를 본 천재적인 학생과 같습니다. 고양이가 레이저 포인터를 쫓는 모습이나 폭풍 속을 달리는 자동차에 대한 질문에 답할 줄 압니다. 하지만 여기 문제가 있습니다. 현실 세계에서 새로운 유형의 영상은 한꺼번에 나타나는 것이 아니라, 매일 하나씩 차례대로 도착한다는 점입니다. 오늘은 교통 카메라 영상이, 내일은 만화가, 그리고 다음 날은 물리 실험 영상이 올 수도 있습니다.

문제는 당신이 로봇에게 새로운 것을 가르칠 때, 로봇이 어제 배웠던 것을 종종 잊어버린다는 것입니다. 이것을 "파괴적 망각(catastrophic forgetting)"이라고 부릅니다. 이는 마치 학생이 수학 시험을 위해 공부해서 통과했지만, 새로운 수학에 너무 집중한 나머지 즉시 읽는 법을 잊어버리는 것과 같습니다. 이를 해결하기 위한 이전의 시도들은 로봇이 모든 것을 하나의 거대한 공유된 뇌에서 배우도록 만들려 했으나 이는 너무 많은 혼란을 야기했고, 혹은 로봇에게 나중에 다시 보여주기 위해 예전 영상들을 저장하려고 했으나 이는 너무 많은 메모리를 차지했습니다. 과학자들은 로봇이 과거의 기술을 잃지 않으면서도 새로운 것을 지속적으로 배울 수 있는 방법, 즉 방대한 옛 영상 도서관이 필요 없는 방법을 원했습니다.

여기에 연구진들이 DAER(Distribution-Aware Expert Routing, 분포 인식 전문가 라우팅)라고 불리는 영리한 해결책을 들고 등장했습니다. 로봇의 뇌를 결코 변하지 않는 거대하고 얼어붙은 도서관이라고 생각해 보세요. DAER는 도서관의 책을 새로 쓰는 대신, 도서관 밖에 위치한 일련의 작고 전문화된 "스터디 그룹" 또는 "전문가 팀"을 구축합니다. 각 팀은 교통 팀, 만화 팀, 과학 팀처럼 특정 유형의 영상에 특화되어 있습니다.

새로운 영상이 도착할 때, 시스템은 단순히 팀을 추측하지 않습니다. 대신, MMD(Maximum Mean Discrepancy, 최대 평균 편차)라는 특별한 "탐정" 도구를 사용합니다. MMD는 영상의 "분위기"를 맡을 수 있는 냄새를 맡는 탐지기라고 상상해 보세요. 만약 영상에서 번잡한 고속도로의 냄새가 난다면, 이 탐지기는 영상을 교통 팀으로 안내합니다. 만약 재미있는 만화의 냄새가 난다면, 그 영상은 만화 팀으로 향합니다. 이를 통해 교통 팀이 만화 때문에 혼란을 겪지 않고 오직 자동차에 대해서만 학습할 수 있도록 보장하며, 그 반대의 경우도 마찬가지입니다. 이는 학습 과정을 깨끗하게 유지하고 로봇이 기억을 뒤섞는 것을 방지합니다.

하지만 로봇이 영상을 보고 있을 때 그 영상의 카테고리 이름을 모른다면 어떻게 될까요? 문제없습니다. 시스템에는 영상의 고유한 지문(fancy way of saying it looks at the video's unique fingerprint)을 살펴보는 "판별 공간(discriminative space)"이라는 두 번째 탐정이 있어, 어떤 전문가 팀이 제 역할을 수행해야 할지 파악합니다. 훨씬 더 나아가, 만약 두 종류의 영상이 매우 유사하다면(예를 들어 서로 다른 종류의 교통 영상들), 시스템은 공간을 절약하기 위해 그들의 스터디 그룹을 부드럽게 병합할 수 있어 로봇이 너무 많은 팀을 갖느라 비대해지는 것을 막아줍니다.

연구진은 로봇에게 "교통 상황은 어떠한가?"부터 "왜 이 마술 트릭이 재미있는가?"까지 매우 다양한 열 가지 유형의 영상 질문을 가르치는 까다로운 과제로 이 아이디어를 테스트했습니다. 그들은 이 방법을 테스트하기 위해 두 개의 강력한 로봇 뇌를 사용했습니다. 결과는 인상적이었습니다. 가장 강력한 로봇 뇌 중 하나인 InternVideo2.5-8B에서, 그들의 방법은 평균 정확도를 **64.38%**에서 **67.59%**로 높였습니다. 더욱 중요한 것은, 이 방법이 로봇이 기존의 교훈을 잊어버리는 것을 막았다는 점입니다. 다른 방법들이 로봇이 알고 있던 것의 **1.81%**를 잊게 만든 반면, DAER는 망각을 **-0.14%**로 줄였습니다. 즉, 로봇이 모든 것을 완벽하게 기억했을 뿐만 아니라 기존 작업에서 오히려 약간 더 발전했다는 것을 의미합니다.

또한 연구진은 이 방법이 훨씬 더 효율적이라는 것을 보여주었습니다. 이전의 최고 방법이 3억 230만 개의 학습 가능한 파라미터와 영상 처리당 1.46초가 필요했던 반면, DAER는 단 1억 3,954만 개의 파라미터와 1.33초만을 필요로 했습니다. 이는 로봇이 더 빠르게 학습하고, 에너지를 덜 사용하며, 실행하기 위해 거대한 컴퓨터를 필요로 하지 않음을 의미합니다.

요약하자면, 이 논문은 메인 뇌를 얼어붙게 유지하고 데이터의 "냄새"에 의해 라우팅되는 스마트하고 전문화된 팀을 사용하는 것이, 변화하는 세상 속에서 AI가 정신을 놓지 않고 지속적으로 학습할 수 있게 한다는 것을 시사합니다. 연구진은 이 접근 방식이 하나의 뇌를 공유하거나 단순히 예전 영상을 재생하는 것보다 더 낫다는 것을 발견했으며, 영상 로봇이 매일 더 똑똑해질 수 있는 안정적이고 효율적인 방법을 제시했습니다.

기술 요약: 지속적 비디오 MLLM 적응을 위한 분포 인식 전문가 라우팅 (DAER)

1. 문제 정의

비디오 멀티모달 거대 언어 모델(Video-MLLM)은 비디오 이해 측면에서 강력한 능력을 입증했으나, 순차적으로 진화하는 도메인에 대한 적응 문제는 여전히 미개척 영역으로 남아 있다. 실제 배포 환경에서 비디오 데이터는 시각적 스타일, 장면 구성, 추론 요구 사항이 크게 변화하는 이질적인 도메인(예: 교통 장면, 교육용 만화, 추상적 추론)으로부터 지속적으로 유입된다.

핵심 과제는 **도메인 점진적 지속 학습(domain-incremental continual learning)**이다. 모델은 기존에 학습된 능력을 덮어쓰지 않으면서(파괴적 망각 방지) 새로운 도메인 특화 지식을 습득해야 하며, 도메인 간의 심각한 간섭 또한 겪지 않아야 한다. 기존 방식들은 다음과 같은 구체적인 한계에 직면해 있다:

**정규화 기반 방법(Regularization-based methods)**은 큰 도메인 변화가 발생할 때 어려움을 겪는다.
**재생 기반 방법(Replay-based methods)**은 높은 메모리 비용을 초래하고 개인정보 보호 문제를 일으킨다.
**프롬프트 및 어댑터 기반 방법(Prompt-based and Adapter-based methods)**은 공유된 적응 공간이나 소프트 파라미터 분할에 의존하는 경우가 많으며, 이는 매우 이질적인 도메인 간의 간섭을 방지하기에는 불충분하다.
태스크 정체성(Task Identity): 추론 시점에 명시적인 태스크 식별자가 없다는 점은 적절한 적응 모듈을 선택하는 데 실질적인 어려움을 준다.

2. 방법론: 분포 인식 전문가 라우팅 (DAER)

저자들은 엄격한 파라미터 격리와 분포 인식 라우팅을 결합한 파라미터 효율적 프레임워크인 DAER를 제안한다. 이 프레임워크는 일반적인 멀티모달 지식을 보존하기 위해 동결된 사전 학습된 비디오-MLLM 백본을 유지하며, 모든 점진적 학습을 도메인 특화된 경량 LoRA 스타일 전문가 풀(expert pools) 내로 제한한다.

주요 구성 요소:

도메인 격리 전문가 풀 (Domain-Isolated Expert Pools):
공유 어댑터 대신, DAER는 각 태스크에 전용된 경량 전문가 세트를 할당한다. 태스크 $t$ 를 학습하는 동안 이전 태스크의 파라미터는 (병합되지 않는 한) 동결된 상태로 유지되어, 현재 태스크를 위한 그래디언트 업데이트가 오래된 태스크의 파라미터 공간을 변화시키지 않도록 보장한다.
도메인 내 분포 인식 라우팅 (Intra-Domain Distribution-Aware Routing, IntraDAR):
도메인 내 미세한 전문화를 가능하게 하기 위해, DAER는 **최대 평균 불일치(Maximum Mean Discrepancy, MMD)**에 기반한 비매개변수적 라우팅 메커니즘을 사용한다.

입력 은닉 상태(hidden states)를 도메인 표현 공간으로 매핑한다.
각 전문가를 위한 **전문가 수준의 프로토타입 저장소(expert-level prototype reservoir)**를 유지한다.
커널 기반 유사도(MMD 최소화 근사)를 사용하여 입력 표현을 이러한 저장소와 매칭함으로써 라우팅 결정을 내린다. 이는 파라미터 게이팅 네트워크에 의존하는 대신, 현재 입력과 가장 잘 맞는 분포를 모델링하는 전문가를 활성화한다.

도메인 간 분포 인식 라우팅 (Inter-Domain Distribution-Aware Routing, InterDAR):
추론 시 태스크 식별자의 부재 문제를 해결하기 위해, DAER는 프로토타입 매칭을 통한 태스크 예측을 수행한다.

비디오 및 텍스트 시맨틱 표현을 집계하는 각 태스크별 도메인 수준 프로토타입 저장소를 유지한다.
매칭은 원시 특징 공간이 아닌, 판별적 부분 공간(discriminative subspace)(중복된 저분산 방향을 제거하고 도메인 간 마진을 확대하기 위해 2단계 투영을 통해 학습됨)에서 수행된다.
모델은 프로토타입 친화도가 가장 높은 도메인을 찾아 해당 전문가 풀을 활성화함으로써 태스크 ID를 예측한다.

적응형 도메인 병합 (Adaptive Domain Merging, ADM):
태스크 수에 따라 파라미터 수가 선형적으로 증가하는 것을 방지하기 위해, DAER는 병합 전략을 도입한다. 도메인 수준 프로토타입 저장소 간의 MMD를 사용하여 현재 태스크와 과거 태스크 간의 분포 불일치를 정량화한다. 불일치가 임계값 $\tau$ 미만인 경우, 현재 태스크의 전문가 파라미터를 가장 유사한 과거 태스크의 파라미터와 평균화한다.
2단계 최적화 전략 (Two-Stage Optimization Strategy):
학습을 안정화하고 콜드 스타트 불안정성을 피하기 위해 다음을 수행한다:

웜업 단계 (Warm-up Stage): 보조 게이팅 네트워크가 프로토타입 저장소를 초기화하고, MMD 라우팅 메커니즘에 의존하지 않고 안정적인 라우팅 공간을 구축한다.
주 학습 (Main Training): 전체 DAER 라우팅 메커니즘이 활성화되며, 전문가 파라미터는 표준 교차 엔트로피 손실을 사용하여 엔드투엔드로 최적화된다.

3. 실험 설정

벤치마크: 다양한 환경(MSVD, MSRVTT, Traffic, Pororo, SVQA, Physics, Magic, Humor, Creative, Abstraction)을 아우르는 10개의 VidQA 데이터셋으로 구성된 도메인 점진적 벤치마크.
백본: 두 가지 강력한 비디오-MLLM인 InternVideo2.5-8B와 VideoLLaMA3에서 평가.
지표: 평균 정확도( $A_t$ ) 및 역방향 망각( $BWF_t$ ).
베이스라인: Zero-Shot, Sequential Fine-tuning, 정규화 기반(LwF, EWC), 프롬프트 기반(L2P, CODA-Prompt, S-Prompts), 어댑터 기반(MoE-Adapters, DAM) 방법들과 비교.

4. 주요 결과

성능: InternVideo2.5-8B에서 DAER는 평균 정확도 **67.59%**를 달성하여, 가장 강력한 기존 베이스라인인 DAM(64.38%)보다 3.21% 높은 성능을 보였다.
망각: DAER는 역방향 망각을 -0.14(기존 태스크에 대한 약간의 개선을 의미)로 줄였으며, 이는 DAM의 1.81 및 2.48에서 4.24 사이의 다른 베이스라인들과 대조적이다.
일반화: VideoLLaMA3에서 DAER는 평균 정확도를 61.97%(DAM)에서 **63.79%**로 향상시키는 동시에 망각을 1.93에서 0.02로 줄였다.
강건성: 20개 태스크 설정(도메인을 서브 태스크로 분할)에서 DAER는 평균 정확도 65.89%와 음수의 망각 점수(-0.47)를 유지하며 DAM을 크게 앞질렀다.
효율성: DAER는 DAM의 302.30M 파라미터와 비교하여 139.54M의 학습 가능한 파라미터로 더 높은 정확도를 달est했다. 이는 학습 가능한 파라미터의 53.84% 감소와 GFLOPs의 92.67% 감소를 의미하며, 레이턴시는 유사한 수준을 유지했다.

5. 의의 및 주장

본 논문은 DAER가 진화하는 도메인 하에서 지속적인 비디오-MLLM 적응을 위한 효과적이고 확장 가능한 솔루션을 제공한다고 주장한다. 그 의의는 다음과 같다:

적응의 분리: 백본을 동결하고 격리된 전문가를 사용함으로써 도메인 특화 적응을 일반적인 멀티모달 지식으로부터 성공적으로 분리하였다.
분포 인식 라우팅: 명시적인 태스크 ID 없이도 이질적인 도메인 변화를 처리하는 데 있어 비매개변수적, MMD 기반 라우팅(도메인 내 및 도메인 간 모두)이 파라미터 게이팅보다 우수함을 입증하였다.
확장성: 적응형 도메인 병합을 통해 모델이 무한한 파라미터 증가 없이 긴 태스크 스트림을 처리할 수 있음을 증명하였다.
최고 수준의 성능(SOTA): 도메인 격리 전문가 적응과 분포 인식 라우팅을 결합하는 것이 강력한 안정성과 정확도를 창출함을 보여줌으로써, 도메인 점진적 지속 VidQA에 대한 새로운 성능 벤치마크를 확립하였다.

저자들은 자신들의 접근 방식이 사전 학습된 모델의 제로샷 능력을 대부분 보존하면서도, 명시적인 태스크 정체성 없이도 강력한 도메인 특화 적응을 수행하는 개방형 문제를 해결한다고 강조한다.