Multimodal Continual Learning with MLLMs from Multi-scenario Perspectives

이 논문은 다양한 시각 환경에서의 변화에 적응하면서도 망각을 방지하기 위해 새로운 데이터셋 MSVQA 와 비전 표현 확장 및 일관성 제약을 활용한 UNIFIER 라는 지속적 학습 프레임워크를 제안합니다.

핵심

이 논문은 **"멀티모달 대규모 언어 모델 (MLLM)"**이라는 똑똑한 AI 가, 우리가 매일 마주치는 다양한 환경에서 계속 배워나가면서도 이전 지식을 잊어버리지 않도록 도와주는 새로운 방법과 데이터를 소개합니다.

간단히 말해, **"AI 가 새로운 세상을 배울 때, 예전에 배운 걸 잊지 않고 오히려 더 똑똑해지는 비법"**을 찾아낸 연구입니다.

이 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 문제 상황: "새로운 집을 옮기면, 예전 집의 기억이 사라진다?"

상상해 보세요. 당신이 아주 똑똑한 사진 분석가 (AI) 라고 칩시다.

• 과거: 당신은 하늘에서 찍은 위성 사진을 보며 비행기를 세는 법을 배웠습니다.
• 현재: 이제 물속으로 들어가서 물고기를 세는 일을 배워야 합니다.

일반적인 AI 는 새로운 환경 (물속) 을 배우는 과정에서, 이전에 배운 기술 (하늘에서 비행기 찾기) 을 완전히 잊어버리거나 혼동합니다. 이를 연구자들은 **'재앙적 망각 (Catastrophic Forgetting)'**이라고 부릅니다. 마치 새로운 언어를 배우느라 모국어를 잊어버리는 것처럼요.

또한, 기존 AI 들은 "하늘 사진"과 "물속 사진"을 섞어서 배우면, 어느 것이 비행기이고 어느 것이 물고기인지 헷갈려서 엉뚱한 대답을 하거나 아예 못 찾습니다.

2. 해결책: "UNIFIER"라는 새로운 교육 시스템

이 연구팀은 UNIFIER라는 새로운 시스템을 제안했습니다. 이를 스마트한 도서관 사서에 비유해 볼까요?

• 기존 방식 (혼란): 모든 책 (이미지) 을 한 선반에 뒤죽박죽 섞어두면, 새로운 책을 넣을 때 예전 책들이 밀려나서 찾기 어려워집니다.
• UNIFIER 방식 (정리):
  1. 별도의 서랍 (VRE): 하늘 사진, 물속 사진, 드론 사진, 실내 사진 등 각각의 환경에 맞는 전용 서랍을 따로 만듭니다. 새로운 환경이 들어오면 그 환경만의 서랍에 지식을 쌓습니다.
  2. 공유된 지도 (VCC): 하지만 각 서랍이 완전히 고립되면 서로 도움을 줄 수 없습니다. 그래서 **모든 서랍의 내용을 한눈에 볼 수 있는 '공유 지도'**를 만들어서, 서로의 지식을 연결해 줍니다.
  3. 부드러운 규칙: "너는 절대 이걸 잊으면 안 돼!"라고 강제로 억누르는 대신, **"전체적인 흐름은 유지하면서 새로운 지식을 받아들여라"**라고 부드럽게 가르칩니다.

이 덕분에 AI 는 새로운 환경 (예: 물속) 을 배우면서도, 예전 환경 (예: 하늘) 에서의 실력은 떨어지지 않고 오히려 서로 보완하게 됩니다.

3. 새로운 시험지: "MSVQA" (다양한 상황의 시험)

연구팀은 이 능력을 검증하기 위해 MSVQA라는 새로운 데이터셋을 만들었습니다.

• 기존 시험: "이 사진에 사과가 몇 개 있나요?"처럼 단순하고 배경이 깨끗한 문제만 냈습니다.
• 새로운 시험 (MSVQA):
  • 하늘: 위성 사진 속의 비행기 찾기 (작고 멀리 있음)
  • 물속: 흐릿한 물속에서 물고기 찾기 (색깔이 비슷하고 흐림)
  • 드론: 낮은 고도에서 차량 찾기 (장애물이 많음)
  • 실내: 1 인칭 시점의 주방에서 요리 행동 찾기 (복잡한 배경)

이처럼 실제 세상처럼 복잡하고 다양한 상황에서 AI 가 얼마나 잘 적응하는지 시험하는 것입니다.

4. 결과: "기존 방법보다 훨씬 똑똑해졌다"

실험 결과, UNIFIER 를 사용한 AI 는 다음과 같은 성과를 냈습니다.

• 기존 AI: 새로운 환경을 배우면 예전 환경에서 실수가 급격히 늘어났습니다 (망각).
• UNIFIER AI: 새로운 환경도 잘 배우면서, 예전 환경에서의 실력은 오히려 더 좋아졌습니다.
  • 마치 요리사가 새로운 재료 (물고기) 를 배우면서, 예전 재료 (고기) 를 다루는 실력도 함께 향상된 것과 같습니다.

5. 요약: 왜 이것이 중요한가요?

우리의 스마트폰이나 자율주행차 같은 AI 는 매일매일 새로운 날씨, 새로운 장소, 새로운 상황을 마주칩니다.
이 연구는 **"AI 가 평생 학습을 하더라도, 배운 것을 잊지 않고 다양한 상황에 유연하게 적응할 수 있다"**는 것을 증명했습니다.

한 줄 요약:

**"새로운 세상을 배울 때 예전 지식을 잃어버리지 않고, 오히려 서로 돕게 만들어 AI 를 더 똑똑하고 튼튼하게 만든 비법"**입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 멀티모달 대규모 언어 모델 (MLLM) 은 주로 고정된 시나리오와 단순한 질문 (예: 객체의 색상, 개수) 에 초점을 맞춘 데이터셋에서 학습되었습니다. 그러나 실제 디바이스 (드론, 수중 로봇, 실내 카메라 등) 에 배포된 MLLM 은 지속적으로 변화하는 시각적 시나리오 (고도, 수중, 저고도, 실내 등) 와 다양한 관점에 적응해야 합니다.

• 핵심 문제: 새로운 시나리오를 학습할 때 발생하는 재앙적 망각 (Catastrophic Forgetting). 특히 기존 시나리오의 시각적 특징 (Visual Representation) 이 새로운 시나리오 학습 과정에서 손실되거나 왜곡되어, 이전에 학습했던 작업의 성능이 급격히 저하되는 현상이 발생합니다.
• 한계: 기존 지속적 학습 (Continual Learning, CL) 연구는 주로 언어 모달리티에 집중하거나 단일 모달리티 (이미지 분류 등) 에 국한되어 있어, 복잡한 배경과 미세한 시각적 정보 (좌표, 카테고리 등) 가 필요한 실제 VQA(시각 질문 응답) 태스크에서의 시각적 망각을 해결하지 못했습니다.

2. 제안 방법론 (Methodology)

저자들은 UNIFIER라는 새로운 지속적 학습 프레임워크를 제안하며, 이를 위해 두 가지 핵심 기법을 도입했습니다.

A. MSVQA 데이터셋 구축

• 목적: 실제 환경의 시나리오 변화를 반영하여 MLLM 의 지속적 학습 능력을 평가하기 위한 벤치마크.
• 구성: 4 가지 주요 시나리오 (고도/원격탐사, 수중, 저고도/드론, 실내/1 인칭 시점) 로 구성되며, 각 시나리오마다 객체의 크기, 밀도, 조명, 가림 현상 등이 다릅니다.
• 태스크: 단순한 개수 세기부터 복잡한 시각적 그라운딩 (Bounding Box 좌표 예측), 세부 분류, 행동 추론 등 다양한 난이도의 질문을 포함합니다.

B. UNIFIER 프레임워크

UNIFIER 는 **Vision Representation Expansion (VRE)**과 **Vision Consistency Constraint (VCC)**를 결합하여 설계되었습니다.

1. Vision Representation Expansion (VRE, 시각 표현 확장):

   • 구조: 비전 인코더 (Vision Encoder) 의 각 블록 내에 CSR (Cross-Scenario Representation) 모듈을 삽입합니다.
   • 동작: 각 시나리오마다 별도의 LoRA(저랭크 적응) 브랜치를 생성하여 파라미터를 격리 (Isolation) 합니다. 이는 새로운 시나리오 학습 시 기존 시나리오의 파라미터를 건드리지 않도록 하여 망각을 방지합니다.
   • 통합: 각 브랜치에서 추출된 특징을 공통의 잠재 공간 (Shared Subspace) 으로 투영 (Projection) 하여 단일 추론으로 통합된 표현을 얻습니다. 이는 라우팅 (Routing) 네트워크 없이도 효율적인 추론을 가능하게 합니다.

2. Vision Consistency Constraint (VCC, 시각 일관성 제약):

   • 목적: 파라미터 격리로 인해 발생할 수 있는 표현의 불일치 (Feature Drift) 를 방지하고, 서로 다른 시나리오 간의 지식을 상호 강화합니다.
   • 기법: 기존 지식 증류 (Knowledge Distillation) 가 중간 표현을 엄격하게 정렬하여 모델의 유연성 (Plasticity) 을 떨어뜨리는 문제를 해결하기 위해, 소프트 제약 (Soft Constraint) 방식을 사용합니다.
   • 구현: 각 브랜치의 표현과 '시나리오 프로토타입 (Scenario Prototype, 모든 브랜치의 평균 표현)' 간의 **상대 엔트로피 (Relative Entropy, KL Divergence)**를 최소화합니다. 이는 전역적인 표현의 급격한 변화를 억제하면서도 채널 간 재구성을 허용하여 새로운 시나리오 학습을 용이하게 합니다.

3. 주요 기여 (Key Contributions)

1. MSVQA 데이터셋 및 벤치마크 공개: 실제 디바이스 환경의 복잡한 시나리오 변화를 반영한 최초의 멀티모달 지속적 학습 데이터셋을 구축하고 오픈소스화했습니다.
2. UNIFIER 프레임워크 제안: 시각적 표현을 확장 (VRE) 하고 일관성 제약 (VCC) 을 통해 시나리오 간 망각을 줄이면서 지식 축적을 가능하게 하는 새로운 아키텍처를 제시했습니다.
3. 성능 입증: 기존 최첨단 방법 (QUAD 등) 대비 뛰어난 성능을 입증했습니다.

4. 실험 결과 (Results)

MSVQA 데이터셋을 기반으로 한 20 단계 (20-step) 교차 시나리오 지속적 학습 실험 결과:

• VQA 점수 향상: 기존 최첨단 방법 (QUAD) 대비 마지막 단계에서 2.70% ~ 10.62% 향상.
• F1 점수 향상: 시각적 그라운딩 성능을 나타내는 F1 점수가 3.40% ~ 7.69% 향상.
• 지식 축적: 학습된 시나리오 (Seen) 에서도 성능이 지속적으로 향상되며, 새로운 시나리오 (Unseen) 로의 적응도 동시에 개선되었습니다.
• 효율성: 추가적인 추론 비용 (Inference Cost) 이 거의 발생하지 않으며, 파라미터 증가량도 매우 적습니다 (Qwen2.5VL-3B 기준 약 6.4% 증가).
• 시각화: Fine-tuning 방식은 새로운 시나리오 학습 후 이전 객체 인식 시 주의 집중 (Attention) 이 엉뚱한 곳으로 이동하여 오검출이 많았으나, UNIFIER 는 안정적인 주의를 유지하며 정확한 바운딩 박스를 예측함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 MLLM 이 실제 세계의 동적이고 복잡한 환경에 배포되기 위해 필수적인 시각적 지속적 학습 문제를 체계적으로 다루었습니다.

• 실용성: 다양한 디바이스 (드론, 수중 로봇, 스마트폰 등) 에서 수집되는 이질적인 데이터 스트림에 대해 MLLM 이 forgetting 없이 적응할 수 있는 길을 열었습니다.
• 기술적 혁신: 단순한 파라미터 격리를 넘어, 시나리오 간 지식 공유와 일관성을 유지하는 '소프트 제약' 방식을 통해 모델의 유연성과 안정성을 동시에 확보했습니다.
• 미래 영향: 오픈소스된 MSVQA 데이터셋과 UNIFIER 프레임워크는 향후 디바이스 기반 멀티모달 AI 의 발전과 실제 적용을 위한 중요한 기준이 될 것입니다.