기술 요약: 멀티모달 지속적 지시어 튜닝에서의 라우팅 포화 상태를 넘어서

문제 정의

멀티모달 지속적 지시어 튜닝(Multimodal Continual Instruction Tuning, MCIT)은 멀티모달 거대 언어 모델(MLLM)이 이전 능력을 유지하면서 새로운 태스크를 순차적으로 학습할 수 있도록 하는 것을 목표로 한다. 최근의 접근 방식들은 주로 "라우팅-조합-추론(routing–composition–inference)" 패러다임을 채택하며, 여기에는 태스크별 저순위 적응(Low-Rank Adaptation, LoRA) 전문가들이 유지되고 추론 시점에 라우터가 이 전문가들을 선택하거나 가중치를 부여하는 방식이 포함된다.

저자들은 현재의 MCIT 평가에서 나타나는 결정적이고 미개척된 한계점인 **전문가 라우팅 포화(Expert Routing Saturation)**를 지적한다. 널리 사용되는 벤치마크(예: CoIN, UCIT, TriGap)에서 라우팅 메커니즘이 거의 완벽한 정확도(종종 96% 이상의 일치율)를 달하는 것은, 이들이 견고한 태스크 표현을 학습했기 때문이 아니라 다음과 같은 두 가지 혼란 요인 때문이라는 것이다:

1. 텍스트 지문(Textual Fingerprints): 표면적인 지시어 패턴(예: 고유한 템플릿, "Reference OCR token"과 같은 특정 필드, 또는 독특한 옵션 레이아웃)은 라우터가 시각적 이해나 깊은 의미론적 분석을 우회하여 텍스트만으로 데이터셋의 정체성을 식별할 수 있게 한다.
2. 짧은 호라이즌(Short Horizons): 기존 벤치마크는 일반적으로 6~10개의 태스크만을 포함한다. 이는 경쟁하는 LoRA 전문가의 수를 제한하여, 단순한 텍스트 중심의 라우터에게 태스크 식별 문제를 매우 사소하게 만든다.

결과적으로, 장기 호라이즌(long-horizon)의 실제 환경 시나리오에서 전문가 라우팅의 확장 가능성은 검증되지 않은 상태이며, 다양한 시각적 도메인을 가진 유사한 의미론적 태스크들을 구별하는 난이도는 가려져 있다.

방법론

1. FLEX: 새로운 벤치마크

전문가 라우팅의 진정한 난이도를 드러내기 위해, 저자들은 FLEX(Fingerprint-reduced Long-horizon Expert eXamination)를 도입한다.

• 규모: FLEX는 이전 벤치마크들에 비해 전문가 풀을 크게 확장한 34개의 태스크로 구성된다.
• 설계: 유사한 지시어/답변 형식을 갖추고 있지만 시각적 및 지식 도메인은 다양한 데이터셋들로 그룹화하였다(예: 5개의 ImageNet-200 분할, 2개의 캡셔닝, 7개의 객관식, 20개의 단답형 VQA).
• 지문 감소(Fingerprint Reduction): 이 벤치마크는 외부 답변 형식 템플릿을 정규화하고 "지름길" 역할을 하는 고유한 인터페이스 단서들을 제거한다. 이를 통해 라우터가 표면적인 텍스트 패턴이 아닌 진정한 멀티모달 이해에 의존하도록 강제한다.
• 구성: 태스크들은 분류, 캡셔닝, 객관식, 단답형 VQA를 아우르며, 시각적 및 텍스트적 복잡성의 혼합을 보장한다.

2. 이론적 재정립: Soft Task-as-Class MCIL

저자들은 새로운 이론적 관점을 제안한다: Progressive-LoRA 라우팅은 "Soft Task-as-Class 멀티모달 클래스 증분 학습(MCIL)"으로 공식화될 수 있다.

• 매핑: 점진적인 LoRA 풀에서, 각 유입되는 태스크 $t$는 고유한 LoRA 전문가 $t$에 대응한다. 라우팅 문제는 확장되는 $t$개의 클래스 중에서 올바른 클래스(태스크)를 식별하는 문제가 된다.
• Soft vs. Hard: 일반적으로 하드 argmax 예측을 출력하는 표준 MCIL과 달리, MCIT는 여러 LoRA 전문가를 동시에 가중치화하기 위해 soft 분포의 점수를 필요로 한다.
  • Hard Routing: 표준 증분 분류와 동일함 ($\alpha_{k} = \mathbb{I}[k = \arg\max]$).
  • Soft Routing: 전체 점수 분포가 혼합 가중치로 사용되는 연속적 완화 과정임 ($\alpha_{k} \propto \exp(\tau s_k)$).
• 시사점: 이러한 재정립을 통해, 기존의 클래스 증분 학습(CIL) 방법들을 LoRA 전문가를 재학습하거나 생성 파이프라인을 변경하지 않고도 MCIT 프레임워크를 위한 "플러그인" 라우터로 직접 적응시킬 수 있다.

3. PureLoRA 베이스라인 및 라우터 적응

라우팅의 효과를 격리하기 위해, 저자들은 통제된 베이스라인인 PureLoRA를 도입한다. 이는 다음을 수행한다:

• 독립적인 태스크별 LoRA 전문가를 학습시킨다.
• 동결된 멀티모달 프로토타입 라우터(CLIP 기반)를 사용한다.
• 소프트 LoRA 조합(soft LoRA composition)을 수행한다.
• 공유 전문가, 게이팅 네트워크 또는 리플레이 버퍼를 포함하지 않는다.

그 후 저자들은 네 가지 기존 CIL/MCIL 방법을 PureLoRA를 위한 라우터로 적응시킨다:

• HC (Hierarchical Clustering): 계층적 클러스터 프로토타입과 코사인 유사도를 사용한다.
• HC-SOINN: 자기 조직화 네트워크를 통해 프로토타입 노드를 동적으로 성장시킨다.
• RanPAC: 랜덤 투영과 폐쇄형 리지 회귀(closed-form ridge-regression) 분류기를 사용한다.
• DDAS: 태스크별 오토인코더와 재구성 오차(reconstruction error) 기반의 라우팅 점수를 사용한다.

주요 결과

FLEX에서의 라우팅 포화

FLEX에서의 평가는 라우팅이 결코 포화 상태가 아님을 보여준다:

• Ground-Truth Weight (G): FLEX는 기존 벤치마크(예: UCIT에서 ~99%였던 것)에 비해 매크로 그라운드 트루스 LoRA 가중치를 현저히 낮춘다(방법에 따라 ~53–80%로 하락).
• Strict Matching (R): 엄격한 태스크-LoRA 매칭은 거의 완벽한 수준에서 ~64–84%로 떨어진다. 이는 진정한 태스크 식별의 어려움을 나타낸다.
• 텍스트 지름길(Textual Shortcuts): 절제 연구(Ablation studies) 결과, FLEX에서 "강력한" 텍스트 지문(고유 접미사)을 복구하면 즉시 높은 매칭률이 회복됨을 확인했다. 이는 FLEX의 난이도가 지름길의 제거에서 기인함을 입증한다.

성능 향상

CIL 방법을 플러그인 라우터로 적응시키는 것은 일관된 개선을 가져온다:

• 라우팅 품질: 라우팅에 민감한 프레임워크(DISCO, SAME, PureLoLA)에 대한 12가지 CIL 전이는 모두 MacroScore (M)와 Ground-Truth Weight (G)를 모두 향상시켰다.
• MacroScore 이득:
  • DISCO: DDAS를 사용하여 최대 +4.61 포인트 향상.
  • SAME: RanPAC를 사용하여 최대 +4.05 포인트 향상.
  • PureLoRA: RanPAC를 사용하여 최대 +1.54 포인트 향상.
• Oracle Gap 회복: 최상의 라우터들은 베이스라인 라우터와 "Oracle"(완벽한 라우팅) 상한 사이의 성능 격차를 **28.3%에서 50.2%**까지 회복했다.
• HiDe-LLaVA의 비민감성: Hi-De-LLaVA는 라우팅 개선에도 불구하고 다운스트림 성능 향상이 미미했다. 분석 결과, 이는 상위 레이어의 라우팅 결정과 상관없이 모든 과거 전문가를 평균화하는 공유 "remain" 레이어라는 구조적 병목 현상 때문이다.

캘리브레이션 및 소프트 라우팅

논문은 **캘리브레이션된 소프트 혼합(calibrated soft mixtures)**이 하드 Top-1 선택보다 우수함을 입증한다. Top-1 전문가가 올바르게 식별되더라도, 관련 태스크의 호환 가능한 LoRA를 재사용하는 소프트 혼합이 더 높은 성능을 낸다(PureLoRA에서 하드 라우팅 대비 최대 +2.01 포인트).

의의 및 주장

본 논문은 세 가지 주요 기여를 주장한다:

1. 포화 진단: 현재의 MCIT 벤치마크가 텍스트 지문과 짧은 태스크 시퀀스로 인해 발생하는 "라우팅 포화" 문제를 겪고 있으며, 이로 인해 전문가 라우팅의 진정한 확장성 과제가 가려져 있음을 밝혀냈다.
2. FLEX 벤치마크: 텍스트 지문이 약화된 34개 태스크의 FLEX를 도입하여, 확장되는 태스크 식별 문제를 성공적으로 노출하고 라우팅 확장성을 테스트하기 위한 엄격한 테스트베드를 제공한다.
3. 이론적 연결: 전문가 라우팅과 멀티모달 클래스 증분 학습(MCIL) 사이의 직접적인 연결을 확립한다. 라우팅을 "soft task-as-class MCIL"로 공식화함으로써, 저자들은 기존 CIL 분류기를 밑단의 LoRA 전문가를 수정하지 않고도 효과적인 플러그인 라우터로 전이시켜 라우팅 품질과 다운스트림 태스크 성능을 실질적으로 향상시킬 수 있음을 보여준다.

저자들은 향end의 MCIT 시스템이 현재의 라우팅 패러다임의 한계를 극념하기 위해, 장기 호즌 태스크 식별(CIL에서 적응된 방법론 활용)과 호환성을 고려한 전문가 조합(캘리브레이션된 소프트 혼합 활용)을 모두 다루어야 한다고 결론짓는다.