기술 요약: 비전 - 언어 모델의 효율적 지속 학습을 위한 iGSP

1. 문제 정의

비전 - 언어 모델 (VLM) 은 강력한 교차 모달 정렬 능력을 보유하고 있지만, 연이어 등장하는 하위 작업들에 적응할 때 **지속 학습 (CL)**에 어려움을 겪습니다. 주요 과제는 **파괴적 망각 (catastrophic forgetting)**과 매개변수 효율성 사이의 균형을 맞추는 것입니다.

기존 접근법은 두 가지 치명적인 한계에 직면해 있습니다:

1. 매개변수 폭증: 각 새로운 작업에 고립된 모듈 (예: 작업별 LoRA 또는 프롬프트) 을 할당하는 방법은 잠재된 공유 구조를 활용하지 못해 중복된 매개변수 확장을 초래합니다.
2. 결함 있는 유사성 가정: 최근 유사성 기반 공유 메커니즘은 매개변수 재사용을 트리거하기 위해 표면적인 시각적 근접성에 의존합니다. 저자들은 이것이 근본적으로 결함이 있다고 주장합니다: 시각적으로 유사한 작업은 이질적인 매핑 전략을 요구할 수 있어 (부정적 전이 유발), 시각적으로 구별되는 작업은 깊은 의미 규칙을 공유할 수 있기 때문입니다 (재사용 기회 상실).

본 논문은 진정한 비간섭적 공유가 입력 특징에 의해 결정되는 것이 아니라 최적화 공간 내의 기하학적 문제라고 가정합니다. 작업들은 최적화 궤적이 공유 저랭크 부분공간에 투영될 수 있는 공통 구성 요소를 포함할 때에만 매개변수를 공유해야 합니다.

2. 방법론: iGSP (암시적 기울기 부분공간 투영)

제안된 iGSP 프레임워크는 지속 학습을 혼합 전문가 (MoE) 아키텍처를 사용하여 암시적 기울기 부분공간 투영으로 공식화합니다. 이는 MoE 라우터 분포가 전문가 매개변수보다 훨씬 일찍 수렴한다는 경험적 관찰을 활용하여, 잔차 손실을 최소화하기 전에 최적의 저랭크 부분공간 기저를 신속하게 식별할 수 있게 합니다.

적응 과정은 두 가지 긴밀하게 결합된 단계로 분기됩니다:

1 단계: 부분공간 식별

이 단계는 이전에 학습된 작업들의 기하학적 범위를 탐색하여 공유 정렬을 발견하는 것을 목표로 합니다.

• 부분공간 기저 사전 확장: 새로운 작업이 도착하면, 모델은 작업별 잔차를 위한 표현적 여유 공간을 제공하기 위해 $M$개의 후보 전문가 모듈 (직교 차원) 을 일시적으로 도입합니다.
• 부분공간 제약 정규화 (SCR): 새로운 작업의 기울기 궤적을 역사적 부분공간에 암시적으로 투영하기 위해 새로운 정규화 항이 도입됩니다.
  • 메커니즘: SCR 은 새로 추가된 전문가의 활성화 및 가중치 업데이트에 페널티를 부과합니다. 수학적으로 이는 "소프트 투영" (이방성 축소) 으로 작용하여, 새로운 차원을 활성화하기 전에 기존 전문가의 표현 능력을 먼저 소진하도록 최적화기를 강제합니다.
  • 이론적 기반: 근사 기울기 하강을 통해 유도된 SCR 은 새로운 부분공간 ($S_{new}$) 의 단계를 감쇠시키면서 공유 부분공간 ($S_{old}$) 은 제약 없이 두는 업데이트 규칙으로 변환하여, 계산 비용이 많이 드는 특이값 분해 (SVD) 없이 엄격한 직교 투영을 효과적으로 모방합니다.
• 기울기 인식 부분공간 단축: 라우터 분포가 수렴하면 시스템은 라우팅 확률을 분석합니다. 라우팅 확률 $\pi_j(x)$가 기울기 흐름의 크기를 반영하므로, 임계값 $\tau$ 미만의 확률을 가진 전문가들은 제거됩니다. 이는 중복된 영공간 차원을 제거하여 컴팩트하고 작업별 부분공간을 생성합니다.

2 단계: 직교 부분공간 미세 조정

• 구조 고정: 식별된 부분공간 기저를 고정하기 위해 라우터를 동결합니다.
• 정규화 제거: 최적화 마찰을 제거하기 위해 SCR 을 제거합니다.
• 잔차 피팅: 모델은 유지된 새로운 전문가의 가중치만 업데이트합니다. 이를 통해 격리된 직교 차원이 동결된 역사적 부분공간을 방해하지 않고 작업별 잔차 손실에 신속하게 적합할 수 있습니다.

추론: ID 없는 전문가 라우팅 (IFER)

작업 ID 를 알 수 없는 실제 시나리오를 처리하기 위해 iGSP 는 IFER를 사용합니다.

• 고정된 이미지 - 텍스트 인코더를 사용하여 테스트 입력을 임베딩하고, 최근접 이웃 검색을 통해 작업 임베딩 뱅크와 비교하여 작업 정체성을 추정합니다.
• 매칭이 발견되면 해당 라우터가 활성화되고, 그렇지 않으면 모델은 동결된 백본으로 되돌아갑니다.

3. 주요 기여

1. 기하학적 재정의: 본 논문은 교차 모달 정렬 재사용을 휴리스틱 시각적 유사성 기반 공유의 근본적 결함을 드러내는 기울기 부분공간 내의 암시적 기하학적 투영으로 재정의합니다.
2. iGSP 프레임워크: 초기 라우터 수렴과 암시적 기울기 투영을 활용하여 부분공간 식별, 중복 단축, 작업 무관 배포를 자동화하는 2 단계 프레임워크입니다.
3. 최첨단 효율성: 이 방법은 기존 최첨단 (SOTA) 방법 대비 학습 가능한 매개변수를 크게 줄이면서 높은 정확도를 달성합니다.

4. 실험 결과

광범위한 실험이 MTIL(다중 작업 점진적 학습) 벤치마크와 CIL(클래스 점진적 학습) 벤치마크 (CIFAR-100, TinyImageNet) 에서 수행되었습니다.

• 정확도: iGSP 는 Order-I 및 Order-II 작업 시퀀스 전반에 걸쳐 모든 지표 (전이, 평균, 마지막) 에서 최첨단 (SOTA) 성능을 달성합니다. 예를 들어, MTIL Order-I 에서 이전 최선 (MoE-Adapter++) 대비 전이, 평균, 마지막 점수가 0.5% 에서 0.9% 향상되었습니다.
• 매개변수 효율성:
  • 학습 가능 매개변수: iGSP 는 현재 SOTA 방법 대비 학습 가능 매개변수 평균을 42.7% 줄입니다 (전체 미세 조정에 필요한 149.6M 대비 학습 가능 매개변수 0.63M 만 필요).
  • 총 매개변수: 지식 재사용 메커니즘이 없는 대응 방법 대비 최종 총 매개변수 수를 86.9% 줄입니다.
  • 학습 효율성: 다른 방법 대비 우수한 학습 속도 (0.097 초/반복) 와 낮은 GPU 메모리 소비 (3.5 GB) 를 보여줍니다.
• 절대 연구:
  • SCR: 정규화 계수 $\lambda$를 증가시키면 정확도 저하 없이 전문가 수의 성장을 효과적으로 감쇠시켜, 암시적 투영의 유효성을 확인합니다.
  • 단축: 시각화는 iGSP 가 재사용 가능한 최소 기저 벡터 집합 (예: 깊은 레이어에서 11 개 작업당 7 개 벡터) 을 식별함을 확인시켜 주며, 기하학적 중첩 가설을 검증합니다.

5. 중요성과 주장

본 논문은 iGSP 가 리소스 제약 환경 (예: 로봇공학, 무인 항공기, 위성 플랫폼) 에서 대규모 VLM 을 배포하기 위한 이론적으로 근거 있고 실용적으로 실행 가능한 해결책을 제공한다고 주장합니다.

• 핵심 통찰: 시각적 유사성 문제가 아닌 기하학적 문제로 정렬 공유를 취급함으로써, iGSP 는 표면적 특징 매칭으로 인한 부정적 전이를 피하고 깊은 매개변수 재사용을 극대화합니다.
• 실용적 영향: 이 프레임워크는 과거 데이터 (재생) 를 저장하거나 방대한 매개변수 수를 유지할 필요 없는 효율적인 지속 학습 경로를 제공하여, 엄격한 계산 및 저장 제한이 있는 시나리오에 적합합니다.
• 한계: 저자들은 현재 작업 정체성 추론이 수동으로 지정된 임계값에 의존하며, 이는 다양한 도메인 이동에 걸쳐 견고성에 영향을 미칠 수 있고, 더 큰 VLM 으로의 확장은 향후 연구 영역임을 겸손하게 지적합니다.