기술 요약: BOFA (CLIP 기반 클래스 증분 학습을 위한 브리지-레이어 직교 저차원 융합)

문제 정의

본 논문은 모델이 과거 데이터에 접근할 수 없고(exemplar-free) 이전에 습득한 지식을 잊지 않으면서, 데이터 스트림으로부터 새로운 클래스를 순차적으로 학습해야 하는 클래스 증분 학습(Class-Incremental Learning, CIL) 환경을 다룹니다. CLIP과 같은 시각-언어 모델(VLM)은 전이 가능한 강력한 표현력을 제공하여 CIL에 적합하지만, 다음과 같은 두 가지 주요 과제에 직면해 있습니다:

1. 적응 모듈에서의 치명적 망각(Catastrophic Forgetting): 기존 전략들은 일반적으로 CLIP 백본을 동결하고 새로운 태스크를 위해 경량화된 학습 가능 모듈(예: 어댑터 또는 프롬프트 레이어)을 도입합니다. 그러나 이러한 모듈 자체도 순차적으로 미세 조정되는 과정에서 이전 태스크에 중요한 지식을 덮어쓰며 치명적인 망각을 겪게 됩니다.
2. 최적화되지 않은 모달리티 시너지 및 효율성: 현재의 방법들은 수작업으로 제작된 프롬프트로부터 유도된 정적인 텍스트 프로토타입에 의존하는 경우가 많으며, 이는 미세한 시각적 개념에 대한 특수성이 부족할 수 있습니다. 또한, 외부 모듈을 추가하는 것은 추론 비용과 모델 복잡도를 증가시켜 자원이 제한된 시나리오에서의 배포를 방해합니다.

방법론: BOFA 프레임워크

저자들은 망각을 완화하면서 CLIP을 효율적으로 적응시키기 위해 설계된 프레임워크인 **BOFA (Bridge-layer Orthogonal Fusion for Adaptation)**를 제안합니다. 이 접근 방식은 세 가지 핵심 구성 요소로 이루어집니다:

1. 크로스 모달 브리지-레이어(Cross-Modal Bridge-Layer)의 미세 조정

BOFA는 외부 어댑터를 도입하는 대신, 모든 주요 특징 적응을 CLIP의 기존 크로스 모달 브리지-레이어($g_2$)로 제한합니다.

• 메커니즘: 시각적 백본($g_1$)과 텍스트 인코더($g_t$)는 동결된 상태를 유지합니다. 고차원 시각적 특징을 공유 임베딩 공간으로 매핑하는 투영 레이어인 $g_2$만이 미세 조정됩니다.
• 이점: 이는 추론 경로에 추가적인 학습 가능 파라미터가 필요하지 않음을 의미하며, 원래의 모델 아키텍처를 보존하고 기본 CLIP 모델과 비교하여 추가적인 추론 오버헤드가 발생하지 않도록 보장합니다.

2. 직교 저차원 융합 (Orthogonal Low-Rank Fusion, OLRF)

브리지-레이어 내에서의 치명적 망실을 방지하기 위해, BOFA는 파라미터 업데이트를 **"직교 안전 부분 공간(Orthogonal Safe Subspace, OSS)"**으로 제한하는 새로운 제약 메커니즘을 도입합니다.

• 이론적 기초: 이 방법은 업데이트 행렬 $\Delta W_{new}$가 이전 태스크의 특징($X_{old}$)에 미치는 영향을 최소화하도록($X_{old}\Delta W_{new} \approx 0$) 제약하는 것을 목표로 합니다.
• 부분 공간 구축: 고차원에서는 과거 특징들의 영 공간(null space)을 정확히 구하는 것이 자명하게 어렵기 때문에, 저자들은 근사 영 공간을 구축합니다. 이들은 과거 특징들의 누적 산란 행렬(cumulative scatter matrix, $S_{old}$)을 계산하고, **가장 작은 고유값(eigenvalues)**에 대응하는 고유 벡터들이 생성하는 부분 공간을 식별합니다. 이 부분 공간은 과거 태스크의 표현과 간섭이 가장 적은 방향을 나타냅니다.
• 수정된 LoRA를 통한 구현: 업데이트는 저차원 적응(Low-Rank Adaptation, LoRA) 스킴을 사용하여 매개변수화되며, 여기서 저차원 행렬 $A$는 OSS 기저($P^*$)로 고정됩니다. 오직 행렬 $B$만이 학습 가능합니다.
  • 초기화: 고정된 $A$로 인한 최적화의 어려움을 피하기 위해, $B$는 "데이터 주도형(data-driven)" 방식으로 초기화됩니다. 전체 브리지-레이어를 잠시 미세 조정하여 임시 "오라클(oracle)" 업데이트를 계산하고, $B$는 이 오라클 업데이트와 OSS 내로 투영된 업데이트 사이의 차이를 최소화하도록 초기화됩니다.
• 증분 업데이트: 누적 산란 행렬은 데이터 리플레이 버퍼 없이도 $S_{new} = S_{old} + X_{new}^T X_{new}$와 같이 점진적으로 업데이트됩니다.

3. 크로스 모달 하이브리드 프로토타입 (Cross-Modal Hybrid Prototypes)

분류의 견고성을 높이기 위해, BOFA는 정적인 텍스트 프로토타입을 넘어섭니다.

• 정적 하이브리드 구축: 각 클래스에 대해, 텍ex 프로토타입(동결된 텍스트 인코더로부터 추출)과 시각적 프로토타입(클래스의 평균 고차원 특징으로부터 유도)을 선형 보간하여 프로토타입을 생성합니다.
• 동적 정제: 브리지-레이어가 적응함에 따라 시각적 표현이 변화합니다. BOFA는 훈련 중에 시각적 프로토타입을 지속적으로 업데이트하기 위해 **지수 이동 평균(Exponential Moving Average, EMA)**을 사용합니다. 모든 태스크를 학습한 후에는 프로토타입을 최종 모델 상태와 정렬하기 위한 최종 정제 작업이 수행됩니다.
• 계층적 추론: 클래스 수가 증가함에 따라 발생하는 클래스 간 혼동을 줄이기 위해 계층적 전략이 사용됩니다. 경량화된 태스크별 선형 분류기가 먼저 후보 클래스 서브셋을 선택하면, 기본 분류기가 그 안에서 최종 판별을 수행합니다.

주요 기여

1. 직교 저차원 융합: CLIP의 브리지-레이어 내에서 파라미터 업데이트를 직교 안전 부분 공간으로 제한하는 새로운 적응 방법을 제시합니다. 이는 데이터 리플레이나 외부 학습 가능 파라미터 없이도 치명적 망각을 완화합니다.
2. 크로스 모달 하이브리드 프로토타입: 안정적인 텍ex 세만틱스와 동적으로 정제된 시각적 특징을 융합하여, 단일 모달리티 베이스라인보다 더 판별력 있는 분류기를 생성하는 메커니즘을 제공합니다.
3. 효율성 및 성능: 본 프레임워크는 기존의 CLIP 추론 경로를 유지하면서 여러 CIL 벤치마크에서 최첨단(SOTA) 성능을 달ập하며, 기존 방법들보다 우수한 정확도와 효율성을 제공합니다.

실험 결과

저자들은 B-m Inc-n 프로토콜을 사용하여 9개의 벤치마크 데이터셋(CIFAR100, ImageNet-R, CUB200, SUN397 포함)에서 BOFA를 평가했습니다.

• 성능: BOFA는 프롬프트 기반 방식(L2P, DualPrompt, CODA-Prompt), 어댑터 기반 방식(RAPF), 그리고 단순 미세 조정 베이스라인을 포함한 기존의 SOTA 방법들을 일관되게 능가했습니다.
  • 예를 들어, Cars 데이터셋(B0 Inc10)에서 BOFA는 평균 정확도($\bar{A}$) **86.41%**와 최종 정확도($A_B$) **79.48%**를 달성하여, 차순위 방법인 RAPF(82.89% / 62.85%)를 크게 앞질렀습니다.
  • ImageNet-R에서 BOFA는 **85.39%**의 평균 정확도를 기록하며 RAPF(81.26%)를 능가했습니다.
• 절제 연구(Ablation Studies):
  • 직교 저차원 융합: 직교 제약을 제거했을 때(표준 LoRA 또는 순차적 미세 조정 사용) 성능이 크게 하락하였으며, 이는 특정 부분 공간 제약이 가소성(plasticity)과 안정성(stability) 사이의 균형을 맞추는 데 결정적임을 확인시켜 줍니다.
  • 하이브리드 프로토타입: 순수 텍스트 또는 순수 시각 프로토타입 변형과의 비교를 통해, 두 모달리티의 융합이 다양한 데이터셋에서 더 우수한 견고성을 제공함을 입증했습니다.
• 시각화: t-SNE 시각화 결과, 직교 저차원 융합을 적용한 BOFA가 그렇지 않은 방법들에 비해 구 클래스와 신규 클래스 특징 간의 분리도를 더 명확하게 보여주었으며, 이는 과거 지식의 보존이 더 잘 이루어짐을 나타냅니다.

의의 및 주장

본 논문은 망각과 효율성이라는 두 가지 과제를 해결함으로써 exemplar-free CIL 분야의 중요한 진전을 이루었다고 주장합니다.

• 아키텍처의 순수성: 적응 과정을 기존 브리지-레이어로 제한함으로써, BOFA는 외부 모듈의 "비대화(bloat)"를 방지하여 실제 배포에 적합한 솔루션을 제공합니다.
• 이론적 엄밀성: 직교 안전 부분 공간의 도입은 데이터 리플레이에 의존하지 않고 태스크 간 간섭을 방지하는 수학적으로 근거 있는 메커즘을 제공합니다.
• 시너지 학습: 하이브리드 프로토타입을 통해 시각 및 텍스트 모달리티 간의 시너지를 활용하는 프레임워크는 단일 모달리티 접근 방식보다 더 판별력 있는 분류기를 생성함을 보여줍니다.

저자들은 이 통합된 설계가 지식을 효과적으로 보존하는 동시에 SOTA 수준의 판별 성능을 달성하며, 대규모 사전 학습 모델을 활용한 지속적 학습을 위한 확장 가능하고 효율적인 솔루션을 제공한다고 결론짓습니다.