기술 요약: 과업 차별적 원자적 기술 확장 및 라우팅 (TASER)

1. 문제 정의

대규모 언어 모델(LLM)을 위한 지속 학습(Continual Learning, CL)은 일반적으로 순차적인 과업들이 의미론적으로 연관되어 있거나 구조적으로 유사하다는 가정하에 연구되어 왔습니다. 그러나 실제 배포 환경은 수학적 추론에서 법률 요약으로 전환되는 것과 같이, 추론 패턴, 입출력 형식, 인지적 차원(예: 수학적 추론에서 법률 요약으로의 변화)이 실질적으로 다른 고도로 이질적인 과업 스트림을 포함합니다.

이러한 환경에서 기존 방법론들은 두 가지 주요 과제에 직면합니다:

1. 파괴적 망각(Catastrophic Forgetting): 과업 간의 극심한 괴리는 새로운 도메인에 대한 업데이트가 이전에 학습된 표현을 심각하게 저해하게 만듭니다.
2. 비효율적인 용량 할당(Inefficient Capacity Allocation): 고정된 용량을 가진 모델은 새로 등장하는 기술을 수용할 수 없으며, 무분별한 확장은 중복과 간섭의 위험을 초라합니다. 특정 과업에 얼마나 많은 새로운 파라미터(기술)가 필요한지 사전적으로 결정하는 것은 어렵습니다. 왜냐로 인해 과업은 공유된 능력과 특화된 능력을 혼합하여 필요로 하기 때문입니다.

현재의 벤치마크들은 높은 의미적 중첩이나 동일한 출력 양식을 가진 과업 시퀀스에 의존하고 있어, 이러한 복잡성을 포착하는 데 실패하는 경우가 많습니다.

2. 방법론: TASER 프레임워크

저자들은 파라미터 안정성을 유지하면서 동적으로 용량 성장을 관리하도록 설계된 모듈형 CL 프레임워크인 **과업 차별적 원자적 기술 확장 및 라우팅(Task-differentiated Atomic Skill Expansion and Routing, TASER)**을 제안합니다. TASER는 모델 용량을 성장하는 "원자적 기술(atomic skills)" 라이브러리(LoRA와 같은 파라미터 효율적 어댑터를 통해 구현된 재사용 가능한 기능 모듈)로 구성하며, 세 가지 협응된 구성 요소로 이루어져 있습니다:

A. 원자적 기술 점진적 학습 (적응형 용량 확장)

모든 과업에 대해 고정된 랭크(rank)를 사용하는 대신, TASER는 과업의 이질성과 모델 불확실성을 기반으로 각 유입 과업 $T_k$에 필요한 새로운 원자적 기술의 수를 동적으로 결정합니다.

• 과업 부분 공간 탐색(Task Subspace Probing): 새로운 과업이 선호하는 업데이트 방향을 드러내기 위해 일시적인 과잉 매개변수화된 "프로브(probe)" 어댑터를 짧게 학습시킵니다.
• 새로운 부분 공간 추출(Novel Subspace Extraction): 프로브의 업데이트 방향을 이전 어댑터들로부터 구축된 기존 기술 부분 공간의 직교 보공간(orthogonal complement)에 투영하여 잔여적인 새로운 방향을 분리합니다.
• 적응형 용량 크기 결정(Adaptive Capacity Sizing): 잔여 행렬에 대해 특이값 분해(SVD)를 수행합니다. 새로운 어댑터의 랭크($r_{new}$)는 목표 에너지 분율($\theta_{energy}$)을 커버하는 데 필요한 최소한의 특이값 수에 의해 결정됩니다. 이는 새로운 과업이 기존 기술이 스팬(span)하지 못하는 방향을 요구할 때만 용량이 확장되도록 보장합니다.

B. 직교성 강화 기술 탐지

새롭게 추가된 용량이 의미론적으로 구별되고 독립적으로 재사용될 수 있도록, TASER는 새로운 기술을 학습하는 동안 명시적인 직교성 제약을 부과합니다.

• 과업 간 직교성(Inter-Task Orthogonity): 새로운 기술의 다운 프로젝션 행렬과 기존 기술 공간 사이의 상관관계를 최소화하는 패널티 항($L_{inter}$)을 적용하여 표현의 중복을 방지합니다.
• 과업 내 직교성(Intra-Task Orthogonality): 새로운 기술의 행 단위 직교성과 단위 노름(unit norm)을 강제하는 패널티 항($L_{intra}$)을 적용하여 랭크 붕괴를 방지하고 새로운 용량이 여러 개의 뚜렷한 방향을 스팬하도록 보장합니다.

C. 기술 동적 라우팅 (Skill Dynamic Routing)

모든 입력에 대해 모든 기술을 활성화할 때 발생하는 계산 비효율성과 간섭을 피하기 위해, TASER는 경량화된 과업 조건부 게이팅 메커니즘을 사용합니다.

• 희소 구성(Sparse Composition): 병목 구조를 가진 2층 MLP 형태의 라우터가 입력 활성화를 받아 게이팅 벡터 $\alpha(x)$를 출력합니다.
• 선택(Selection): 이 벡터는 라이브러리 내의 특정 원자적 기술의 기여도를 선택적으로 증폭하거나 억제합니다.
• 희소성(Sparsity): 라우터의 출력에 $L_1$ 패널티를 적용하여 주어진 입력에 대해 관련 있는 최소한의 기술 세트만 활성화되도록 유도함으로써 효율적인 교차 과업 재사용을 촉진합니다.

3. 주요 기여

1. HeteroCLBench: 저자들은 고도로 이질적인 지속 학습을 위해 특별히 설계된 새로운 벤치마크를 도입했습니다. 이는 9개의 인지적 거시 차원(예: 수학적 추론, 코드 생성, 정서 지능)에 매핑된 19개의 기능적으로 다양한 과업과 24개의 세밀한 하위 범주로 구성됩니다. 이 벤치마크는 기술 격리와 가소성을 엄격하게 테스트하기 위해 무작위 과업 순서를 사용하는 표준화된 순차 프로토콜을 사용합니다.
2. TASER 프레임워크: 적응형 원자적 기술 확장, 기술 분리, 동적 라우팅을 결에는 수행하는 새로운 CL 방법론입니다. 이는 전체 재학습 없이 용량 할당의 "얼마나"와 "어떤 것"이라는 질문을 해결합니다.
3. 실험적 검증: Llama-3-8B-Instruct 및 Qwen-2.5 백본을 사용하여 수행된 광범위한 실험을 통해, TASER가 새로운 HeteroCLBench와 기존 LNT 벤치마크 모두에서 강력한 베이스라인(EWC, Replay, I-LoRA, MoE-LoRA, CL-MoE 포함)을 능가함을 입증했습니다.

4. 실험 결과

실험은 Llama-3-8B-Instruct와 Qwen-2.5 백본을 사용하여 수행되었습니다.

• HeteroCLBench 성능: TASER는 평균 성능(AP) 63.31을 달성하여 모든 지속 학습 베이스라인을 능가했으며, 멀티 태스크 학습(MTL) 상한선인 65.70에 근접했습니다.
• 망각 완화: TASER는 후방 전이(Backward Transfer, BWT) -0.94라는 최고의 성과를 기록했는데, 이는 순차적 미세 조정(Sequential Fine-tuning, -13.54) 및 CL-MoE(-15.13)와 같은 다른 모듈형 베이스라인보다 크게 개선된 수치입니다. 이는 우수한 안정성과 감소된 파괴적 망각을 나타냅니다.
• 절제 연구(Ablation Studies): 세 가지 핵심 구성 요소(점진적 학습, 직교성 탐지 또는 동적 라우팅) 중 하나라도 제거하면 일관된 성능 저하가 발생했습니다. 특히, 동적 라우팅을 제거했을 때 가장 심각한 하락(AP 18.49 감소)이 발생하여, 과업 간 간섭을 관리하는 데 있어 동적 라우팅의 결정적인 역할을 강조했습니다.
• 강건성(Robustness): 프레임워크는 서로 다른 모델 아키텍처(Llama-3 및 Qwen-2.5)와 서로 다른 용량 예산($r_{max}$)에 대해 일관된 성능을 보여줌으로써 SVD 기반 라우팅 메커니즘의 안정성을 검증했습니다.
• 동적 할당: 랭크 할당 시각화를 통해 TASER가 구조적으로 까다로운 과업(예: 교차 언어 번역)에는 높은 랭크를 할당하고, 기존의 의미적 사전 지식을 재사용할 수 있는 과업(예: 분류)에는 낮은 랭크를 정확하게 할당함을 보여주었으며, 이를 통해 용량 중복을 방지하는 능력을 확인했습니다.

5. 의의 및 주장

본 논문은 고도의 과업 이질성 하에서의 지속 학습이 생물학적 신경 가소성을 모방하여 적응형, 모듈형 용량 성장과 파라미터 보존을 동시에 요구한다고 주장합니다.

• 패러다임의 전환: 본 연구는 CL의 초점을 유사한 도메인에서의 지식 유지에서, 서로 이질적인 도메인에서의 전문화와 공유된 능력의 재사용을 동시에 가능하게 하는 것으로 전환합니다.
• 벤치마크의 필요성: 저자들은 기존 벤치마크가 현실적인 평생 학습 시나리오를 평가하는 데 필요한 구조적 분류 체계와 인지적 다양성이 부족하다고 주장합니다. HeteroCLBench는 9개의 인지 차원과 19개의 다양한 과업을 다룸으로써 이 간극을 메웁니다.
• 확장성: TASER는 과업 복잡도와 전이 가능성이 크게 변하는 복잡한 실제 스트림에 LLM을 적응시키기 위한 확장 가능한 솔루션을 제공하며, 고정된 용량 제약이나 과도한 파라미터 팽창 없이 가소성(새로운 기술 학습)과 안정성(기존 기술 유지) 사이의 균형을 맞춥니다.