🤖 AI

Shared LoRA Subspaces for almost Strict Continual Learning

본 논문은 데이터 재현이나 다수의 어댑터 없이도 다양한 태스크와 모달리티로부터 지식을 통합하기 위해 단일 공유 저차원 부분 공간을 동적으로 업데이트하는 새로운 매개변수 효율적 지속 학습 방법인 "Share"를 제안하며, 이를 통해 치명적 망각을 방지하면서 메모리와 매개변수를 크게 절감한다.

원저자: Prakhar Kaushik, Ankit Vaidya, Shravan Chaudhari, Rama Chellappa, Alan Yuille

게시일 2026-02-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Prakhar Kaushik, Ankit Vaidya, Shravan Chaudhari, Rama Chellappa, Alan Yuille

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 세상의 모든 것을 조금씩 알고 있는 거대하고 매우 똑똑한 도서관(거대 AI 모델)이 있다고 상상해 보세요. 이제 당신은 이 도서관에 매일 새로운 기술을 가르쳐야 합니다. 처음에는 시를 쓰는 법을, 그다음에는 자동차 문제를 진단하는 법을, 그다음에는 반 고흐의 화풍으로 그림을 그리는 법을 가르치는 식이죠.

과거의 문제: "기술 하나당 책 한 권"이라는 혼란
전통적으로 이 도서관에 새로운 기술을 가르칠 때는, 아예 새로운 책(새로운 지침 세트)을 통째로 써야 했습니다. 만약 100가지 기술을 가르친다면, 결국 100권의 무거운 책이 생기게 됩니다.

비용: 100권의 책을 보관하는 것은 엄청난 선반 공간(메모리)을 차지하며 관리 비용도 많이 듭니다.
망각: 만약 새로운 기술을 추가하기 위해 기존의 책을 다시 쓰려고 하면, 도서관는 종종 이전의 기술들을 잊어버립니다. 이를 "파괴적 망각(catastrophic forgetting)"이라고 부릅니다. 이는 마치 모국어를 지워가며 새로운 언어를 배우는 것과 같아서, 결국 두 언어 모두 제대로 알지 못하게 되는 상황과 같습니다.

"LoRA"라는 해결책 (그리고 그 한계)
연구자들은 LoRA라는 영리한 기술을 고안해 냈습니다. 새로운 책을 통째로 쓰는 대신, 기존 도서관에 각 기술을 위한 작고 얇은 "포스트잇(sticky note)"을 붙이는 방식입니다. 이 방법은 공간을 절약해 줍니다.

함정: 하지만 100가지 기술이 있다면, 여전히 100개의 서로 다른 포스트잇이 필요합니다. 당신은 여전히 100개의 별개 포스트잇 더미를 관리해야 하며, 도서관는 이들 사이의 지식을 쉽게 혼합할 수 없습니다.

새로운 솔루션: "Share"
이 논문은 Share라는 방법을 소개합니다. Share는 포스트잇 더미가 아니라, 하나의 공유된, 확장 가능한 마법의 스케치북이라고 생각하면 됩니다.

작동 방식은 다음과 같습니다.

1. 공유된 하위 공간 (The Shared Subspace, "보편적인 스케치북")

당신이 배우고자 하는 모든 기술(시 쓰기, 자동차 수리, 그림 그리기)은 사실 그 작동 방식에 있어 몇 가지 근본적인 "구성 요소"나 "방향"을 공유하고 있다고 가정해 봅시다.

발견: 저자들은 이 다양한 기술들의 수학적 구조를 살펴보면, 이들이 모두 숨겨진 공간 속의 동일한 몇 가지 "방향"이나 "축"을 향해 수렴한다는 것을 발견했습니다.
비유: 이 방향들을 기본 색상(빨강, 파랑, 노랑)이라고 생각해 보세요. 여러분이 원하는 모든 초록색이나 보라색의 색조를 만들기 위해 매번 별도의 물감 튜브가 필요한 것은 아닙니다. 단지 세 가지 기본 색상과 그것들을 섞는 방법만 있으면 됩니다.

2. "Share"가 학습하는 법 (과정)

각 작업마다 새로운 어댑터를 만드는 대신, Share는 다음과 같이 수행합니다.

1단계: 기초 다지기. 먼저 작은 "기초 스케치북"(공유된 저차원 하위 공간)을 만듭니다. 이 스케치북은 처음 몇 가지 작업을 살펴보며, 그들을 설명하는 데 필요한 "기본 색상(주요 방향)"이 무엇인지 파악합니다.
2단계: 새로운 기술 배우기. 새로운 작업(예: "빵 굽는 법 배우기")이 들어오면, 시스템은 새로운 책을 쓰거나 새로운 포스트잇을 붙이지 않습니다. 대신 다음과 같이 질문합니다. "내 스케치북에 있는 기존의 기본 색상들을 어떻게 조합해야 '빵'을 만들 수 있을까?"
- 시스템은 오직 아주 작은 단위의 혼합 계수(색상을 얼마나 사용할지 알려주는 숫자)만을 학습합니다.
- 시스템은 기본 색상(기초) 자체를 급격하게 바꾸지 않고, 단지 그것들이 어떻게 결합되는지를 미세하게 조정할 뿐입니다.
3단계: 병합. 만약 새로운 기술이 현재의 스케치북에 없는 약간 다른 "색상"을 필요로 한다면, 시스템은 스케치북을 부드럽게 확장하여 이 새로운 방향을 포함시킨 뒤, 기존의 모든 기술과 이 새로운 기술을 어떻게 섞을지 다시 계산합니다.

3. 왜 이것이 게임 체인저인가?

하나의 모델, 무한한 기술: 100개의 별개 포스트잇 대신, 여러분은 모든 100가지 기술을 처리할 수 있는 단 하나의 지침 세트(스케치북)를 갖게 됩니다.
망각 방지: 시스템이 새로운 정보를 포함하기 위해 끊임없이 "색상"을 재조합하기 때문에, 이전의 기술을 지우지 않습니다. 사실, 논문은 새로운 혼합 지침 덕분에 이전 기술들이 오히려 더 좋아지는 현상(역방향 전이, backward transfer)이 발생하기도 한다고 주장합니다.
엄청난 절약:
- 공간: 이 논문은 전통적인 방식보다 100배 적은 파라미터(지침을 쓰는 데 사용되는 "잉크")와 281배 적은 메모리를 사용한다고 주장합니다.
- 실제 영향: 단 하나의 "Share" 모델이 수백 개의 작업별 어댑터를 대체할 수 있습니다. 이는 500권의 책이 있는 도서관을, 500개의 이야기를 즉석에서 생성할 수 있는 하나의 스마트 태블릿으로 바꾸는 것과 같습니다.

4. 테스트 내용

저자들은 이 방식이 AI가 사용하는 다양한 "언어"에서 작동함을 증명했습니다.

독해 이해: 다양한 유형의 텍cript 질문 이해하기.
이미지 분류: 다양한 종류의 꽃, 음식, 사물 인식하기.
3D 포즈 추정: 3D 객체가 일부 가려져 있더라도(폐쇄된 상태), 객체의 회전 상태를 파악하기.
예술 생성: 텍스트-이미지 생성 시 다양한 예술 스타일(예: "소련 프로파간다" 또는 "밥 로스") 학습하기.
확장성: 50개의 서로 다른 "LoRA" 어댑터가 하나씩 도착하는 상황에서도, 시스템이 이들을 하나의 효율적인 모델로 병합할 수 있음을 보여주며 확장성을 테스트했습니다.

핵심 요약

Share는 숙련된 요리사에게 1,000가지 요리법을 가르칠 때, 1,000권의 서로 다른 레시피 북을 주는 것이 아니라, 요리의 근본적인 화학 원리와 몇 가지 핵심 재료를 새로운 방식으로 조합하는 법을 가르치는 것과 같습니다. 이는 공간을 절약하고, 요리사가 천 번째 요리를 배울 때 첫 번째 요리를 만드는 법을 잊어버리지 않게 해주며, 더 큰 주방을 필요로 하지 않고도 요리사가 영원히 계속 배울 수 있게 해줍니다.

기술 요약: 엄격한 지속 학습을 위한 공유 LoRA 부공간 (Shared LoRA Subspaces for Almost Strict Continual Learning)

문제 정의

대규모 사전 학습된 모델(예: LLM, VLM, 확산 모델)을 새로운 태스크에 지속적으로 적응시키는 과정은 **파괴적 망각(catastrophic forgetting)**과 재학습의 높은 계산/메모리 비용이라는 두 가지 주요 과제에 직면합니다. LoRA(Low-Rank Adaptation)와 같은 매개변수 효율적 튜닝 방법은 학습 가능한 매개변수 수를 줄여주지만, 표준 LoRA 구현은 일반적으로 각 태스크를 위한 별도의 어댑터를 필요로 합니다. 이러한 방식은 태스크 간 지식 공유를 저해하고, 엄격한 지속 학습(Strict Continual Learning)(데이터 재생, 추가 모델 또는 모델 크기 증가 없이 학습하는 것)을 지원하지 못하며, 태스크 수가 늘어남에 따라 비효율적인 자원 사용을 초래합니다. 기존 방법들은 직교 부공간(orthogonal subspaces)이나 전문가 혼합(mixture-of-experts) 시스템에 의존하는 경우가 많으나, 이들은 여전히 여러 모델 인스턴스나 성장하는 매개변수 집합을 요구함으로써 엄격한 지속 학습 제약을 위반합니다.

방법론: Share

저자들은 여러 태스크와 모달리티를 수용하기 위해 단일한 **공유 저차원 부공간(shared low-rank subspace)**을 학습하고 동적으로 업데이트하는 새로운 매개변수 효율적 지속 미세조정(PaCT) 프레임워크인 Share를 제안합니다.

핵심 가설

Share는 유사한 태스크와 모달리티를 가진 LoRA 어댑터들이 공통된 저차원 부공간을 공유한다는 가설에 기반합니다. 이 부공간의 주성분 기저 벡터(principal basis vectors)를 식별함으로써, 새로운 어댑터를 이 기저들의 선형 결합으로 표현할 수 있으며, 이를 통해 별도의 태스크별 어댑터가 필요하지 않게 됩니다.

알고로리즘 워크플로우

이 방법은 사전 학습된 모델의 각 레이어에 대해 세 단계로 작동합니다.

초기화 (Initialization):
- 기초 부공간(주성분 기저 벡터)은 $t \ge 1$ 개의 기존 LoRA 어댑터를 사용하여 초기화됩니다.
- 이전 태스크들의 LoRA 행렬( $A$ 및 $B$ )을 쌓고(stacking), 중심화(centering)한 후, 특이값 분해(SVD)를 수행합니다.
- 재사용 가능한 공유 부공간을 형성하기 위해 상위 $k$ 개의 주성분 기저 벡터( $\alpha, \beta$ )를 선택합니다.
- 기저 벡터는 고정된 상태로 유지하며, 오직 무작위로 초기화된 태스크별 계수( $\epsilon$ )만을 학습합니다. 이 초기화 과정은 데이터와 그래디언트가 필요 없는(data- and gradient-free) 방식입니다.
지속적 적응 (Continual Adaptation):
- 새로운 데이터나 새로운 LoRA 어댑터를 받으면, 시스템은 $\phi$ 개의 임시 기저 벡터와 그 계수들을 도입하여 부공간을 일시적으로 확장합니다.
- 이 임시 구성 요소들은 기초 부공간을 보존하면서 새로운 정보를 포착하도록 최적화됩니다.
병합 및 미세조정 (Merging & Fine-tuning):
- 임시 기저 벡터를 기존의 기초 부공간과 병합합니다.
- 쌓인 재구성된 어댑터들의 SVD를 통해 새로운 공유 기저 벡터를 계산합니다.
- 재구성 오차를 최소화하기 위해 행렬 투영(matrix projection)과 무어-펜로즈 유사 역행렬(Moore-Penrose pseudoinverse)을 사용하여 태스크별 계수를 분석적으로 재계산합니다.
- 이 과정을 통해 수백 개의 어댑터를 데이터 재생 없이 단일한 인자(factors) 세트로 압축할 수 있습니다.

이론적 분석

본 논문은 재구성 오차와 경험적 위험 최소화(empirical risk minimization)에 대한 이론적 경계치를 제공합니다. 만약 새로운 태스크가 공유 주성분 부공간 내에 크게 존재한다면, Share 근사의 오차 경계가 전체 랭크(full-rank) 적응보다 더 타이트하다는 것을 입증합니다. 이 방법은 "보편적 가중치 부공간(Universal Weight Subspace)"을 사전에 추출하는 것이 아니라 동적으로 근사합니다.

주요 기여

재생 없는 지속 학습 (Replay-Free Continual Learning): 데이터 재생, 추가 모델, 또는 매개변수 증가 없이 지속적으로 학습하여 "엄격한 지속 학습" 조건에 접근하는 대규모 사전 학습 모델용 방법을 도입했습니다.
하이브리드 스트림 통합 (Hybrid Stream Integration): 원시 데이터와 사전 학습된 LoRA 어댑터의 하이브리드 스트림으로부터 지속적으로 학습하며, 이를 단일 모델로 매끄럽게 병합할 수 있습니다.
극한의 효율성 (Extreme Efficiency): 전통적인 LoRA 방식에 비해 학습 가능한 매개변수를 최대 100배 감소시키고, 메모리를 281배 절감합니다.
확장 가능한 배포 (Scalable Deployment): 단일 세트의 Share 주성분 인자가 수백 개의 태스크별 LoRA 어댑터를 대체할 수 있어, 비동기적이고 확장 가능한 모델 서빙을 용이하게 합니다.
광범위한 적용성 (Broad Applicability): 이미지 분류, 3D 객체 포즈 추정, 자연어 이해, 텍전-이미지 생성 등 다양한 모달리티에 걸쳐 검증되었습니다.

실험 결과

저자들은 여러 벤치마크에서 Share를 비지속적 LoRA(별도 어댑터), 결합 LoRA(상한선, Joint LoRA), 그리고 다른 지속 학습 베이스라인들과 비교 평가했습니다.

자연어 이해 (GLUE 벤치마크):
- Share는 단 0.012M 매개변수(0.29 MB)만으로 평균 **83.44%**의 성능을 달성했습니다.
- 이는 6개의 어댑터에 걸쳐 7.2M 매개변수(81.6 MB)가 필요했던 비지속적 LoRA(83.43%)의 성능과 일치합니다.
- 이 방법은 후속 태스크를 학습함으로써 이전 태스크의 성능을 향상시키는 **역방향 지식 전이(backward knowledge transfer)**를 보여주었습니다 (예: CoLA 점수가 56.00에서 59.81로 향상).
이미지 분류 (CIFAR-100, Food-101 등):
- CIFAR-100에서 Share는 0.10M 매개변수로 94.20%의 정확도를 달성했으며, 이는 상한선과 일치하며 거의 두 배의 매개변수를 필요로 하는 차순위 방법(DAP)보다 우수한 성능을 보였습니다.
- Share는 테스트된 모든 방법 중 가장 낮은 망각률을 일관되게 보여주었습니다.
3D 객체 포즈 추정:
- Pascal3D+를 사용하여, Share는 엄격한 재생 없는 조건에서 단 1M 매와변수(베이스라인의 25M 대비)만으로 작동했습니다.
- 모든 폐쇄(occlusion) 수준에서 재생 기반 방법(예: iNeMO)보다 뛰어난 성능을 보였으며, P3D 태스크에서 **81.80%**의 정확도를 달성했습니다.
텍스트-이미지 생성:
- Flux 모델에 적용하여, Share는 단일 인자 세트를 사용하여 4개의 지속적인 아트 스타일 태스크를 관리했습니다.
- 정성적 결과는 개별 LoRA와 유사한 성능을 보여주었으며, 첫 4개 태스크에 대해 20배의 모델 크기 감소를 달성했습니다.
대규모 비동기 학습:
- 500개의 LoRA(그 중 50개가 점진적으로 도착)를 포함하는 실험에서, Share는 인-디스트리뷰션(in-distribution) 태스크에 대해 원래 성능의 **90-99%**를 유지했습니다.
- 아웃-오브-디스트리뷰션(OOD) 태스크에서 Share는 평균 Rouge-L 점수 55.89를 기록하여, 비지속적 모델 병합 방법(TIES)을 크게 앞질렀으며 개별 LoRA 성능(73.75)에 근접했습니다.

의의 및 주장

본 논문은 Share가 다양하고 복잡한 모델에 적용 가능한 매개변수 효율적 지속 미세조정을 제시하는 가장 초기 연구 중 하나라고 주장합니다. 이 연구의 의의는 다음과 같습니다:

접근성 민주화: 메모리와 계산 요구 사항을 획기적으로 줄임으로써, 자원이 제한된 일반 연구자와 사용자들도 대규모 AI 시스템을 지속적으로 미세조정할 수 있게 합니다.
환경적 영향: 자원 사용의 감소는 모델 배포를 위한 환경적 발자국을 낮추는 데 기여합니다.
실용적 확장성: 대규모 시스템에서의 평생 학습(lifelong learning)을 위한 실용적인 솔루션을 제공하여, 커뮤니티 자원(LoRA 어댑터)의 재사용을 가능하게 하고, 전통적인 모델 병합의 계산적 부담 없이 확장 가능한 비동기 학습 패러다임을 지원합니다.

저자들은 현재의 작업이 미세조정에 집중하고 있지만, 향후 연구를 통해 처음부터 학습하는 것(learning from scratch)을 지원하도록 Share를 확장하는 것을 목표로 한다고 언급했습니다.