🤖 machine learning

GLAM: Efficient Continual Learning at Scale via Grouped LoRA Adapter Merging

GLAM은 각 태스크에 대한 중요도 스칼라를 가진 경량 LoRA 어댑터를 학습시킨 후, 이를 그룹화된 모듈로 가지치기, 재조정 및 병합함으로써 긴 태스크 시퀀스에서 최첨단 정확도를 달성하는 동시에 학습 가능한 파라미터와 학습 시간을 크게 줄이는 효율적인 지속 학습 프레임워크입니다.

원저자: Irene Testa, Luigi Quarantiello, Eric Nuertey Coleman, Samrat Mukherjee, Julio Hurtado, Vincenzo Lomonaco

게시일 2026-08-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Irene Testa, Luigi Quarantiello, Eric Nuertey Coleman, Samrat Mukherjee, Julio Hurtado, Vincenzo Lomonaco

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하고 영리한 로봇에게 당신의 반려동물인 고양이부터 희귀한 새, 그리고 특정 종류의 자동차에 이르기까지 세상의 모든 것을 인식하도록 가르치고 있다고 상상해 보세요. 로봇은 이미 많은 것을 알고 있는 거대하고 미리 로드된 뇌를 가지고 시작합니다. 하지만 까다로운 점이 하나 있습니다. 당신이 새로운 것을 가르칠 때마다, 로봇은 어제 배웠던 것을 실수로 지워버리는 일종의 "망각" 현상을 겪게 됩니다. 이것은 컴퓨터 과학에서 '파괴적 망각(catastrophic forgetting)'이라고 불리는 유명한 문제입니다. 보통 이를 해결하려면 로봇의 전체 뇌를 처음부터 다시 학습시켜야 하는데, 이는 시간이 너무 오래 걸리고 엄청난 양의 전기를 소모합니다. 과학자들은 이 로보가 매일 거대한 메모리 업그레이드를 할 필요 없이, 인간처럼 지속적으로 학습할 수 있는 기계를 만들기 위해, 이전의 것을 잊지 않으면서도 새로운 기술을 배울 수 있는 방법을 찾기 위해 노력해 왔습니다.

여기, 이 로봇의 뇌를 위한 영리하고 체계적인 사서 역할을 하는 새로운 방법인 GLAM이 등장했습니다. GLAM은 모든 새로운 레슨을 끝없는 선반 공간을 차지하는 크고 무거운 책으로 만드는 대신, 로봇에게 각 새로운 작업에 대한 작고 가벼운 메모(어댑터라고 불림)를 작성하도록 가르칩니다. 하지만 여기서 마법 같은 기술이 나옵니다. GLAM은 수천 개의 메모를 모두 보관하는 대신, 유사한 메모들을 하나로 그룹화하고, 지저분하고 중요하지 않은 낙서들을 쳐내어, 하나의 깔끔하고 정돈된 요약본으로 병합합니다. 이것은 마치 50개의 서로 다른 여행 일지를 모아놓고, 그 내용을 읽은 뒤, 무겁지 않으면서도 최고의 팁들을 모두 담고 있는 단 하나의 완벽한 여행 가이드북으로 압축하는 것과 같습니다.

연구진은 이 방식이 믿을 수 없을 정도로 효율적이라는 것을 발견했습니다. GLAM을 최대 50개의 서로 다른 작업(예: 50가지 서로 다른 이미지 세트 인식)에 대해 테스트했을 때, 로봇은 단순히 잘 학습했을 뿐만 아니라 매우 빠르게 학습했습니다. 실제로 GLAM은 가장 뛰어난 경쟁 방법들보다 약 3배 더 빠르게 학습했으며, 다른 방법들이 필요로 했던 '학습 가능한 뇌의 힘(파라미터)'의 약 20%만을 사용했습니다. 다른 방법들이 작업 수가 늘어남에 따라 따라잡기 위해 고군분투하는 동안, GLAM은 예리함을 유지하며 수행된 모든 테스트에서 가장 높은 정확도를 달ian했습니다. 이는 로봇이 과거를 잊지 않으면서도, 혹은 슈퍼컴퓨터를 이용한 복잡한 계산 없이도 오랫동안 새로운 것을 계속 배울 수 있다는 것을 증명했습니다.

문제점: 로봇의 짧은 기억력

현대의 AI 모델을 이미 인터넷 전체를 읽은 거대한 사전 학습된 뇌라고 생각해 보세요. 이 뇌는 놀랍지만 한 가지 결함이 있습니다. 만약 당신이 특정 견종을 인식하는 법처럼 새로운 것을 가르치려 한다면, 이 뇌는 종종 혼란에 빠져 이전에 알고 있던 고양이를 인식하는 법을 잊어버리곤 합니다. 이것이 바로 "망각" 문제입니다.

이를 막기 위해 과학자들은 보통 뇌의 주요 부분은 그대로 고정(freeze)해 두고, 아주 작은 특수 구역만을 새로운 것을 배우도록 허용합니다. 이것을 LoRA(Low-Rank Adaptation)라고 부릅니다. 뇌를 거대한 도서관이라고 한다면, LoRA는 책 전체를 새로 쓰는 대신 특정 선반에 작은 포스트잇을 붙이는 것과 같습니다. 효율적이긴 하지만, 만약 50개의 서로 다른 작업이 있다면 50개의 포스트잇이 생기게 됩니다. 50개의 메모를 관리하는 것은 번거로운 일이며, 만약 그 메모들을 한꺼번에 읽으려 한다면 로봇의 속도가 느려질 것입니다.

GLAM 솔루션: 그룹화 게임

GLAM(Grouped LoRA Adapter Merging)은 이 포스트잇들을 팀 단위로 조직함으로써 판도를 바꿉니다. 작동 방식은 다음과 같습니다:

새로운 레슨: 로봇이 새로운 작업을 배울 때, GLAM은 오직 그 작업만을 위한 작고 가벼운 메모(어댑터)를 생성합니다. 또한, 이 메모에 얼마나 중요한지를 나타내는 "중요도 점수"를 부여합니다.
그룹화: 모든 메모를 개별적으로 유지하는 대신, GLAM은 새 메모를 몇 개의 "그룹" 중 하나에 무작위로 할당합니다(예: 새 책을 다섯 개의 특정 선반 중 하나에 꽂는 것과 같습니다).
정리 (Pruning): 메모가 그룹에 추가되기 전, GLAM은 빠른 정리를 수행합니다. 메모를 살펴보고 약하고 중요하지 않은 부분("노이즈")을 버리고, 강하고 명확한 정보만을 남깁니다. 이는 메모가 지저분해지거나 서로 간섭하는 것을 방지합니다.
병합 (Merge): 정리된 새 메모는 그룹의 기존 요약본에 부드럽게 섞입니다. 그룹 요약본은 새로운 정보를 포함하도록 업데이트되지만, 여전히 단 하나의 메모 상태를 유지합니다.
최종 결과: 마지막에는 모든 그룹 요약본이 하나의 초효율적인 모듈로 결합됩니다. 로봇은 50개의 메모를 볼 필요 없이, 자신이 배운 모든 것을 담고 있는 하나의 압축된 요약본만을 보면 됩니다.

이것이 왜 중요한가

연구진은 이 방식을 세 가지 이미지 데이터셋인 CIFAR-100(100가지 유형의 물체), CUB-200(200가지 유형의 새), ImageNet-R(200가지 유형의 예술적 이미지)에 대해 테스트했습니다. 그들은 로봇이 최대 50개의 작업 시퀀스 동안 학습하도록 만들었는데, 이는 일반적인 과학자들이 사용하는 10개 작업 테스트보다 훨씬 긴 과정입니다.

결과는 인상적이었습니다:

속도: GLAM은 가장 뛰어난 경쟁 방법(CL-LoRA)보다 약 3배 더 빠르게 학습되었습니다.
크기: 가장 좋은 베이스라인 모델이 사용한 학습 가능 파라미터의 **16~19%**만을 사용했습니다.
정확도: 세 가지 데이터셋 모두에서 가장 높은 점수를 기록했습니다. 예를 들어, CUB-200 조류 데이터셋에서 70.96%의 정확도에 도달하여 다음 순위의 방법을 상당한 차이로 앞질렀습니다.
망각: 다른 방법들보다 덜 잊어버렸습니다. 동일한 데이터셋에서 일부 방법들이 학습한 내용의 약 33%를 잊어버린 반면, GLAM은 약 **20%**만을 잊어버렸습니다.

이 논문은 이러한 "그룹화 및 병합" 전략이 AI가 과부하 없이 지속적으로 학습할 수 있게 만드는 핵심이라고 제안합니다. 활성화된 메모의 수를 낮게 유지하고 진행 과정에서 이를 정리함으로써, GLAM은 로봇이 모든 세부 사항을 개별적으로 기억할 필요 없이 긴 작업 시퀀스를 효율적으로 학습할 수 있도록 해줍니다. 이는 기계가 우리처럼 시간이 흐름에 따라 진정으로 배우고 성장할 수 있게 만드는 길로 향하는 한 걸음입니다.

=== 기술 요약: GLAM – 그룹화된 LoRA 어댑터 병합을 통한 효율적인 대규모 지속 학습 (Efficient Continual Learning at Scale via Grouped LoRA Adapter Merging) ===

문제 정의

지속 학습(Continual Learning, CL)은 모델이 이전의 지식을 유지하면서 일련의 태스크로부터 지식을 점진적으로 학습할 수 있도록 하여, 고질적인 문제인 파괴적 망각(catastrophic forgetting)을 해결하는 것을 목표로 합니다. 풍부한 표현력을 가진 대규모 사전 학습 파운데이션 모델들은 망각을 부분적으로 완화해주기는 하지만, 막대한 계산 비용을 발생시키지 않으면서 진화하는 데이터 분포에 효율적으로 적응하는 데에는 어려움을 겪습니다.

기존의 매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning, PEFT) 방법들, 특히 저차원 적응(Low-Rank Adaptation, LoRA)은 일반적으로 정적이고 단일 태스크인 시나리오를 위해 설계되었습니다. LoRA를 CL에 적용하는 것은 세 가지 핵심 과제를 제시합니다:

파괴적 망각(Catastrophic Forgetting): 이전 태스크로부터의 지식 손실 방지.
지식 전이(Knowledge Transfer): 관련 태스크 간의 효과적인 전이 가능하게 함.
확장성(Scalability): 태스크 수가 증가함에 따라 매개변수를 효율적으로 할당.

현재의 LoRA 기반 CL 접근 방식은 각 태스크를 위한 별도의 어댑터를 저장하거나(추론 시 태스크 식별자 필요), 지식 전이를 제한하는 복잡한 격리 전략을 채택하는 경우가 많습니다. 또는 사후 병합(post-hoc merging) 방법들은 학습 단계에서의 전이를 제한하고 수동으로 튜닝된 최적화되지 않은 계수에 의존하며 학습 후에만 어댑터를 통합합니다. 또한, 많은 기존 방법들은 어댑터를 독립적으로 취급하여 공유 학습이나 적응형 재사용을 지원하지 못하며, 태스크 시퀀스가 길어짐에 따라 높은 학습 비용을 초래합니다.

방법론: GLAM

저자들은 태스크가 진행됨에 따라 이전 태스크의 샘플에 대한 접근 없이도 어댑터를 동적으로 그룹화하고 병합하도록 설계된 클래스 증분 지속 학습(class-incremental continual learning) 프레임워크인 GLAM(Grouped LoRA Adapter Merging)을 제안합니다. 이 방법은 3단계 파이프라인을 통해 작동합니다:

1. 태스크별 LoRA 학습 (Task-Specific LoRA Training)

각 새로운 태스크 $T_i$ 에 대해, GLAM은 연관된 중요도 스칼라 $\alpha_i$ 와 함께 경량화된 태스크별 LoRA 어댑터 $\Delta W_i = B_i A_i$ 를 학습시킵니다.

최적화: 어댑터 $\Delta W_i$ 와 그 스칼라 $\alpha_i$ 는 현재 데이터셋 $D_i$ 에 대해 최적화됩니다.
동결: 사전 학습된 가중치 $W_0$ 와 이전에 학습된 그룹 어댑터 $\{\Delta W_{G_j}\}$ 는 동결된 상태를 유지합니다.
동적 스케일링: 균형 잡힌 상대적 중요도를 유지하기 위해 기존 그룹 어댑터들의 스케일링 인자 $\{\alpha_{G_j}\}$ 가 새 태스크 학습 중에 업데이트됩니다.
클래시파이어 마스킹(Classifier Masking): 현재 태스크 이외의 클래스들에 대한 로짓(Logits)을 마스킹하여 관련 클래스 파라미터만을 최적화합니다.

2. 어댑터 그룹화 (Adapter Grouping)

매개변수의 무제한적인 증가를 방지하기 위해, GLAM은 모든 태스크를 위해 별도의 모듈을 유지하는 대신 동적 그룹화 전략을 사용합니다.

그룹 연관: 태스크 $T_i$ 에 대한 학습을 완료하면, 새 어댑터는 사용 가능한 그룹 슬롯 세트(최대 $G_{max}$ 까지)에서 랜덤 샘플링 전략을 통해 그룹 $G_j$ 에 할당됩니다. 슬롯이 비어 있으면 새 그룹이 초기화되고, 그렇지 않으면 기존 그룹에 합류합니다.
중요도 집계: 각 그룹은 모든 어댑터의 중요도 인자의 실행 평균(running average)으로 업데이트되는 단일 스케일링 인자 $\alpha_{G_j}$ 를 유지합니다.
크기 기반 프루닝(Magnitude-Based Pruning): 병합 전, 유입되는 어댑터는 크기 기반 프루닝을 거칩니다. 행렬 $B_i$ 와 $A_i$ 에서 절대값이 큰 상위 $k\%$ 의 가중치만을 유지합니다. 이 단계는 Fisher 기반 기준의 높은 계산 비용 없이 약하거나 중복된 구성 요소로부터의 간섭을 줄입니다.
그룹 내 병합(Intra-Group Merging): 프루닝된 어댑터는 그룹 크기에 따른 가중 평균을 사용하여 현재 그룹 어댑터 $\Delta W_{G_j}$ 와 선형적으로 병합됩니다. 이는 여러 태스크별 업데이트를 단일 그룹 수준의 표현으로 통합합니다.

3. 클래시파이어 정렬 및 최종 결합 (Classifier Alignment and Final Concatenation)

클래시파이어 정렬: 최근에 학습된 클래스에 대한 편향을 완화하기 위해 클래시파이어 정렬 단계가 수행됩니다. 모든 관찰된 태스크의 클래스 특징(class features)으로부터 저장된 가우시안 통계(평균 및 분산)에서 합성 특징(synthetic features)을 샘플링합니다. 최종 선형 클래시파이어는 이 합성 특징들에 대해 재학습되지만, 특징 추출기는 동결된 상태를 유지합니다.
최종 결합: 추론 시, 모든 그룹 어댑터는 하나의 통합된 모듈로 결합됩니다. 이는 각 그룹 어댑터를 그 중요도 인자 $\alpha_{G_j}$ 로 스케일링하고 랭크 차원을 따라 결합함으로써 달성됩니다. 결과물인 모델은 단일한 컴팩트 어댑터 $\Delta W_{final}$ 을 가지며, 이를 통해 태스크 수와 관계없이 일정한 계산 비용을 보장합니다.

주요 기여

확장 가능한 CL 방법론: PEFT 기술을 활용하여 파운데이션 모델을 위한 새로운 접근 방식을 제시하며, 태스크별 적응과 LoRA 모듈 및 그 중요도 계수를 공동으로 학습하는 메커니즘을 결합합니다.
점진적 병합 파이프라인: 태스크별 어댑터를 제한된 세트의 그룹 어댑터로 통합하는 전략을 제공합니다. 이는 순차적 그룹화와 크기 기반 프루닝을 통해 매개변수 증가를 제어하고 긴 태스크 시퀀스 동안의 병합 간섭을 완화합니다.
실증적 검증: 다양한 벤치마크(CIFAR-100, CUB-200, ImageNet-R)에서 실험을 통해, 긴 태스크 시퀀스(최대 50개 태스크)가 있는 동적 CL 시나리오에서 최첨단 성능을 입증했습니다.

실험 결과

저자들은 최근 문헌에서 흔히 발견되는 10개 태스크 프로토콜보다 훨씬 더 까다로운 설정인 최대 50개의 태스크 시퀀스를 사용하여 표준 벤치마크에서 GLAM을 평가했습니다.

정확도 및 망각: GLAM은 세 가지 벤치마크 모두에서 가장 높은 평균 정확도를 달 기록했습니다. 가장 강력한 성능의 베이스라인(데이터셋 및 지표에 따라 다름, 예: CIFAR-100의 경우 CL-LoRA, ImageNet-R의 경우 SEMA)과 비교했을 때, GLAM은 평균 6%의 정확도 향상과 8%의 망각 감소를 달성했습니다. 예를 들어, CIFAR-100에서 GLAM(84.73%)은 CL-LoRA(77.56%)를 크게 앞질렀으며, CUB-200에서는 GLAM(70.96%)이 CL-LoRA(61.49%)를 넘어섰습니다.
효율성: GLAM은 우수한 계산 효율성을 보여주었습니다. 가장 강력한 성능의 베이스라인 대비 약 3배의 학습 속도 향상을 달면서, 해당 베이스라인이 사용하는 학습 가능 매개변수의 16~19%만을 사용했습니다 (예: CIFAR-100에서 CL-LoRA의 ~19.2M 매개변수 대비 GLAM은 ~3.6M 매개변수 사용).
확장성: 태스크 수가 10개에서 50개로 증가함에 따라, 경쟁 방법들이 눈에 띄는 정확도 저하를 보인 것과 달리 GLAM은 견고한 성능을 유지했습니다.
절제 연구(Ablation Studies): 분석 결과, 순차적인 2단계 병합 전략의 효과가 확인되었습니다. 랜덤 그룹화는 더 복잡한 클러스터링 전략만큼 효과적인 것으로 나타났으며, 크기 기반 프루닝은 간섭을 줄이는 데 효과적임이 입증되었습니다.

의의 및 주장

본 논문은 GLAM을 파운데이션 모델을 위한 **평생 학습(lifelong learning)**을 향한 중요한 진전으로 포지셔닝합니다. 기존 PEFT 기반 CL 방법들의 확장성 병목 현상을 해결함으로써, GLAM은 매개변수나 계산 비용의 선형적 폭발 없이 새로운 지식을 지속적으로 추가할 수 있게 합니다.

저자들은 GLAM이 시간 및 자원 예산이 제한된 실제 시나리오에서 실용적인 솔루션을 제공한다고 주장합니다. 이 방법은 안정성-가소성 트레이드오프(stability-plasticity trade-off)를 성공적으로 조절하여, 이전 태스크의 지식을 보존하는 동시에 새로운 정보를 효율적으로 통합하며, 최종 어댑터 결합을 통해 일정한 추론 비용을 유지합니다. 이 연구는 동적 그룹화 및 병합이 정적 격리나 사후 통합보다 효율적인 대규모 지속 학습을 위한 유망한 경로임을 시사합니다.