🤖 machine learning

Latent-LoRA: Compact Latent-Space Adapters with Gradient-Free Routing for Continual Learning

Latent-LoRA는 태스크 불가지론적 어댑터 라우팅을 위한 그래디언트 프리 가우시안 혼합 모델과 태스크 간 간섭을 최소화하기 위한 직교 정규화 기반의 컴팩트한 잠재 공간 파라미터화를 활용하여, 거의 제로에 가까운 망각과 함께 최첨단 성능을 달나성하는 리플레이 프리 지속 학습 프레임워크이다.

원저자: Reza Rahimi Azghan, Gautham Krishna Gudur, Giulia Pedrielli, Pavan Turaga, Hassan Ghasemzadeh

게시일 2026-07-28

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Reza Rahimi Azghan, Gautham Krishna Gudur, Giulia Pedrielli, Pavan Turaga, Hassan Ghasemzadeh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 거의 모든 도서관의 책을 읽은 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 이 로봇은 시를 쓰고, 수학 문제를 풀고, 역사를 설명할 줄 압니다. 하지만 한 가지 문제가 있습니다. 만약 당신이 이 로봇에게 체스 두는 법과 같은 새로운 기술을 가르치면, 로봇이 실수로 시 쓰는 법을 잊어버릴 수도 있다는 것입니다. 이것을 "파괴적 망각(catastrophic forgetting)"이라고 부르며, 이는 AI가 기존의 기억을 잃지 않고 새로운 것을 차례대로 배울 수 있도록 가르치려는 과학자들에게 큰 골칫거리입니다.

이를 해결하기 위해 연구자들은 "LoRA(Low-Rank Adaptation)"라는 영리한 지름길을 자주 사용합니다. 이 로봇의 뇌를 거대한, 얼어붙은 도서관이라고 생각해 보세요. 책을 새로 쓰는 대신(이는 느리고 위험합니다), LoRA는 페이지에 작은 포스트잇을 붙입니다. 각각의 새로운 작업에는 자신만의 포스트잇 세트가 할당됩니다. 문제는 로봇이 질문에 답해야 할 때, 어떤 포스트잇을 봐야 할지 모른다는 것입니다. 만약 로봇이 모든 포스트잇을 한꺼번에 읽는다면, 체스에 관한 노트가 시에 관한 노트를 망쳐놓을 수 있습니다. 일부 과학자들은 적절한 노트를 고르기 위해 "스마트한 사서"(게이팅 모듈)를 구축하려고 노력했지만, 이 사서 또한 교육이 필요하며, 때로는 사서가 자신의 직무를 수행하는 법을 잊어버리기도 합니다.

이 논문은 Latent-LoRA라고 불리는 새로운 해결책을 소개합니다. 저자들은 새로운 사서를 만드는 대신, 로봇의 자체적인 "분위기(vibe)"를 보고 현재 어떤 작업을 하고 있는지 파악할 수 있다고 제안합니다. 그들은 로봇의 문장에 대한 내부 표현(임베딩)이 시를 읽을 때와 체스 매뉴얼을 읽을 때 이미 다르게 보인다는 것을 발견했습니다. 이 "분위기"를 읽기 위해 단순한 기성 지도(가우시안 혼합 모델, Gaussian Mixture Model)를 사용함으로써, 시스템은 새로운 것을 학습할 필요 없이 즉각적으로 어떤 포스트잇을 사용할지 알 수 있습니다. 또한 그들은 포스트잇 자체를 훨씬 더 작고 조직적으로 만들어, 공간을 적게 차지하고 서로 충돌하지 않도록 만들었습니다. 그 결과, 이 시스템은 새로운 작업을 지속적으로 학습하며, 거의 잊어버리지 않고, 이전 방식들보다 훨씬 적은 컴퓨터 자원을 사용합니다.

문제점: 망각하는 로봇

당신이 수십억 개의 연결을 가진 디지털 뇌와 같은 거대한 AI 모델을 훈련시키고 있다고 상상해 보세요. 당신은 이 모델에게 이메일을 쓰는 법을 가르친 다음, 코드를 작성하는 법을 가르칩니다. 코드로 전환할 때, 뇌는 새로운 규칙에 너무 흥분한 나머지 기존의 이메일 규칙을 실수로 덮어써 버립니다. 이것이 "파괴적 망각"입니다.

이를 막기 위해 과학자들은 LoRA라는 기술을 사용합니다. 뇌 전체를 바꾸는 대신, 각 새로운 작업을 위한 작은 별도의 "어댑터"(추가 모듈 같은 것)를 부착합니다. 로봇이 코드를 작성하는 법을 배우면 "코드 어댑터"를 얻게 됩니다. 이메일 쓰는 법을 배우면 "이메일 어댑터"를 얻습니다. 원래의 뇌는 얼어붙은 상태로 안전하게 유지됩니다.

하지만 까다로운 점이 있습니다. 당신이 로봇에게 질문을 던질 때, 로봇은 어떤 어댑터를 사용해야 할지 어떻게 알까요?

"합산(Sum)" 방식: 일부 방법은 모든 어댑터를 그냥 하나로 뭉쳐버립니다. 이것은 요리 레시피와 체스 매뉴얼을 동시에 읽으려는 것과 같습니다. 지침이 뒤섞여 로봇은 실수를 하게 됩니다.
"학습된 게이트(Learned Gate)" 방식: 다른 방법들은 어떤 어댑터를 사용할지 결정하기 위해 특별한 "문지기" 모듈을 훈련시키려 합니다. 하지만 이 문지기 역시 훈련이 필요한 뇌의 일부입니다. 만약 당신이 문지기에게 새로운 기술을 가르치면, 문지기는 예전 기술을 위해 문을 여는 법을 잊어버릴 수 있습니다. 이는 마치 책이 어디 있는지 계속 까먹는 새로운 사서를 고용하는 것과 같습니다.

해결책: 분위기를 읽다

이 논문의 저자인 Reza Rahimi Azghan과 그의 팀은 다른 아이디어를 가지고 있었습니다. 그들은 흥미로운 점을 발견했습니다. 로봇이 새로운 작업을 배우기 전이라도, 입력값에 대해 느끼는 방식은 이미 독특하다는 것입니다.

이렇게 생각해보세요. 생일 파티가 열리는 방에 들어갔을 때, 문에 표지판이 없어도 방의 전반적인 "분위기"만으로 그곳이 파티 중인지 장례식 중인지 알 수 있습니다. 로봇의 얼어붙은 뇌(구체적으로 임베딩 층)도 똑같이 작동합니다. 요리에 관한 문장을 보면 내부 숫자들이 코딩에 관한 문장을 볼 때와 다르게 나타납니다.

그들은 Training-Free Router(훈련이 필요 없는 라우터)를 구축했습니다.

새로운 학습 없음: 그들은 새로운 문지기를 훈련시키지 않았습니다. 대신, 각 작업의 훈련 데이터로부터 "분위기"(임베딩)를 가져와 단순한 통계적 지도(가우시안 혼합 모델)를 만들었습니다.
즉각적인 인식: 새로운 입력이 들어오면, 시스템은 단순히 그 분위기를 지도와 대조합니다. "오, 이건 '요리' 분위기네!"라고 말하는 식입니다. 그러면 자동으로 "요리 어댑터"를 선택합니다.
망각 없음: 이 지도는 정적인 계산에 기반하므로, 새로운 학습에 의해 "덮어씌워지거나" 잊혀질 수 없습니다. 그것은 변하지 않는 벽에 붙은 영구적인 표지판과 같습니다.

핵심 비결: 컴팩트한 어댑터

팀은 또한 어댑터 자체를 훨씬 더 작고 똑똑하게 만들었습니다.

표준 LoRA: 보통 어댑터는 여러 방향으로 휠 수 있는 크고 유연한 시트와 같습니다. 이는 강력하지만 많은 공간을 차지하며 다른 어댑터와 실수로 충돌할 수 있습니다.
Latent-LoRA: 저자들은 이 어댑터들을 로봇의 원래 뇌에서 가장 중요한 부분들로 정의된 아주 작은 특정 "부공간(subspace)"(좁은 복도)으로 제한했습니다. 그들은 이 복도를 찾기 위해 SVD(특이값 분해)라는 수학적 기법을 사용했습니다.
결과: 이제 어댑터는 크고 흐물흐물한 시트 대신, 아주 작고 단단한 정사각형 행렬이 되었습니다. 이는 거대하고 지저받은 도구 상자를 단 하나의 완벽한 모양의 열쇠로 교체하는 것과 같습니다. 이 덕분에 어댑터는 매우 작아져서, 모델 크기에 따라 이전보다 16배에서 80배 적은 공간을 차지합니다.

또한 그들은 **직교 정규화(Orthogonal Regularization)**라는 특별한 규칙을 추가했습니다. 좁은 복도를 지나가려는 두 사람을 상상해 보세요. 만약 두 사람이 정확히 같은 방향으로 걸으면 서로 부딪히게 됩니다. 이 규칙은 새로운 어댑터들이 기존의 것들과 완벽하게 수직(90도 각도)인 방향으로 걷도록 강제합니다. 이를 통해 새로운 작업을 배우는 것이 기존의 작업을 밀어내지 않도록 보장합니다.

연구 결과

팀은 다섯 가지 크기의 AI 모델(T5-Large부터 Llama-2-13B까지)과 두 가지 주요 벤치마크(SuperNI 및 Long Sequence)를 통해 시스템인 Latent-LoRA를 테스트했습니다.

제로에 가까운 망각: 테스트에서 Latent-LoRA는 거의 0.01이라는 "망각 측정치(Forgetting Measure)"를 달성했습니다(이는 거의 아무것도 잊지 않았음을 의미함). 이는 다른 방법들이 훨씬 더 많이 잊어버린 것과 대조적입니다. 예를 들어, SuperNI 벤치마크에서 이전 최고 방법인 GainLoRA가 지식의 2.14%를 잊어버린 반면, Latent-LoRA는 단 0.01%만을 잊었습니다.
더 나은 성능: 단순히 잘 기억하는 것에 그치지 않고, 전반적인 성능도 더 뛰어났습니다. SuperNI 벤치마크에서 Latest-LoRA는 평균 **48.60%**의 성능을 기록하여, 46.77%를 기록한 이전 리더인 GainLoRA를 앞질렀습니다.
효율성: 어댑터가 매우 작고 라우터가 훈련을 필요로 하지 않기 때문에, 이 시스템은 믿을 수 없을 정도로 효율적입니다. Llama-2-13B와 같은 대규모 모델의 경우, 각 새로운 작업은 표준 방식의 650만 개 이상의 파라미터와 비교하여 약 82,000개의 새로운 파라미터만을 추가합니다. 이는 80배나 줄어든 크기입니다!

한계점

저자들은 이것이 마법이 아니라는 점을 명시했습니다.

지도가 공간을 필요로 함: 시스템은 서로 다른 작업들의 "분위기"가 구별될 만큼 뚜렷해야 합니다. 만약 두 작업이 너무 유사하다면(예: 서로 다른 종류의 감성 분석), 지도가 혼란을 겪을 수 있습니다. 하지만 테스트 결과, 작업들이 충분히 구별되었기에 라우터는 거의 항상 정확했습니다.
수학적 비용: 지도를 계산하는 과정은 새로운 작업이 추가될 때마다 거대한 행렬을 역행렬로 만드는 등의 무거운 수학적 계산을 포함합니다. 매우 거대한 모델의 경우 속도가 느려질 수 있지만, 팀은 이 방식이 130억 개의 파라미터 모델까지 안정적으로 작동한다는 것을 확인했습니다.
규모: 이들은 130억 개의 파라미터까지 테스트했습니다. 이 방식이 훨씬 더 큰 모델(예: 1,000억 개 이상의 파라미터를 가진 모델)에서도 작동할지는 아직 알 수 없지만, 결과는 모델이 커질수록 성능이 더 좋아질 수 있음을 시사합니다.

요약하자면, Latent-LoRA는 AI의 메모리를 관리하기 위해 복잡하고 훈련 가능한 사서가 필요하지 않다는 것을 보여줍니다. 때로는 그저 방의 분위기를 읽고, 로봇에게 그 일을 위한 작고 완벽한 모양의 열쇠를 건네주기만 하면 됩니다. 이것은 AI가 정신을 놓지 않고 영원히 학습할 수 있게 만드는 더 단순하고, 더 작으며, 더 효과적인 방법입니다.

기술 요약: Latent-LoRA

문제 정의

거대 언어 모델(LLM)은 지속 학습(Continual Learning, CL) 측면에서 근본적인 과제에 직면해 있습니다. 즉, 이전에 습득한 지식을 "파괴적 망각(catastrophic forgetting)" 없이 일련의 태스크를 순차적으로 학습하는 데 어려움을 겪습니다. **저차원 적응(Low-Rank Adaptation, LoRA)**은 각 태스크를 위한 별도의 저차원 어댑터를 할당함으로써 매개변수 효율적인 솔루션으로 부상했지만, 기존 방식들은 태스크 식별이 불가능한(task-agnostic) 설정(태스크 정체를 알 수 없는 경우)에서 심각한 추론 시점의 한계를 보입니다:

무분별한 집계(Indiscriminate Aggregation): O-LoRA와 같은 방법들은 모든 어댑터를 합산하며, 이로 인해 무관한 브랜치들이 모든 입력에 영향을 미치게 되어 예측을 왜곡하고 망각을 재유발합니다.
학습된 게이팅 오버헤드(Learned Gating Overhead): 최근의 솔루션들(예: GainLoRA)은 입력을 특정 어댑터로 라우팅하기 위해 학습 가능한 게이팅 모듈을 사용합니다. 그러나 이러한 게이트는 상당한 매개변수 오버헤드를 발생시키며, 그 자체로 망각에 취약하여 이를 보호하기 위한 복잡한 2차 메커니즘(예: Gradient Projection Memory)을 필요로 합니다.

방법론: Latent-LoRA

제안된 Latent-LoRA 프레임워크는 두 가지 핵심 혁신인 학습이 필요 없는 라우팅 메커니즘과 **컴팩트한 잠재 공간 어댑터(compact latent-space adapters)**를 통해 이러한 문제를 해결합니다.

1. 학습이 필요 없는 가우시안 혼합 모델 라우터 (Training-Free Gaussian Mixture Router)

게이팅 네트워크를 학습시키는 대신, Latent-LoRA는 동결된 LLM 임베딩 레이어로부터 추출된 **풀링된 토큰 임베딩(pooled token embeddings)**이 태스크 분포를 자연스럽게 분리한다는 관찰 결과를 활용합니다.

메커니즘: 특정 태스크에 대한 어댑터를 학습시킨 후, 시스템은 해당 태스크의 학습 임베딩에 대해 **가우시안 혼합 모델(GMM)**을 적합(fit)시킵니다.
추론: 새로운 입력이 들어오면, 라우터는 GMM을 사용하여 태스크에 대한 사후 확률 $p(t|x)$ 를 계산합니다. 이 확률은 각 태스크의 어댑터 기여도에 가중치를 부여합니다.
장점: 라우터는 학습 가능한 매개변수가 없습니다 (평균과 공분산은 분석적으로 또는 K-means를 통해 도출됨). 결과적으로, 라우터는 망각을 겪을 수 없으며, 별도의 보호 메커니즘을 필요로 하지 않고, 저장 오버헤드도 극히 적습니다.

2. 컴팩트한 잠재 공간 어댑터 (Compact Latent-Space Adapters)

본 논문은 LoRA-XS와 **특이값 분해(SVD)**에 기반한 매개변수 효율적인 적응 전략을 도입합니다.

서브스페이스 제약(Subspace Constriction): 사전 학습된 가중치 행렬 $W$ 에 대해, 방법론은 rank- $r$ 절단 SVD( $W \approx U_r \Sigma_r V_r^\top$ )를 계산합니다. 이때 인자 $U_r, \Sigma_r, V_r$ 은 동결됩니다.
매개변수화: 표준 LoRA처럼 두 개의 행렬( $A, B$ )을 학습하는 대신, 이 방법은 잠재 서브스페이스 내의 작은 $r \times r$ 행렬 $R_t$ 만을 학습합니다. 가중치 업데이트는 $\Delta W_t = U_r \Sigma_r R_t V_r^\top$ 가 됩니다.
직교 정규화(Orthogonal Regularization): 태스크 간 간섭을 방지하기 위해 다음과 같은 특정 정규화 항을 적용합니다: $L_{ortho} = \sum_{i<j} \|\tilde{R}_i^\top \tilde{R}_j\|_F^2$ , 여기서 $\tilde{R} = \Sigma_r R$ 입니다. 이는 잠재 공간 내에서 간섭 커널을 직접 제어하여 출력 섭동(perturbation)에 대한 이론적 상한선을 제공합니다.
스냅샷 격리(Snapshot Isolation): 학습이 완료되면 각 어댑터 $R_t$ 는 동결된 스냅샷으로 저장되어, 이후의 어떤 태스크도 이전에 학습된 매개변수를 수정할 수 없도록 보장합니다.

주요 기여

학습이 필요 없는 라우팅: 학습 가능한 게이팅 모듈과 그에 따른 망각 위험을 제거하기 위해, 풀링된 임베딩에서 작동하는 GMM 기반 라우터를 제안했습니다.
지속 학습에 대한 잠재 공간 어댑터의 첫 적용: 컴팩트한 SVD 제약 어댑터를 지속 학습에 도입하여, 태스크당 저장 용량을 $r(m+n)$ 에서 $r^2$ 매개변수로 줄였습니다.
최첨단 성능(SOTA): Latent-LoRA가 리플레이 데이터나 태스크 정체성 없이도 표준 벤치마크에서 거의 제로에 가까운 망각과 우수한 평균 성능을 달야냄을 입증했습니다.

실험 결과

본 방법론은 다섯 가지 모델 규모(T5-Large, T5-XLarge, Llama-2-7B, Llama-3-8B, Llama-2-13B)와 두 가지 벤치마크(SuperNI 및 Long Sequence)에 대해 태스크 불가지론적(task-agnostic)이며 예시(exemplar)가 없는 설정에서 평가되었습니다.

성능: Latent-LoRA는 모든 구성에서 가장 높은 **평균 성능(AP)**과 가장 낮은 **망각 척도(FM)**를 달성했습니다.
- SuperNI에서, Latent-LoRA는 이전 최고 모델인 GainLoRA보다 AP에서 1.8~2.5포인트 앞섰으며, 망각을 0.01%에 가까운 수준으로 줄였습니다.
- Long Sequence에서, GainLoRA 대비 AP를 1.7~3.6포인트 개선하면서 망각률을 1% 미만으로 유지했습니다.
매개변수 효율성: 컴팩트한 어댑터는 표준 LoRA와 비교하여 태스크당 학습 매개변수를 16배에서 80배까지 감소시켰습니다 (예: Llama-2-13B의 경우 6.55M에서 82K 매개변수로 감소).
확장성: 모델 크기가 커질수록 Latent-LoRA와 베이스라인 간의 성능 격차가 벌어졌으며, 이는 본 접근 방식이 더 큰 아키텍처로 효과적으로 확장될 수 있음을 시사합니다.

의의 및 주장

본 논문은 Latent-LoRA가 라우팅 메커니즘을 학습 과정으로부터 분리함으로써 중요한 진전을 이루었다고 주장합니다. 동결된 임베딩의 고유한 분리성을 활용하고 어댑터를 컴팩트한 잠재 서브스페이스로 제한함으로써, 시스템은 학습 가능한 라우터의 복잡성이나 리플레이 버퍼의 메모리 비용 없이 최첨단 지속 학습 성능을 달성합니다.

저자들은 본 방식이 리플레이가 필요 없고(replay-free), 학습 가능한 라우팅 구성 요소가 필요 없으며, 태스크당 훨씬 적은 매개변수를 사용함을 강조합니다. 또한, 이 방법이 임베딩 공간에서의 태스크 분포 분리성에 의존하지만(이는 테스트된 모든 규모에서 성립함), 대규모 언어 모델의 순차적 학습을 위한 견고하고 저비용의 솔루션을 제공한다고 언급합니다. 이 연구는 복잡한 게이팅 메커니즘에 대한 실질적인 대안으로서, 학습 가능한 라우터가 겪는 망각 문제로부터 자유로운 "학습 불필요(training-free)" 라우팅 솔루션을 제시하며 자신들의 위치를 확립합니다.