🤖 machine learning

Low-Rank Adapters Initialization via Gradient Surgery for Continual Learning

이 논문은 기존 방법들에 비해 극적인 망각을 현저히 완화하고 안정성-가소성 트레이드오프를 개선하기 위해 경계 절단과 잘린 SVD 를 활용하여 상충하는 작업 간 경사를 조화시키는 continual learning 을 위한 저랭크 어댑터 (LoRA) 의 새로운 초기화 방법인 SLICE 를 제안한다.

원저자: Joana Pasquali, Ramiro N. Barros, Arthur S. Bianchessi, Vinícius Conte Turani, João Vitor Boer Abitante, Rafaela Cappelari Ravazio, Christian Mattjie, Otávio Parraga, Lucas S. Kupssinskü, Rodrigo C. B

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Joana Pasquali, Ramiro N. Barros, Arthur S. Bianchessi, Vinícius Conte Turani, João Vitor Boer Abitante, Rafaela Cappelari Ravazio, Christian Mattjie, Otávio Parraga, Lucas S. Kupssinskü, Rodrigo C. Barros

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Low-Rank Adapters Initialization via Gradient Surgery for Continual Learning"이라는 논문을 쉬운 언어와 창의적인 비유로 설명합니다.

큰 문제: "망각하는 학생"

역사, 수학, 요리에 대해 많은 것을 이미 배운 천재 학생 (대형 언어 모델) 이 있다고 상상해 보세요. 이제 그 학생에게 새로운 과목인 양자 물리학을 가르치고 싶습니다.

AI 세계에서는 이 학생에게 새로운 기술을 가르칠 때, 종종 **"치명적인 망각 (Catastrophic Forgetting)"**을 겪습니다. 마치 새로운 정보가 뇌 속의 기존 노트를 덮어쓰는 것과 같습니다. 양자 물리학을 배우는 순간, 요리나 기초 수학 방법을 잊어버리게 됩니다. 새로운 것에는 뛰어나지만, 과거에 알던 모든 것에는 서툴러지는 것입니다.

현재의 도구: LoRA ("스티키 노트" 방식)

학생의 뇌 전체를 다시 쓰는 것 (너무 비싸고 느림) 없이 이를 해결하기 위해 연구자들은 LoRA(Low-Rank Adaptation) 라는 기술을 사용합니다.

LoRA 를 학생에게 스티키 노트 한 뭉치를 주는 것으로 생각하세요.

교과서를 다시 쓰는 대신, 학생은 새로운 규칙을 스티키 노트에 적어 기존 페이지 위에 붙입니다.
이는 저렴하고 빠르며 모듈화되어 있습니다.
문제점: 새로운 과목을 시작할 때, 그냥 새로운 빈 스티키 노트를 가져옵니다. 먼저 기존 스티키 노트들을 확인하지는 않습니다. 그래서 새로운 노트가 우연히 중요한 수학 공식을 덮어버려, 물리학을 배우는 동안 수학을 잊게 만들 수 있습니다.

이 논문의 해결책: "Slice" ("기울기 외과 의사")

저자들은 새로운 과목에 빈 스티키 노트를 그냥 가져오는 대신, Slice라는 새로운 방법을 제안합니다. Slice 는 스티키 노트를 붙이기 전에 신중하게 준비하는 외과 의사처럼 행동합니다.

이 "수술"이 어떻게 작동하는지 단계별로 살펴보겠습니다.

1. "리허설" (기존 노트 살펴보기)

학생이 새로운 작업을 시작하기 전에, Slice 는 이전 작업들(역사, 수학, 요리) 을 빠르게 훑어봅니다. 그리고 이렇게 묻습니다: "학생의 뇌가 이 것들을 배우기 위해 어떤 방향으로 움직였는가?"

2. "충돌 확인" (기울기 수술)

Slice 는 새로운 작업에 필요한 "이동 방향"을 이전 작업들과 비교합니다.

충돌: 때로는 새로운 것을 배우기 위해 뇌가 "왼쪽"으로 움직여야 하지만, 기존 지식을 유지하려면 "오른쪽"에 머물러야 합니다. 뇌를 강제로 "왼쪽"으로 밀어붙이면 기존 지식이 파괴됩니다.
수술: Slice 는 (사영 연산자라고 불리는) 수학적 도구를 사용하여 기존 지식을 해칠 수 있는 새로운 지시 사항의 부분을 잘라냅니다. 이는 학생을 새로운 작업에서 전진시키되 기존 노트를 밟지 않는 "안전한 경로"를 찾습니다.

3. "완벽한 스티키 노트" (초기화)

충돌이 해결되면 Slice 는 무작위 스티키 노트를 사용하지 않습니다. 그 안전한 경로를 기반으로 맞춤형 스티키 노트를 만듭니다.

옛 방식: 빈 노트에 무작위로 낙서하기.
Slice 방식: "수학을 잊지 않고 물리학을 배우는 방법"이라고 미리 적힌 노트.

"적대적" 테스트: 궁극의 스트레스 테스트

연구자들은 방법의 효과를 입증하기 위해 쉬운 작업만 테스트하지 않았습니다. NI-Seq-Opposite라는 특별하고 가혹한 테스트를 만들었습니다.

이 테스트는 새로운 수업들이 학생을 혼란스럽게 하도록 설계된 것입니다.

작업 1: 시를 쓰는 법 배우기.
작업 2: 수학 증명 쓰기 배우기 (시적 흐름과 모순될 수 있는 논리 필요).
작업 3: 법률 계약서 쓰기 배우기 (전两者와 모순됨).

연구자들은 서로 최대한 반대되는 작업을 찾아 이러한 시퀀스를 구축했습니다. 마치 한 사람에게 레이싱카 운전법을 가르친 직후, 조종 장치가 완전히 반대인 트랙터 운전법을 가르치는 것과 같습니다.

결과: 안정성 대 가소성

이 논문은 두 가지를 측정합니다:

가소성 (Plasticity): 학생이 새로운 것을 얼마나 잘 배우는가.
안정성 (Stability): 학생이 이전 것을 얼마나 잘 기억하는가.

Slice 가 달성한 것:

Vanilla LoRA (옛 방식): 학생은 새로운 작업을 잘 배우지만 거의 모든 다른 것을 잊어버렸습니다. "반대" 테스트에서 이전 지식의 최대 20% 를 잊어버렸습니다.
Slice: 학생은 새로운 작업을 똑같이 잘 배우면서, 거의 모든 다른 것을 기억했습니다.
- 가장 어려운 테스트에서 Slice 는 표준 방법 대비 이전 지식 유지율을 20 점 이상 향상시켰습니다.
- 이는 학생의 일반적인 지능 (대화나 추론 능력 등) 을 크게 해치지 않았습니다.

"마법 노브" (Alpha)

이 논문에서는 Alpha라는 설정도 언급합니다. 이는 볼륨 노브와 같습니다.

한쪽으로 돌리면 학생은 조금 더 망각하지만 일반적인 "상식"은 더 날카로워집니다.
다른 쪽으로 돌리면 이전 기술을 더 단단히 붙잡지만 아주 작은 일반적 flair 를 잃을 수 있습니다.
저자들은 필요에 따라 완벽한 균형을 얻기 위해 이를 조정할 수 있음을 보여줍니다.

요약

Slice는 AI 에게 새로운 기술을 가르치는 더 똑똑한 시작 방법입니다. 기존 정보를 덮어쓸 수 있는 새로운 정보를 맹목적으로 추가하는 대신, 먼저 지시 사항에 빠른 "수술"을 수행합니다. 이는 AI 가 새로운 작업을 배우면서도 이전 작업을 보호할 수 있는 경로를 찾아, AI 가 성장함에 따라 기억 상실을 겪지 않도록 보장합니다.

기술 요약: Slice – 지속적 학습을 위한 그래디언트 수술 기반 저랭크 어댑터 초기화

1. 문제 정의

본 논문은 저랭크 적응 (LoRA) 을 활용한 대규모 언어 모델 (LLM) 의 지속적 학습 (CL) 에서 발생하는 파국적 망각 (catastrophic forgetting) 문제를 다룹니다. LoRA 는 미세 조정 (fine-tuning) 에 효율적이지만, 표준 초기화 방식 (예: 행렬 $A$ 에 대한 무작위 가우시안 분포와 행렬 $B$ 에 대한 영행렬) 은 작업 간의 충돌 구조를 고려하지 않는 '맹목적인' 방식입니다.

지속적 학습 환경에서 새로운 작업의 그래디언트 ( $G_{cur}$ ) 가 이전에 학습된 작업들의 그래디언트 ( $G_{prev}$ ) 와 충돌할 때 (음의 프로베니우스 내적으로 표시됨), 현재 작업을 개선하는 표준 최적화 단계는 필연적으로 이전 작업의 성능을 저하시킵니다. 기존 초기화 방법인 LoRA-GA(현재 작업의 그래디언트를 사용) 나 PiSSA나 MiLoRA와 같은 스펙트럴 방법들은 초기화 단계 동안 이전 지식의 보존을 고려하지 못합니다. 그 결과, 어댑터는 이전에 학습된 방향을 즉시 덮어쓸 수 있는 부분 공간에 초기화됩니다.

2. 방법론: Slice

저자들은 Slice(지속적 학습을 위한 그래디언트 수술 기반 저랭크 초기화) 를 제안합니다. 이는 현재 작업과 정렬된 부분 공간에 LoRA 어댑터를 초기화하면서 이전 작업에 대한 파괴적 간섭을 최소화하는 방법입니다. 이 방법은 학습 시작 전 네 단계로 운영됩니다:

그래디언트 추정: 모델은 작은 미니배치에 걸쳐 그래디언트를 누적하여 현재 작업 ( $G_{cur}$ ) 과 이전 작업 샘플 ( $G_{prev}$ ) 에 대한 그래디언트 행렬을 계산합니다. 이는 경량의 순전파 - 역전파 통과만 필요합니다.
그래디언트 조정 (수술): 투영 연산자 $\psi$ 가 $G_{cur}$ 와 $G_{prev}$ 를 조정하여 충돌 없는 방향 $\tilde{G}_{cur}$ 를 생성합니다. 저자들은 PCGrad(Yu et al., 2020) 의 일반화를 사용합니다:
$\psi(G_{cur}, G_{prev}, c) = G_{cur} - c \cdot \min(\langle G_{cur}, G_{prev} \rangle_F, 0) \frac{G_{prev}}{\|G_{prev}\|_F^2}$
여기서 $c \in [0, 1]$ 은 하이퍼파라미터입니다. 그래디언트가 충돌할 경우 (음의 내적), $G_{cur}$ 의 $G_{prev}$ 와 평행한 성분이 제거되며, 그렇지 않으면 $G_{cur}$ 는 변경되지 않습니다.
저랭크 분해: 조정된 그래디언트 $\tilde{G}_{cur}$ $\tilde{G}_{c u r}$ 는 잘린 특이값 분해 (SVD) 를 거칩니다. 어댑터 행렬은 다음과 같이 초기화됩니다:
- $B = U_{:, :r}$ (첫 번째 $r$ 개의 왼쪽 특이벡터).
- $A = (V_{:, r:2r})^\top$ (랭크 $r+1$ 부터 $2r$ 까지의 오른쪽 특이벡터).
- 참고: 저자들은 LoRA-GA 에서 사용된 특정 분해 방식 (A 를 위해 $r+1$ 번째부터 $2r$ 번째까지의 오른쪽 특이벡터 사용) 을 채택했습니다. 이론적으로 명확하지는 않지만, 이전 연구에서 효과적인 초기화를 산출하는 것으로 경험적으로 검증되었기 때문입니다.
크기 재조정: 업데이트 크기와 관련된 교란 요인을 통제하기 위해 (Zhang et al., 2026 이 지적한 바와 같이), 초기화된 가중치는 사전 학습된 가중치의 분산과 일치하도록 재조정됩니다. 이를 통해 성능 향상이 부분 공간 선택 때문인지, 아니면 암묵적인 크기 증폭 때문인지 구분합니다.

3. 주요 기여

Slice 초기화: 학습 시작 전에 현재 작업과 과거 작업의 그래디언트를 명시적으로 조정하여 LoRA 설정 단계에 그래디언트 수술을 통합한 새로운 초기화 전략입니다.
NI-Seq-Opposite 벤치마크: 저자들은 Super-NI 풀에서 채굴된 세 가지 적대적인 5-작업 시퀀스인 NI-Seq-Opposite를 도입했습니다. 이 시퀀스는 평균 쌍별 그래디언트 코사인 유사도를 최소화하도록 철저한 조합 탐색을 통해 구성되었으며, 연속된 작업들이 최대한 반대되는 그래디언트를 갖는 '어려운' 지속적 학습 시나리오를 생성합니다.
엄격한 평가 프로토콜: 본 논문은 TRACE 벤치마크와 표준/적대적 Super-NI 시퀀스에서 Vanilla LoRA, LoRAM, LoRA-GA에 대해 Slice 를 평가합니다. 핵심적으로, 모든 비교는 크기 아티팩트로부터 부분 공간 선택의 효과를 분리하기 위해 분산 일치 크기 재조정을 적용합니다.

4. 실험 결과

LoRA 랭크 $r=64$ (및 $r=128$ 에서 검증됨) 를 사용한 Llama-3.2-3B-Instruct 에서 평가한 결과, 다음과 같은 사실이 입증되었습니다:

안정성 - 가소성 트레이드오프: Slice 는 베이스라인에 비해 일관되게 우수한 트레이드오프를 달성합니다. 적대적인 NI-Seq-Opposite시퀀스에서 Slice( $c=1.0$ ) 는 Vanilla LoRA 대비 **최종 성능 (FP)**을 G2 에서 최대 +22.55 점, Opp1 에서 +16.97 점 향상시켰으며, **망각 (Fgt)**은 최대 20.75 점 감소시켰습니다.
LoRA-GA 와의 비교: LoRA-GA 는 이미 Vanilla LoRA 보다 우수하지만, Slice 는 특히 작업 간 간섭이 높은 시퀀스에서 망각을 줄이는 데 있어 이러한 이점을 더욱 강화합니다.
일반화 (GP/IP): Slice 는 Vanilla LoRA 대비 **일반 성능 (GP)**과 **맥락 내 성능 (IP)**에서 경미한 감소만 초래합니다. 저자들은 이 트레이드오프가 비대칭적이라고 지적합니다. 즉, 일반 능력에서의 작은 비용이 작업 유지 측면에서 상당한 이득을 가져옵니다.
하이퍼파라미터 민감도: 파라미터 $\alpha$ (스케일링 인자) 를 조정하여 작업 유지 지표에 큰 영향을 주지 않으면서 GP/IP 손실의 일부를 회복할 수 있으며, 이는 일반화 - 유지 균형을 위한 조절 노브 역할을 합니다.

5. 중요성 및 주장

본 논문은 초기화가 지속적 학습을 위한 결과적이지만 미활용된 개입 지점이라고 주장합니다. 학습 전에 단일의 경량 그래디언트 수술 단계를 수행함으로써, Slice 는 어댑터 부분 공간을 이전 작업 지식을 덮어쓸 수 있는 방향에서 벗어나도록 유도합니다.

저자들은 Slice 가 **조합 가능 (composable)**하다고 강조합니다. 이는 학습 시간 전략 (직교성 제약이나 재생 버퍼 등) 을 대체하는 것이 아니라, 초기화 단계를 위한 바로 사용 가능한 대체재로서 어떤 다운스트림 CL 알고리즘과도 결합될 수 있습니다. NI-Seq-Opposite의 도입은 작업 시퀀스가 종종 그래디언트 충돌을 명시적으로 고려하지 않고 구성되는 표준 벤치마크의 격차를 해소하며, 작업 간 간섭에 대한 견고성을 평가하기 위한 통제된 스트레스 테스트를 제공합니다.

이 연구는 설정 중 (그래디언트 누적 및 SVD) 에 비과소하지 않은 계산 오버헤드가 발생하지만, 그 결과로 얻어지는 안정성 이득이 망각을 완화하기 위한 전체 재학습이나 복잡한 재생 메커니즘의 필요성을 줄여 순차적 적응을 더 자원 효율적으로 만든다고 결론지었습니다.