🤖 머신러닝

Static Gradient Attribution Underperforms a Density-Matched Random Mask on Loss-Based Forgetting Within LoRA B-Matrix

이 논문은 제로 초기화된 LoRA에서 이전에 간과되었던 파라미터 풀 혼란(parameter-pool confound)이 그래디언트 기여 마스크(gradient attribution mask)를 밀도 매칭된 랜덤 마스크보다 손실 기반 망각을 줄이는 데 있어 성능이 떨어지게 만든다는 점을 밝히며, 이는 후자가 B 행렬에만 국한된 그래디언트 기반 선택에 비해 A와 B 행렬 모두에서 선택할 수 있는 능력을 통해 안정성-가소성 이점을 제공하기 때문이다.

원저자: Yu Sun, Junwei Zhou, Zuodong Xiang, Yike Zhang, Pengcheng Xu, Xinyu Guan, Ruoyun Ma, Hailu Xu

게시일 2026-10-12✓ Author reviewed ⓘ

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yu Sun, Junwei Zhou, Zuodong Xiang, Yike Zhang, Pengcheng Xu, Xinyu Guan, Ruoyun Ma, Hailu Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터에게 매일 새로운 책을 읽는 법을 가르친다고 상상해 보십시오. 목표는 컴퓨터가 어제 배웠던 것을 잊지 않으면서 새로운 내용을 배우는 것입니다. 이것이 인공지능의 '연속 학습(continual learning)'이 직면한 핵심 과제입니다. 거대 언어 모델이 새로운 작업을 배울 때, 종종 이전에서 얻은 지식을 덮어쓰곤 하는데, 연구자들은 이를 '파괴적 망각(catastrophic forgetting)'이라고 부릅니다. 이를 방지하기 위해 과학자들은 저차원 적응(Low-Rank Adaptation), 즉 LoRA라는 기술을 사용합니다. AI의 거대한 뇌 전체를 다시 훈련시키는 대신, 작고 가벼운 새로운 연결 계층을 추가하는 방식입니다. 여기서 질문은, 이 새로운 연결들 중 어떤 것들이 변화하도록 허용되어야 하는가 하는 점입니다.

수년 동안 표준적인 답은 학습 과정 자체의 수학적 원리를 살펴보는 것이었습니다. 아이디어는 몇 개의 샘플 질문에 대해 빠른 테스트를 실행하여 각 새로운 연결이 얼마나 도움이 될지 계산한 다음, 가장 높은 점수를 받은 연결들만 업데이트하는 것입니다. '그래디언트 속성(gradient attribution)'이라 불리는 이 방법은 마치 교사가 학생의 연습 퀴즈를 채점하여 다음 시험을 위해 어떤 특정 근육을 강화해야 할지 결정하는 것과 같습니다. 이는 직관적이고 정밀해 보입니다. 하지만 새로운 연구는 이러한 세심한 계산이 시간 낭비일 수 있으며, 훨씬 더 단순한 접근 방식인 '무작위로 선택하기'가 AI가 과거의 교훈을 잊지 않게 하는 데 실제로 더 효과적이라는 점을 시사합니다.

펜실베이니아 대학교와 스탠퍼드 대학교를 포함한 기관의 유 선(Yu Sun)과 협력 연구진이 이끄는 연구팀은 특정 유형의 AI 모델에 대해 이 직관을 테스트하기로 했습니다. 그들은 새로운 연결들이 0의 값에서 시작하는 매우 흔한 설정을 중점적으로 다루었습니다. 이 특정 시작 조건에서는 연결을 채점하는 데 사용되는 표준 수학적 테스트에 숨겨진 결함이 있습니다. 연결이 0에서 시작하기 때문에, 테스트는 사용 가능한 새로운 연결의 절반에 0점을 부여하여 사실상 이들을 무시하게 됩니다. 즉, '스마트한' 방식은 남은 절반 중에서만 선택해야 하는 반면, '무작위' 방식은 전체 풀(pool)에서 자유롭게 선택할 수 있습니다. 연구진은 두 방법을 비교하는 것이 마치 트랙 위를 달릴 수 있는 스프린터와 들판을 달릴 수밖에 없는 스프린터를 비교하는 것처럼 불공정하다는 것을 깨달았습니다.

이 팀은 공정한 비교를 위해 설계를 변경했습니다. 그들은 '스마트한' 방식과 '무작위' 방식 모두가 정확히 동일한 연결 집합을 선택하고 동일한 수의 연결을 업데이트하도록 강제했습니다. 그런 다음 AI를 코딩, 의료 질문 답변, 법률 사례 처리, 수학 문제 풀이, 창의적 글쓰기라는 다섯 가지 서로 다른 작업 순서로 훈련시켰습니다. 결과의 신뢰성을 확보하기 위해 이 실험을 서로 다른 무작위 시작점에서 일곱 번 반복했습니다.

결과는 명확하고 일관되었습니다. 모든 실행에서, 연결을 무작위로 선택한 방식이 수학적 테스트를 통해 '최선의' 연결을 고르려 했던 방식보다 AI가 이전 지식을 덜 잊게 만들었습니다. 차이는 작지 않았습니다. 평균적으로 무작리 방식은 그래디언트 방식에 비해 망각 지표를 약 0.15 포인트 감소시켰습니다. 이 이점은 의료 작업에 집중되었는데, 이 작업이 전체 효과의 80%를 차지했으며, 코드와 수학 작업도 같은 방향으로 움직였습니다. 반면, 법률 작업은 두 방식 사이에 신뢰할 만한 차이를 보이지 않았습니다. 연구진은 '스마트한' 방식이 훈련하는 순간에는 현재의 작업을 약간 더 잘 학습하지만, 그 단기적인 이득을 위해 장기 기억을 더 많이 잃는 대가를 치른다는 것을 발견했습니다. 반대로 무작리 방식은 현재 작업을 적절히 학습하면서도 과거의 지식을 훨씬 더 효과적으로 보존했습니다.

연구팀은 또한 '스마트한' 방식이 의료 및 법률 영역과 같은 객관식 문제에 대한 AI의 정확도를 높게 유지하는 데 더 나은지 조사했습니다. 이 부분에서 결과는 덜 결정적이었습니다. 데이터에 따르면 두 방식 간의 평균 정확도 차이는 통계적으로 0과 구별할 수 없었습니다. 가능한 결과의 범위에는 무작위 방식이 똑같이 좋았을 가능성도 포함되어 있었습니다. '스마트한' 방식이 추가적인 계산 단계와 컴퓨팅 자원을 필요한다는 점을 고려할 때, 정확도 면에서의 명확한 이점이 없다는 것은 그 추가 비용을 정당화하기 어렵게 만듭니다.

연구진은 작업의 순서를 바꾸거나 다른 유형의 AI 모델을 사용했을 때도 이러한 결과가 유지되는지 확인했습니다. 작업 순서를 역순으로 바꿨을 때 망각률은 모두에게서 낮아졌지만, 무작위 방식은 여전히 우위를 점했습니다. 다른 모델 아키텍처에서 동일한 논리를 테스트했을 때도 무작위 방식은 모든 실험에서 스마트한 방식을 앞질렀습니다. 이는 무작위성의 이점이 특정 설정의 우연한 현상이 아니라, 이러한 경량 어댑터가 학습하는 방식의 견고한 특징임을 시사합니다.

이 연구의 함의는 실용적입니다. 만약 무작위 선택이 더 효과적이라면, 엔지니어들은 어떤 연결이 가장 중요한지 계산하는 복잡한 단계를 건너뛸 수 있습니다. 단순히 업데이트할 새로운 연결의 무작위 하위 집합을 선택하면 됩니다. 이는 상당한 양의 컴퓨팅 시간을 절약해주며, 무엇을 배울지 결정하기 위한 별도의 테스트 질문 세트가 필요하지 않게 해줍니다. 연구는 이 특정 유형의 AI 훈련에 있어, 정밀함을 기하려는 노력이 오히려 역효과를 낸다고 결론짓습니다. AI가 과거를 잊지 않게 하는 가장 효과적인 방법은 완벽한 선택을 계산하려 애쓰는 것이 아니라, 운명에 어떤 부분이 새로운 기억으로 업데이트될지를 맡기는 것입니다.

기술 요약: 정적 그래디언트 어트리뷰션은 LoRA의 B-행렬 내 밀도 매칭된 랜덤 마스크보다 성능이 저하됨

문제 정의

매개변수 효율적 연속 학습(PECL)은 대규모 언어 모델(LLM)에 순차적인 태스크를 통합할 때, 제한된 하위 집합의 어댑터 매개변수만을 업데이트함으로써 파괴적 망각(catastrophic forgetting)을 완화하는 것을 목표로 합니다. 이러한 매개변수를 선택하는 일반적인 전략은 **그래디언트 어트리뷰션(gradient attribution)**으로, 캘리브레이션 데이터에 대한 역전파(backward pass)를 통해 매개변수의 그래디언트 크기를 점수화하고, 가장 높은 점수를 받은 매개변수를 업데이트하는 방식입니다.

그러나 표준적인 제로 초기화(zero-initialized) LoRA(Low-Rank Adaptation)는 그래디언트 어트리뷰션을 랜덤 선택과 비교할 때 특정한 혼란(confound)을 유발합니다. 표준 LoRA에서 행렬 $B$ 는 0으로 초기화됩니다( $B=0$ ). 결과적으로 $lora\_A$ 에 대한 그래디언트는 동일하게 0이 됩니다( $\partial L/\partial A = 0$ ). 이로 인해 표준 그래디언트 어트리뷰션 하에서는 모든 $lora\_A$ 매개변수에 대해 0의 중요도 점수가 부여되며, 이는 선택 마스크가 오직 $lora\_B$ 행렬에서만 매개변수를 추출하도록 강제합니다. 반면, 제한이 없는 랜덤 베이스라인은 일반적으로 전체 매개변수 풀( $lora\_A \cup lora\_B$ )에서 샘플링합니다.

이는 **매개변수 풀 혼란(parameter-pool confound)**을 생성합니다. 즉, 표준 초기화 조건에서 그래디엔트 마스크와 랜덤 마스크를 비교할 때는 선택 규칙(그래디언트 vs 랜덤)뿐만 아니라 후보 매개변수 풀( $lora\_B$ 전용 vs $A \cup B$ ) 또한 달라지게 됩니다. 본 논문은 이러한 요소들을 분리했을 때 그래디언트 어트리뷰션이 랜덤 선택에 비해 진정한 이점을 제공하는지 조사합니다.

방법론

저자들은 선택 기준을 격리하기 위해 **밀도 매칭된 풀 내 평가(density-matched, within-pool evaluation)**를 제안합니다.

실험 설정:
- 모델: Qwen2.5-3B (및 교차 아키텍처 검증을 위한 Phi-2)와 랭크-16 LoRA ( $r=16, \alpha=32$ ).
- 태스크: 순차적인 5개 태스크 스트림 (Code, Medical, Legal, Math, Creative Writing).
- 마스킹: 캘리브레이션 세트(64개의 Alpaca 샘플)를 사용하여 학습 전 한 번에 구축되는 정적 이진 마스크 $m$ 을 사용하며, 이는 태스크 시퀀스 동안 고정됩니다.
- 지표: 손실 기반 역전이(Loss-based Backward Transfer, BWT). 이는 전체 시퀀스 학습 후 이전 태스크들에 대한 평가 손실(evaluation loss)의 평균 증가량으로 정의됩니다. 값이 낮을수록 망각이 적음을 의미합니다.
혼란 해결:
- Grad-B: $lora\_B$ 풀로 명시적으로 제한된 그래디언트 어트리뷰션으로, 캘리브레이션 그래디언트 크기에 따라 상위 10%의 매개변수를 선택합니다.
- Random-B: 동일한 $lora\_B$ 풀 내에서 균등 랜덤 선택을 수행하여 동일한 수의 매개변수(10%)를 선택합니다.
- 대조군(Control): 두 실험군 모두 정확히 동일한 1,651,508개의 매개변수(10% of $lora\_B$ pool)를 학습합니다. 유일한 변수는 순위 결정 규칙(ranking rule)입니다.
추가 분석:
- 밀도 불일치 비교(Density-Unmatched Comparison): 풀 제한 효과가 효과를 주도하는지 확인하기 위해 Grad-B를 밀도가 일치하지 않는 그래디언트 마스크(Grad-Full)와 비교합니다.
- 정확도 검증: 이산 선택형 태스크(Medical, Legal)에 대해 동일한 마스크를 정확도 기반 BWT로 평가합니다.
- 교차 아키텍처: Phi-2에서 밀도 매칭 비교를 재현합니다.

주요 결과

1. 그래디언트 어트리뷰션이 랜덤 선택보다 성능이 저하됨

Qwen2.5-3B에 대한 7개의 독립적인 시드 전반에 걸쳐, Random-B 마스크가 Grad-B 마스크보다 일관되게 낮은 손실 기반 BWT(더 적은 망각)를 달성했습니다.

종합 효과: 평균 차이( $\Delta = \text{Grad-B} - \text{Random-B}$ )는 +0.155(Random-B가 우세)이며, 대응 표본 $t(6) = 5.80, p = 0.0011$ 입니다.
일관성: 7개의 모든 시드에서 랜덤 마스크가 그래디언트 마스크보다 우수한 성능을 보였습니다.
태스크 분해: 이러한 우위는 Medical 태스크에 집중되어 있습니다(전체 격차의 약 80% 기여). Code와 Math 태스크도 동일한 방향성을 보였으나, Legal 태스크는 신뢰할 만한 차이를 보이지 않았습니다.

2. 안정성-가소성 트레이드오프 (Stability–Plasticity Trade-off)

결과는 다음과 같은 안정성-가소성 트레이드오프를 시사합니다:

초기 학습: 그래디언트 마스크(Grad-B)는 모든 시드와 태스크에서 Random-B에 비해 "대각선"(특정 태스크 학습 직후)에서의 손실이 더 낮았습니다. 이는 Grad-B가 현재 태스크에 약간 더 잘 적응함을 나타냅니다.
유지: 초기 적합도는 더 높음에도 불구하고, Grad-B는 이전 태스크들을 더 빠르게 잊어버립니다. Random-B는 현재 태스크를 약간 덜 완벽하게 맞추지만, 이전 태스크들을 더 잘 유지합니다.

3. 정확도 기반 검증은 불충분함

두 가지 이산 선택형 태스크(Medical 및 Legal)에서, 정확도 기반 BWT 차이는 평균 +0.94 퍼센티지 포인트(Grad-B 우세)였으나, 95% 신뢰 구간이 $[-2.91, +4.80]$ pp로 매우 넓었습니다.

구간이 0을 포함하므로, 정확도 유지 측면에서 통계적으로 신뢰할 만한 차이는 감지되지 않았습니다.
구간이 사전에 설정된 4포인트 비열등성(non-inferiority) 마진을 초 exceed하므로, 본 논문은 그래디언트 어트리뷰션이 정확도 측면에서 랜덤 선택에 비해 열등하지 않다고 주장하지 않습니다.

4. 교차 아키텍처 재현

Phi-2(2.78B)에서 4개의 시드를 사용한 밀도 매칭 재현에서도 동일한 결과가 반복되었습니다. Random-B가 4개 시드 모두에서 더 낮은 손실 기반 BWT를 달성했습니다 ( $\Delta = -0.1152, p = 0.0009$ ). 이 효과 역시 Medical 태스크에 집중되었습니다.

5. 어트리뷰션 비용

그래디언트 어트리뷰션 패스는 64개의 캘리브레이션 샘플에 대한 1회성 순방향-역전파 과정이 필요합니다. 이는 표준 500-스텝 태스크 학습 예산의 약 **12.8%**에 해당하는 비용이 들며, 별도의 캘리브레이션 데이터셋을 필요로 합니다.

의의 및 주장

본 논문은 두 가지 주요 기여를 합니다:

혼란 식별: 저자들은 표준 제로 초기화 LoRA 환경에서, 그래디언트 마스크를 제한 없는 랜덤 마스크와 비교하는 것이 매개변수 풀과 선택 규칙을 혼동한다는 것을 입증했습니다. $B=0$ 이 그래디언트 마스크가 $lora\_A$ 를 무시하도록 강제하기 때문에, 표준적인 비교는 선택 규칙의 효능을 격리하기에 부적절합니다.
실질적 검증: 동일한 $lora\_B$ 풀로 제한하고 업데이트 밀도(10%)를 일치시킴으로써, 저자들은 그래디언트 어트리뷰션이 손실 기반 망각에 대해 균등 랜덤 선택보다 어떠한 이점도 제공하지 못함을 보여주었습니다. 오히려 랜덤 선택이 그래디언트 어트리뷰션보다 일관되게 더 나은 성능을 보입니다.

결론:
증거에 따르면, 캘리브레이션 패스의 계산 비용과 별도의 캘리브레이션 데이터 필요성을 고려할 때 그래디언트 어트리뷰션 단계는 정당화되지 않습니다. 그래디언트 어트리뷰션 단계를 제거하면 (잠재적으로 개선될 수 있는) 유지 능력을 희생하지 않으면서도 캘리브레이션 패스의 계산 비용과 데이터 요구를 없앨 수 있습니다. 정확도 기반 결과는 높은 분산과 작은 샘플 크기로 인해 결론이 불분명하지만, 손실 기반 증거는 테스트된 태스크 시퀀스와 정적 마스크 구성 내에서 $lora\_B$ 행렬 내의 단순 랜덤 마스킹을 사용하는 것이 그래디언트 어트리뷰션보다 강력하게 유리함을 지지합니다.

저자들은 이러한 결론이 테스트된 태스크 순서, 정적 마스크, 그리고 표준 제로 초기화 LoRA에 국한됨을 명시합니다. 이는 그래디언트 어트리뷰션이 (비제로 초기화 방식인 PiSSA 등이나 동적 마스킹 전략에서처럼) 보편적으로 효과가 없다는 주장이 아닙니다.