🤖 machine learning

Gate-Zero Growth: A Geometric Framework for Function-Preserving Continual Learning

이 논문은 제로 초기화된 게이트를 활용하여 기능적 자코비안(functional Jacobian)의 랭크 분리(rank separation)를 유도함으로써, 망각을 거의 없이 안전한 용량 확장과 제어된 기능적 드리프트(functional drift)를 가능하게 하는 함수 보존형 지속 학습 프레임워크인 "gate-zero growth"를 소개한다.

원저자: Dante Lok

게시일 2026-07-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dante Lok

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 단 하나의 맛있는 레시피를 완성하기 위해 수년간 공을 들인 숙련된 셰프라고 상상해 보세요. 당신은 그것을 어떻게 만들어야 딱 맞는 맛이 나는지 정확히 알고 있습니다. 이제 누군가 당신에게 천 명을 위한 거대한 연회를 차려달라고 요청했지만, 당신에게는 오직 소규모 저녁 식사를 위한 재료만 있다고 상상해 보세요. 당연한 해결책은 더 큰 주방을 사고 더 많은 요리사를 고용하는 것이지만, 여기에는 함정이 있습니다. 만약 당신이 그저 새로운 사람들을 주방에 집어넣고 요리를 시작한다면, 원래의 레시피가 망가질 수도 있다는 점입니다. 새로운 요리사들이 실수로 기존 요리의 향신료를 바꾸거나, 새로운 냄비들이 기존의 것들과 충돌하여, 갑자기 당신의 그 유명한 요리가 진흙 맛처럼 변해버릴 수도 있습니다. 이것이 인공지능에서의 "지속적 학습(Continual Learning)"이 겪는 일상적인 투쟁입니다. AI 모델은 마치 그 숙련된 셰프와 같습니다. 그들은 데이터를 통해 학습하지만, 우리가 그들에게 새로운 것을 가르치거나 모델의 규모를 키우려고 할 때, 이전에 알고 있던 모든 것을 잊어버리는 "파괴적 망각(catastrophic forgetting)" 현상을 겪곤 합니다. 과학자들은 기존의 것을 버리고 처음부터 다시 시작하는 대신, 기존의 작동하는 부분을 망가뜨리지 않고 AI의 두뇌를 성장시키는 방법을 찾기 위해 노력해 왔습니다.

이 논문은 그 주방의 재앙을 해결하기 위해 "게이트 제로 성장(Gate-Zero Growth)"이라는 영리하고 새로운 기술을 소개합니다. AI 모델을 다층 케이크라고 생각해 보세요. 보통 케이크를 더 높게 만들고 싶다면, 단순히 그 위에 층을 더 쌓으면 됩니다. 하지만 단순히 새 층을 얹기만 한다면, 그것이 아래에 있는 케이크를 짓누르거나 전체적인 맛을 변화시킬 수 있습니다. 저자들은 다른 방식을 제안합니다. 새 층을 추가하되, "제로(zero)"로 설정되어 완전히 닫혀 있는 특수한 "게이트(gate)"를 부착하는 것입니다. 게이트가 닫혀 있기 때문에, 새로운 층은 케이크에 보이지 않습니다. 즉, 기존의 맛이나 질감에 전혀 영향을 주지 않습니다. 케이크는 이전과 똑같은 맛을 유지하면서도 훨씬 더 커지게 됩니다. 이것을 "함수 보존형(function-preserving)" 성장이라고 부르는데, 이는 원래의 함수(맛)가 완벽하게 보존되기 때문입니다.

연구진들은 이 아이디어를 테스트하기 위해 중간 크기의 AI 모델(약 3억 개의 파라미터)을 거대 모델(약 8억 5,700만 개의 파라미터)로 성장시켰습니다. 그들은 이 "제로 게이트"를 사용하여 새로운 층을 추가했고, 그 후 이 거대 모델에게 새로운 언어 과제를 가르쳤습니다. 결과는 인상적이었습니다. "게이트 제로" 방식을 사용했을 때, 모델은 이전 지식을 거의 완벽하게 기억해 냈으며, 망각이 거의 발생하지 않았습니다. 사실, 기존 지식이 너무나 온전하게 유지되어 기존 과제에 대한 모델의 성능이 거의 변하지 않을 정도였습니다.

하지만 이 논문은 만약 이 기술을 사용하지 않는다면 어떤 일이 벌어지는지에 대해서도 경고합니다. 그들은 제로 게이트 없이 단순히 층을 쌓아 올린 "나이브(naive)"한 방식(그들은 이를 "Gstack"이라 부릅니다)을 테스트했습니다. 이것은 마치 기존의 케이크를 즉시 짓누르기 시작하는 새로운 층을 추가하는 것과 같았습니다. 결과는 재앙이었습니다. 모델은 기존 지식을 거의 완전히 잊어버렸고, 새로운 케이크의 맛은 엉망이 되었습니다. 이는 단순히 더 많은 부분을 추가하는 것만으로는 충분하지 않으며, 기존 부분을 안전하게 지키기 위한 적절한 "게이트" 메커니즘이 필요하다는 것을 증명합니다.

또한, 이 논문은 이러한 거대 AI 모델을 훈련하는 방법에 대해 흥eli로운 발견을 했습니다. 연구진은 두 가지 주요 훈련 방식을 찾아냈습니다. 첫 번째는 "격리(Isolation)"로, 모델의 기존 부분들을 완전히 고정(freeze)하고 오직 새로운 부분들만 학습하게 하는 방식입니다. 이것은 기존 레시피가 정확히 동일하게 유지되도록 보장하는 가장 안전한 방법입니다. 두 번째는 "전부 해제(Freeze-Nothing)"로, 모델 전체가 함께 학습하도록 하는 방식입니다. 놀랍게도, 이 두 번째 방식은 모델이 새로운 과제를 수행하는 능력을 실제로 더 향상시켰으며, 기존 과제를 망치지도 않았습니다. 단지 맛을 약간 변화시켰을 뿐인데, 그 변화는 실수가 아니라 오히려 개선된 방향이었습니다.

저자들은 이것이 AI 이면에 숨겨진 수학적 기하 구조 덕분에 가능하다고 설명합니다. 게이트가 제로일 때, 모델의 새로운 부분들은 수학적으로 "평평(flat)"하며 기존 부분과 간섭하지 않습니다. 이것은 마치 현재 봉쇄되어 있는 집에 새 방을 추가하는 것과 같습니다. 당신은 새 방을 어떻게 짓든 상관없으며, 당신이 문을 열기로 결정하기 전까지는 기존 방의 구조를 바꾸지 않을 것입니다. 논문은 이 "게이트 제로" 아이디어가 단순한 일회성 기술이 아니라, 여러 인기 있는 AI 기법들의 근저에 깔린 동일한 원리임을 보여주며, 이는 AI의 두뇌를 안전하게 성장시키기 위한 근본적인 규칙임을 밝히고 있습니다.

요약하자면, 이 논문은 우리가 이미 가진 지식을 잃지 않으면서 더 크고 똑똑한 AI 모델을 구축하고 싶다면, 단순히 새로운 부품을 기존 것에 던져 넣어서는 안 된다는 것을 보여줍니다. 대신, 준비될 때까지 방해하지 않도록 "제로 게이트"와 함께 추가해야 합니다. 이를 통해 AI는 뿌리를 흔들지 않고 새로운 가지를 뻗어 나가는 나무처럼 성장할 수 있으며, 미래가 구축되는 동안 과거의 지혜가 온전히 유지되도록 보장할 수 있습니다.

기술 요약: Gate-Zero Growth (게이트 제로 성장)

문제 정의

언어 모델의 능력을 향상시키는 지배적인 패러다임은 더 큰 모델을 처음부터 학습시키는 것이다. 모델 성장(Model growth)—기존에 학습된 모델에 파라미터를 추가하여 확장하는 것—은 기존의 작은 모델이 보유한 지식을 파괴적 망각(catastrophic forgetting) 없이 유지하며 미세 조정할 수 있다는 전제하에 매력적인 대안을 제시한다.

함수 보존형(Function-Preserving, FP) 성장 방식(예: Net2Net, bert2BERT)이 존재하지만, 이러한 방식들은 대개 구조적으로 성장하는 그 순간에만 보존을 만족한다. 이러한 초기화가 파라미터 공간에 생성하는 기하학적 구조와, 왜 특정 지속 학습(Continual Learning, CL) 전략(예: 기존 파라미터 동결)이 성장한 모델에서 성공하거나 실패하는지에 대한 이유는 그동안 불분명했다. 기존 문헌들은 CL의 동작을 근본적인 성장 연산자의 기하학적 구조를 통해 설명하기보다는 운영적인 관점에서 설명해 왔다.

방법론: Gate-Zero Growth

저자들은 CL을 위한 FP 깊이 확장의 기하학적 프레임워크로서 Gate-Zero Growth를 제안한다. 핵심 메커니즘은 새로운 잔차 블록(residual blocks)을 삽입하되, 해당 기여도가 0으로 초기화된 스칼라 $\alpha_\ell$ ( $\alpha_0 = 0$ )에 의해 게이팅(gated)되도록 하는 것이다.

이론적 프레임워크

본 논문은 횡단성 조건(transversality condition) 하에서 Gate-Zero Growth가 함수 자코비안(functional Jacobian)과 피셔 정보 행렬(Fisher Information Matrix)에 특정한 기하학적 구조를 유도함을 입증한다.

계수 분리(Rank Separation): 성장 시점( $\alpha=0$ )에서, 함수 자코비안 $J(\theta')$ 은 깔끔하게 분해된다. $K$ 개의 새로운 가중치 방향은 정확히 평탄하며(출력에 대한 그래디언트 기여도가 0임), 새로운 게이트 방향만이 기능적 변동의 유일한 1차원 소스가 된다.
자코비안 분해(Jacobian Decomposition): 성장 후 자코비안의 계수는 $rank(J(\theta')) = r + rank((I - P_{old})J_\alpha)$ 를 만족한다. 횡단성 하에서, 새로운 게이트 방향은 기존 파라미터 공간과 선형 독립이다.
희소 피셔 구조(Sparse Fisher Structure): 경험적 피셔 정보 행렬은 희소한 블록 구조를 보인다. 구체적으로, 새로운 가중치 블록과 모든 새로운 가중치를 포함하는 교차 항(cross-terms)은 동일하게 0이다. 이는 2차 메서드(예: EWC)가 성장 시점에서 새로운 가중치의 이동에 대해 어떠한 페널티도 부과하지 않음을 의미한다.
제어된 이탈(Controlled Departure): CL 과정 중 게이트가 열림에 따라(즉, $\alpha$ 가 0에서 멀어짐에 따라), FP 궤적으로부터의 이탈은 제한된다. 함수 드리프트(function drift)는 $O(\|\alpha\|^2)$ 이며, 자코비안 누설(Jacobian leakage)은 $O(\|\alpha\|_\infty)$ 이다.

통합(Unification)

저자들은 이 기하학적 분석이 겉보기에 서로 다른 방법론들을 통합한다고 주장한다:

LoRA ( $B=0$ 초기화 사용)
ReZero (잔차 스케일링)
Zero-init Adapters
Gate-Zero Growth

이들은 모두 0으로 초기화된 게이트를 통과하는 가법적 브랜치 팩터링(additive branch factoring)을 통해 파라미터를 추가한다는 구조적 속성을 공유한다. 반대로, Gstack(제로 초기화 없이 블록을 복제하는 방식)과 같은 비-FP 방식은 자코비안 구조를 보존하지 못해 즉각적인 함수 드리프를 유발한다.

주요 기여

Gate-Zero Growth 연산자: 0으로 초기화된 게이트를 통해 잔차 블록을 추가하는 CL을 위한 특정 FP 연산자이다. 이는 대규모 스케일(300M $\to$ 857M)에서 $\Delta A < 0.1$ 의 근접 제로 망각을 달성하며 성장에서의 함수 보존을 실현한다.
기하학적 프레임워크: 0-초기화가 계수 분리, 희소 피셔 블록, 그리고 정확한 좌표 투영 격리(coordinate-projection isolation)를 유도함을 증명하는 통합된 이론적 체계를 제공한다. 이 프레임워크는 LoRA, ReZero, zero-init adapter에 적용되며, Gate-Zero Growth를 이들이 공유하는 로컬 기하학의 정전형(canonical instance)으로 확립한다.
예측적 구조 검증: 논문은 경험적으로 검증된 세 가지 반증 가능한 예측을 제공한다:
- 좌표 동결(Coordinate freezing)은 FP 성장 하에서만 정확히 보존된다 (Gstack + Isolation은 구조적으로 정의되지 않음).
- LoRA-CL은 고정된 베이스 구조가 이미 Isolation의 구조를 띠고 있으므로 별도의 "Isolation" 행을 허용하지 않는다.
- 테스트된 모든 제로-초기화 FP 연산자에 대해 $\Delta A < 0.1$ 을 달성한다.

실험 결과

프레임워크는 WikiText-103(Task A)에서 BookCorpus(Task B)로 적응된 300M $\to$ 857M 트랜스포머 모델을 통해 평가되었다.

성장 시 함수 보존

Gate-FP: 정확한 함수 보존 (밀집 모델의 경우 비트 단위 일치, MoE의 경우 수치적 허용 오차 범위 내 일치). $\Delta PPL_A = 0.00$ .
Gstack (부정적 대조군): CL 학습이 시작되기도 전에 즉각적인 Task A 성능 저하 발생 ( $\Delta PPL_A = +46.11$ ).

지속 학습 성능

Isolation 프로토콜(모든 기존 파라미터 동결) 하에서의 결과:

Gate-FP + Isolation: Task B의 퍼플렉시티(perplexity)를 560.75에서 28.41로 낮추면서 $\Delta A = +0.04$ (거의 제로에 가까운 망각)를 달성했다.
Gstack + Isolation: 구조적으로 실패했다. Gstack은 성장 시 함수를 보존하지 않으므로, 기존 파라ars를 동결하더라도 함수가 보존되지 않는다. 이 방식은 파괴적 망각을 겪었다 ( $\Delta A > +1000$ ).
Scratch 모델과의 비교: 두 데이터셋에 대해 처음부터 학습된 모델(857M)은 최종 상태 $PPL_A=43.23$ 에 도달했으나, 최적의 검증 체크포인트는 $17.40$이었다. 저자들은 Gate-FP + Isolation이 적절히 중단된 scratch 모델보다 반드시 더 나은 성능을 내는 것은 아니지만, 구조적 보존을 보장한다고 언급한다.

MoE 검증

Mixture-of-Experts (MoE) 설정(706M $\to$ 2.5B)에서, Gate-FP + Isolation은 $\Delta A = +0.20$ 를 달성하여 보존 메커니즘이 아키텍처 전반에 걸쳐 전이됨을 확인했다. 그러나 밀집 모델(dense models)에 비해 **가소성(plasticity)**이 낮았다 (Task B PPL 개선 폭이 밀집 모델의 20배 대비 12배에 그침). 이는 새로운 전문가(experts)가 동결된 소스들과 충분히 차별화되지 못하는 클론-블록 중복성(clone-block redundancy) 때문인 것으로 분석된다.

절제 연구 (Ablation Studies)

동결 전략: 보존을 위한 "구속 조건(binding constraint)"은 단순히 기존 게이트가 아니라 **기존 가중치(old weights)**를 동결하는 것이다. "Freeze Nothing"(기존 가중치 업데이트 허용)은 실제로는 더 나은 공동 성능( $\Delta A = -1.98$ , 즉 Task A의 개선을 의미하나 엄밀히는 원래 함수로부터의 드리프트임)을 보였으나, 정확한 보존 측면에서는 손해를 보았다.
성장 타이밍: 보존 속성은 베이스 모델의 성숙도(학습의 25%, 50%, 75%, 또는 100% 시점에서의 성장)에 관계없이 견고하다.
게이트 초기화: 작은 비제로(non-zero) 게이트( $\alpha_0 = 0.1$ )로 시작하면 그래디언트 흐름은 빨라지지만, FP가 아닌 시작점이 된다. CL 학습을 통해 일부 성능은 회복할 수 있으나, 정확한 보존은 상실된다.

의의 및 주장

본 논문은 Gate-Zero Growth가 왜 "기존 파라미터를 동결하는 것"이 함수 보존형 성장에서 작동하는지에 대한 최초의 통합된 기하학적 설명을 제공한다고 주장한다. 저자들은 Isolation의 성공이 단순한 휴리스틱이 아니라, 제로-초기화에 의해 유도된 **계수 분리(rank separation)**와 **정확한 좌표 직교성(exact coordinate orthogonality)**의 결과라고 상정한다.

정전형 사례 (Canonical Instance): 저자들은 Gate-Zero Growth를 안전한 용량 활성화를 지배하는 공유 로컬 기하학의 정전형 사례로 확립하여, LoRA, ReZero, adapter를 하나의 이론적 체계 아래 통합하였다.
두 가지 운용 지점: 프레임워크는 두 가지 뚜렷한 운용 지점을 권장한다:
1. Isolation: 정확한 보존( $\Delta A \approx 0$ )을 위해 사용되며, 기존 데이터에 대해 비트 동일한 동작이 필요한 규제 또는 A/B 테스트 시나리오에 적합하다.
2. Freeze-Nothing: 두 작업 모두에 대한 최적의 프런티어 최적화(joint frontier optimization)를 위해 사용되며, 원래 함수로부터의 제어된 이탈을 수용한다.

저자들은 명시적으로 한계점을 밝힌다: 기하학적 추정치(Hessian, gradient covariance)는 거친 로컬 진단 도구이며, MoE의 가소성 격차 문제는 MoE 특화 연산자에 대한 추가 조사가 필요한 미해결 과제로 남아 있다. 본 논문은 모든 CL 문제를 해결하려는 것이 아니라, **성장 연산자(growth operators)**의 구조적 기하학을 구체적으로 다루는 데 목적이 있다.