💻 computer science

Closed-Form Residual-Space Rotation for Offline Transformer Width Growth

이 논문은 훈련 손실을 크게 개선하고 모델 성장 과정에서 학습된 행동을 보존하기 위해, 폐쇄형 소형 잔차 통합 연산자(Small Residual Integration Operator, SRIO)를 블록별 확장 정책 및 스칼라 웜업 게이트와 결합하여 트랜스포머 너비를 점진적으로 확장하는 오프라인 레시피를 제안한다.

원저자: Ramasubramanian B

게시일 2026-08-05

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ramasubramanian B

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 이야기를 쓰는 법을 가르치려 한다고 상상해 보세요. 당신은 아주 작은 뇌를 가진 아주 작은 로봇에서 시작합니다. 이 로봇은 기초를 빠르게 배우지만, 걸작을 쓰기에는 너무 단순합니다. 이 로봇을 더 좋게 만들기 위해, 단순히 작은 로봇을 버리고 처음부터 거대한 로봇을 만들 수도 있지만, 그러려면 시간이 너무 오래 걸리고 엄청난 양의 전기가 듭니다. 대신에, 작은 로봇의 뇌를 "키울" 수도 있습니다. 즉, 새로운 뉴런을 추가하여 더 넓고 똑똑하게 만드는 것입니다. 이것을 **모델 확장(model expansion)**이라고 부릅니다.

뇌를 키우는 데 있어 까다로운 점은, 새로운 부분이 기존의 부분들과 어떻게 대화해야 할지 모른다는 것입니다. 만약 당신이 그냥 새로운 구역을 덧붙이기만 한다면, 기존의 뇌가 그것을 무시하거나, 혹은 새로운 뇌가 기존의 뇌가 공들여 쌓아온 기억들을 실수로 뒤섞어버릴 수도 있습니다. 이는 마치 복도를 연결하지 않고 집에 새로운 날개를 붙이는 것과 같습니다. 새 방은 존재하지만 아무도 들어갈 수 없거나, 심지어 집 전체가 흔들리기 시작할 수도 있습니다. 과학자들은 로봇이 기존의 기술을 유지하면서 새로운 것을 배울 수 있도록, 이 오래된 뇌 부분과 새로운 뇌 부분을 연결하는 완벽한 "풀"을 찾아내기 위해 노력해 왔습니다. 이 논문은 바로 그 완벽한 풀을 찾는 것에 관한 것입니다.

뇌를 강화하는 레시피: AI를 키우는 새로운 방법

Tech-Aarvam의 Ramasubramanian B라는 이 논문의 저자는 AI 모델(로봇의 뇌)을 오프라인에서 키우는 영리한 "레시피"를 고안해 냈습니다. AI가 실행되는 동안 스스로 성장하는 법을 배우게 하는 대신, 그들은 손님이 도착하기 전에 재료를 준비하는 요리사처럼 무거운 작업들을 미리 해둡니다. 그들의 목표는 더 작은 모델을 가져와서, 이미 이룬 진전을 잃지 않으면서 더 넓게 확장하는 것입니다.

AI 모델을 물 양동이를 전달하며 줄을 서 있는 일꾼 팀이라고 생각해 보세요. 모델의 "너비(width)"는 그 줄에 몇 명의 사람이 있는지를 나타냅니다. 줄에 더 많은 사람을 추가할 때, 당신은 그 새로운 사람들이 물을 한 방울도 흘리지 않고 정확히 어떻게 잡고 전달해야 하는지 알게 해야 합니다. 이 논문은 이 과정이 세 가지 특정 재료를 통해 이루어질 때 가장 좋다고 제안합니다: 특별한 회전 기술, 작업마다 다른 성장 규칙, 그리고 새로운 일꾼들을 위한 부드러운 "웜업(warm-up)".

1. 마법의 회전: SRIO

이 쇼의 주인공은 SRIO(Small Residual Integration Operator)라고 불리는 것입니다. 기존의 뇌 부분과 새로운 뇌 부분이 서로 다른 언어를 사용하는 것이라고 상상해 보세요. 새로운 뉴런을 추가할 때, 그들은 약간 다른 방언을 사용합니다. 만약 당신이 그냥 그것들을 꽂아 넣는다면, 기존의 뉴런들이 새로운 뉴런들을 이해하지 못하거나, 새로운 뉴런들이 기존의 것들 때문에 혼란에 빠질 수 있습니다.

SRIO는 데이터에 정밀한 "회전(spin)" 또는 회전을 수행하는 번역가 역할을 합니다. 이것은 정보 자체를 바꾸지는 않지만, 새로운 데이터의 방향을 회전시켜 기존의 데이터와 완벽하게 일치하도록 만듭니다. 구체적으로, 그것은 새로운 뉴런들의 "평균" 방향을 기존의 뉴런들을 향하도록 회전시킵니다. 이를 통해 기존의 가중치(뇌의 기억)가 새로운 입력을 훨씬 더 강력하게 읽을 수 있게 합니다. 저자는 이 회전이 '폐쇄형 수학 솔루션(closed-form math solution)', 즉 AI가 천천히 배워야 하는 것이 아니라 즉시 계산할 수 있는 고정된 공식이라는 것을 발견했습니다. 이것은 마치 새로운 방을 기존의 복도와 연결하기 위해 어떻게 돌려야 하는지 알려주는 미리 만들어진 지도와 같습니다.

2. 직업마다 다른 규칙

이 논문은 모든 뇌의 부분을 똑같이 취급해서는 안 된다는 것을 발견했습니다. AI에는 두 가지 주요 유형의 일꾼이 있습니다: 어텐션(Attention) 일꾼(무엇에 집중할지 결정하는 이들)과 FFN 일꾼(정보를 처리하는 이들)입니다.

어텐션 일꾼을 위해: 저자는 "볼록 확장(convex expansion)"을 사용했습니다. 기존의 일꾼들을 가져와서, 마치 두 가지 색의 페인트를 섞어 새로운 색조를 만드는 것처럼 그들의 기술을 결합하여 새로운 일꾼을 만드는 것을 상상해 보세요. 이는 기존의 것들을 부드럽게 혼합한 새로운 일꾼들을 만들어냅니다.
FFN 일꾼을 위해: 그들은 "타일드 카피(tiled copy)"를 사용했습니다. 이것은 단일한 일꾼을 가져와서 새로운 공간을 채우기 위해 복사하는 것과 같습니다. 이 일꾼들은 특정 특징들을 다루기 때문에, 혼합하는 것보다 직접 복사하는 것이 더 효과적입니다.

이 논문은 어텐션에는 혼합을, 프로세싱에는 복사를 사용하는 이 두 가지 전략을 섞는 것이 모든 것에 하나의 방법만을 사용하는 것보다 훨씬 더 효과적이라는 것을 보여줍니다.

3. 부드러운 웜업 (Gentle Warm-Up)

완벽한 회전과 적절한 확장이 있더라도, 새로운 일꾼들이 너무 의욕이 앞서서 즉시 기존의 일꾼들보다 더 크게 소리를 지를 수도 있습니다. 이를 해결하기 위해 저자는 **스칼라 웜업 게이트(scalar warmup gate)**를 추가했습니다. 이것을 볼륨 조절기라고 생각하세요. 새로운 일꾼들이 처음 합류할 때, 그들의 볼륨은 0으로 완전히 낮춰져 있습니다. 짧은 기간(약 4,000만 단어의 학습 기간) 동안 볼륨은 서서히 높여집니다. 이를 통해 기존의 뇌가 자신의 일을 계속 수행하는 동안, 새로운 뇌가 혼란을 일으키지 않고 어떻게 기여할지를 천천히 배울 수 있게 합니다.

그들이 발견한 것

저자들은 이 레시피를 테스트하기 위해 모델의 너비를 256에서 384로 키웠습니다. 그들은 이 방법을 아무것도 특별히 하지 않는 방식(그냥 무작위로 새로운 부분을 추가하는 것) 및 LiGO라고 불리는 다른 방식(실행 중에 성장 규칙을 배우려고 시도하는 방식)과 비교했습니다.

결과는 명확했습니다:

"아무것도 하지 않는" 방식은 4.2527의 훈련 손실(training loss)을 기록했습니다.
LiGO 방식(그들의 코드에 재구현됨)은 4.2606의 손실을 기록했습니다.
그들의 전체 레시피(SRIO + 특정 확장 + 웜업)는 4.2111의 손실을 달성했습니다.

AI 훈련의 세계에서, 낮은 "손실" 숫자는 모델이 실수를 덜 한다는 것을 의미합니다. 따라서 그들의 방법이 확실한 승자였으며, 다른 방법들을 눈에 띄는 차이로 앞질렀습니다. 그들은 또한 이 방식이 모델을 여러 번 성장시킬 때도 작동한다는 것을 보여주었으며, 2,400만 파라미터에서 1억 2,000만 파라미터까지 키워냄으로써 이 레시피가 반복해서 사용할 수 있는 것임을 증명했습니다.

그들이 제외한 것

이 논문은 다른 아이디어들이 작동하는지 확인하기 위해 여러 가지를 테스트했습니다. 그들은 회전 연산자의 다양한 크기(Medium 및 Large 버전)를 테스트했고, "Small" 버전(SRIO)이 동일하게 좋거나 오히려 더 나으며 훨씬 더 단순하다는 것을 발견했습니다. 또한 AI가 훈련 중에 회전 규칙을 배워야 하는지("학습" 모드) 아니면 고정된 수학 공식( "정적" 모드)을 사용하는지를 테스트했습니다. 그들은 정적인, 미리 계산된 공식이 AI가 배우려고 시도하는 방식만큼이나 잘 작동한다는 것을 발견했습니다. 즉, AI에게 성장하는 법을 가르치기 위해 시간을 낭비할 필요 없이, 그냥 지침을 제공하면 된다는 것입니다.

이것이 중요한 이유

이 방법의 아름다움은 오프라인이라는 점입니다. 복잡한 수학과 회전은 모델이 다시 훈련을 시작하기 전에 일어납니다. 일단 모델이 성장하면, 특별한 회전 기술들은 모델의 가중치 속으로 "접혀" 들어가며 사라집니다. 이는 AI가 실행될 때 추가적인 컴퓨팅 파워를 필요로 하지 않음을 의미합니다. 그것은 단지 원래의 모델보다 약간 더 크고 똑똑한 버전일 뿐이며, 더 빠르고 저렴하게 학습되었습니다.

요약하자면, 저자는 벽을 허물거나 거주자들을 혼란스럽게 하지 않고 집에 새로운 방을 추가하는 방법을 찾아냈습니다. 정밀한 수학적 회전, 올바른 확장 전략의 혼합, 그리고 볼륨을 천천히 높이는 법을 사용함으로써, 그들은 AI 모델을 효율적으로 키울 수 있으며, 모델의 지능을 온전히 유지하면서 시간과 에너지를 절약할 수 있음을 보여주었습니다.

기술 요약: 오프라인 트랜스포머 너비 확장을 위한 폐쇄형 잔차 공간 회전 (Closed-Form Residual-Space Rotation)

문제 정의

점진적 모델 학습(Progressive model training)은 더 작은 모델로 시작하여 여러 단계에 걸쳐 원하는 크기로 확장함으로써 계산 비용과 실제 소요 시간(wall-clock time)을 줄이는 것을 목표로 합니다. 그러나 너비 확장(width expansion)은 중요한 과제를 안겨줍니다. 즉, 이전에 학습된 행동의 보존과 새로 추가된 파라미터의 학습 효능 사이의 균형을 맞추는 것입니다. 만약 기존의 서브스페이스(subspace)와 새로운 서브스페이스 간의 상호작용이 너무 제한적이면, 기존 가중치가 새로운 입력에 거의 기여하지 못하게 됩니다. 반대로 통제 없이 혼합되면, 확장이 이미 학습된 함수를 저해할 수 있습니다. 기존 방법들은 주로 함수 보존 변환(function-preserving transformations)이나 학습된 성장 연산자(learned growth operators)에 집중하며, 기존 서브스페이스와 새로운 서브스페이스의 "올원즈(all-ones, 평균)" 방향 사이의 구체적인 기하학적 상호작용은 간과하는 경우가 많습니다.

방법론

저자는 작은 너비( $d_{old}$ )에서 더 큰 너비( $d_{new}$ )로의 전이를 관리하기 위해 설계된 세 가지 주요 구성 요소로 이루어진 오프라인 성장 레시피를 제안합니다.

1. 소형 잔차 통합 연산자 (Small Residual Integration Operator, SRIO)

핵심 혁신은 트랜스포머 블록의 입력 및 출력 잔차 경계에서 적용되는 오프라인 폐쇄형 직교 회전(closed-form orthogonal rotation)입니다.

메커니즘: SRIO는 기존 서브스페이스의 올원즈 단위 벡터( $u_{old}$ )와 새로운 서스페이스의 올원즈 단위 벡터( $u_{grow}$ )가 생성하는 2차원 평면에서 작동합니다.
변환:
- 출력 측 (Output Side): $u_{old}$ 를 따라 $u_{grow}$ 방향으로 기존 서브스페이스 성분을 회전시킵니다.
- 입력 측 (Input Side): 역회전을 적용하여, $u_{grow}$ 를 따라 $u_{old}$ 방향으로 새로운 서브스페이스 성분을 회전시킵니다. 이는 기존 가중치가 새로운 입력에 대해 갖는 "읽기 강도(read-strength)"를 개선합니다.
폐쇄형 솔루션 (Closed-Form Solution): 이 연산자는 단일 하이퍼파라미터 $\epsilon$ 으로부터 유도된 컴팩트한 $2 \times 2$ 행 합 행렬( $RSIO_{2\times2}$ )로 정의됩니다. 이 파라미터는 새로운 블록의 입력 이득( $RT_{new} = \epsilon$ )을 제어합니다. $\epsilon$ 값이 낮을수록 새로운 서브스페이스의 평균 방향을 기존 서브스페이스 쪽으로 더 공격적으로 회전시켜, 기존 가중치의 활용을 우선시하는 동시에 기존 및 새로운 입력 모두에 대한 새로운 가중치의 영향력을 억제합니다.
LayerNorm 변환: 동일한 직교 행렬( $SRIO\_R$ )이 LayerNorm의 스케일( $\gamma$ ) 및 시프트( $\beta$ ) 파라미터에 적용되어, 새로운 블록에 유리하도록 그래디언트 RMS 비율을 높입니다.

2. 블록별 정적 확장 정책 (Block-Specific Static Expansion Policies)

저자는 어텐션(Attention) 블록과 피드포워드 네트워크(FFN) 블록이 서로 다른 확장 전략으로부터 이득을 얻는다는 것을 발견했습니다.

어텐션 블록: LiGO에서 영감을 받은 **볼록 확장(convex expansion)**을 사용합니다. 기존 열(column)과 행(row)의 볼록 조합을 통해 새로운 입력 열과 출력 행을 생성하며, 이때 계수의 합은 1인 비음수 값을 사용합니다.
FFN 블록: 타일드 카피(tiled-copy) 전략을 사용합니다. 기존 가중치를 타일링하고 잘라내어(cropped), 업-프로젝션($fc1 $)과 다운-프로젝션($ fc2$) 레이어 모두의 새로운 "새로운-새로운(new-new)" 부분에 배치합니다. 이는 기존 뉴런의 기능을 유지하면서도 이를 복제합니다.

3. 스칼라 웜업 게이트 (Scalar Warmup Gate)

어텐션 및 FFN 블록의 출력단에서 잔차 더하기(residual addition) 직전에 스칼라 게이트( $new\_dim\_alpha\_gate$ )가 적용됩니다.

기능: 이 게이트는 0에서 시작하여 짧은 초기 학습 기간(2개 샤드, 약 4,000만 토큰) 동안 점진적으로 1까지 증가합니다.
목적: 초기에는 새로운 출력을 억제하여 함수 보존을 우선시한 다음, 점진적으로 새로운 잔차 스트림(residual stream)을 도입합니다.

주요 기여 및 실험 설정

본 연구는 OpenWebText, FineWeb, FineWeb-Edu 데이터셋을 사용하여 제안된 구성 요소들을 점진적 학습 프로토콜에서 평가합니다. 모델 규모는 24M에서 120M 파라미터이며, 컨텍스트 길이는 256 토큰입니다. 학습은 각 단계마다 파라미터 수의 20배에 해당하는 Chinchilla 최적 토큰 수를 따릅니다.

비교 변체 (Comparative Variants):
논문은 여러 RIO 변체를 평가합니다:

NRIO: 연산자 없음 (베이스라인).
SRIO: 소형 RIO (제안된 폐쇄형).
MRIO: 중형 RIO (여러 성장 단계/연령을 고려).
LRIO: 대형 RIO (전체 밀집형, 100 스텝 동안 학습됨, LiGO와 유사).

결과

잔차 너비를 256에서 384로 확장하는( $d256 \to d384$ ) 매칭된 실험에서:

성능: 전체 레시피(SRIO + 블록별 확장 + 웜업 게이트)는 4.2111의 학습 손실을 달이트했습니다.
베이스라인: 이는 동일한 코드베이스 내에서 연산자가 없는 베이스라인(4.2527)과 LiGO 제어 방식의 재구현(4.2606)보다 우수한 성능을 보였습니다.
연산자 비교: 연산자들 사이의 성능 순위는 일반적으로 $NRIO > LRIO > SRIO$였습니다. 학습된 직교 변체(SRIO-LO)가 정적 직교 변체(SRIO-SO)보다 약간 더 나은 성능을 보였으나, 그 차이가 실행 시드 변동성 범위 내에 있어 정적 폐쇄형 솔루션만으로도 충분함을 시사했습니다.
다단계 타당성: 이 방법은 24M에서 120M 파라미터까지 반복되는 성장 단계에 성공적으로 적용되어, 점진적 스케일링의 타당성을 입증했습니다.
구성 요소의 영향: SRIO 연산자와 블록별 확장 정책이 가장 유의미한 긍정적 영향을 미쳤습니다. 웜업 게이트는 구성에 따라 효과가 달랐는데, LRIO와 결합했을 때는 유용했으나 SRIO와 결합했을 때는 덜 결정적이었습니다.

의의 및 주장

본 논문은 제안된 방법이 학습된 성장 연산자에 비해 계산 효율적인 대안을 제공한다고 주장합니다. **폐쇄형 직교 회전(SRIO)**을 유도함으로써, 기존의 평균 방향과 새로운 평균 방향 사이의 상호작용을 구체적으로 겨냥하여, 확장 단계 동안 학습 연산자를 실행하는 오버헤드 없이 함수 보존과 향상된 학습 효능을 달성했습니다.

저자는 다음을 강조합니다:

오프라인 효율성: SRIO와 확장 정책은 모델 가중치에 오프라인으로 통합되므로, 학습 또는 추론 중에 지속적인 런타임 연산자를 필요로 하지 않습니다 (짧은 웜업 게이트만 활성화됨).
서브스페이스 상호작용: 본 연구는 기존 서브스페이스와 새로운 서브스페이스 사이의 기하학적 관계, 특히 "올원즈(all-ones)" 방향을 관리하는 것의 중요성을 강조하며, 이를 통해 새로운 파라미터가 학습된 함수를 압도하거나 고립되지 않도록 합니다.
제한된 범위: 본 연구는 너비 확장(깊이 확장이 아님)에 국한되며, 특정 어휘(GPT-2 BPE)를 사용하고 최대 120M 파라미터 규모의 모델을 대상으로 합니다. 저자는 이 방법이 빌리언(billion) 파라미터 규모 및 다른 어휘에서도 작동하는지에 대한 검증이 향-후 과제로 남아 있음을 언급했습니다. 또한, 방법론이 효과적이긴 하지만, 잔차 왜곡(residual skews)이 다운스트림 미세 조정(SFT)에 미치는 구체적인 영향에 대해서는 추가 연구가 필요함을 인정했습니다.