💬 NLP

CoFrGeNet: Continued Fraction Architectures for Language Generation

본 논문은 연분수에 영감을 받아 표준 트랜스포머 구성 요소를 매개변수 효율적인 대안으로 대체하여 대규모 언어 모델에서 훨씬 적은 매개변수와 짧은 사전 학습 시간으로 경쟁력 있거나 우수한 성능을 달성하는 새로운 아키텍처 계열인 CoFrGeNets 를 소개합니다.

원저자: Amit Dhurandhar, Vijil Chenthamarakshan, Dennis Wei, Tejaswini Pedapati, Karthikeyan Natesan Ramamurthy, Rahul Nair

게시일 2026-05-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Amit Dhurandhar, Vijil Chenthamarakshan, Dennis Wei, Tejaswini Pedapati, Karthikeyan Natesan Ramamurthy, Rahul Nair

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 매우 똑똑한 로봇이 이야기를 쓰고, 질문에 답하며, 문제를 해결한다고 상상해 보세요. 이 로봇은 Transformer라는 특정 설계도를 바탕으로 만들어집니다. 수년 동안 이 설계도는 금표준으로 여겨져 왔지만, 무겁고 실행 비용이 많이 들며, 작동하려면 막대한 양의 '두뇌 능력'(파라미터)이 필요합니다.

공유하신 논문은 CoFrGeNet이라는 새로운 설계도를 소개합니다. 이를 **연분수 (Continued Fractions)**라는 더 효율적인 수학적 트릭을 사용하여 해당 로봇의 두뇌를 재건하는 방법으로 생각할 수 있습니다.

다음은 그들의 발견을 쉽게 설명한 내용입니다:

1. 문제: 로봇이 너무 무겁습니다

현재의 AI 모델 (유명한 GPT-2 나 Llama 등) 은 사고를 위해 두 가지 주요 엔진에 의존합니다:

어텐션 (Attention) 엔진: 이는 로봇이 이전 단어들을 되돌아보며 문맥을 이해하도록 돕습니다 (예: 다섯 문장 전에 한 말을 기억하는 것).
피드포워드 (Feed-Forward) 엔진: 이는 로봇이 실제로 정보를 처리하고 결정을 내리는 곳입니다.

이 엔진들은 강력하지만 무겁습니다. 수백만 개의 기어 (파라미터) 가 돌아가야 하므로 로봇이 느리고 구축 비용이 많이 듭니다.

2. 해결책: '벽' 대신 '사다리'

저자들은 **연분수 (Continued Fraction)**라는 오래된 수학적 개념을 살펴보았습니다. 단순히 멈추지 않고 사다리처럼 아래로 계속 이어지는 분수를 상상해 보세요:
$a_0 + \frac{1}{a_1 + \frac{1}{a_2 + \dots}}$

과거에는 사람들이 이 '사다리' 아이디어를 간단한 수학 문제에 사용하려고 시도했습니다. 하지만 이 논문은 묻습니다: 이 사다리를 사용하여 전체 새로운 로봇 두뇌를 만들 수 있을까요?

그들은 **CoFrGeNets(연분수 생성 네트워크)**를 만들었습니다. 무거운 표준 엔진 대신 이 수학적 사다리들을 대체했습니다.

마법: 이 사다리들은 무거운 엔진과 동일한 작업을 수행할 수 있지만, 덜 많은 기어로 가능합니다.
결과: 그들은 원래의 거대 모델보다 33% 에서 50% 더 작은(파라미터가 적은) 모델을 구축했지만, 여전히 동일하거나 때로는 더 나은 성능을 발휘했습니다.

3. '나눗셈' 병목 현상 (그리고 그들이 이를 어떻게 해결했는지)

단점이 있었습니다. 이 사다리들을 계산하는 것은 많은 나눗셈(숫자 나누기) 을 수반합니다. 컴퓨터 하드웨어에서 나눗셈은 무거운 바위를 언덕 위로 밀어 올리는 것과 같습니다. 곱셈에 비해 매우 느리고 에너지 소모가 큽니다.

100 개의 계단이 있는 깊은 사다리가 있다면, 각 계단마다 나눗셈을 수행하면 로봇이 극도로 느려집니다.

혁신:
저자들은 **연속항 (Continuants)**이라는 수학적 단축키를 사용하여 전체 사다리를 한 번에 계산할 수 있음을 깨달았습니다.

구식 방법: 답을 얻기 위해 100 번의 나눗셈을 수행합니다.
신식 방법: 한 번만 수학을 수행하고, 맨 끝에서 단 하나의 나눗셈만 수행합니다.

이는 사다리의 모든 계단을 하나씩 올라가서 꼭대기에 도달할 필요가 없다는 것을 깨닫는 것과 같습니다. 계산된 단축키를 사용하여 거대한 점프를 할 수 있습니다. 이로 인해 그들의 모델을 훈련시키고 실행하는 속도가 훨씬 빨라졌습니다.

4. 테스트 방법

그들은 단순히 구축하는 데 그치지 않고, 거대 모델들과 대결하여 테스트했습니다:

테스트 대상: GPT-2-xl(15 억 파라미터 모델) 과 Llama3(32 억 파라미터 모델) 의 일부를 교체했습니다.
훈련: 그들은 이 새로운 모델들을 방대한 양의 인터넷 텍스트 (OpenWebText, GneissWeb, 그리고 문서들의 혼합물) 로 훈련시켰습니다.
결과:
- 더 작음: 새로운 모델들은 현저히 작았습니다.
- 더 빠름: 훈련 속도와 실행 속도가 더 빨랐습니다.
- 더 똑똑함 (또는 동등함): 독해, 질문 답변, 추론 작업에서 테스트했을 때, 더 작은 CoFrGeNet 모델들은 훨씬 더 큰 원래 모델들의 성능과 일치하거나 능가했습니다.

5. '훈련 일정' 트릭

그들은 또한 로봇의 모든 조절 장치를 한 번에 돌릴 수 없다는 것을 발견했습니다. 그들은 특별한 '훈련 일정'(단계별 학습 계획) 을 고안해냈습니다.

유사성: 아이에게 자전거 타기를 가르치는 상황을 상상해 보세요. 첫날부터 페달을 밟고, 핸들을 돌리고, 균형을 잡는 것을 모두 허용하지는 않습니다. 먼저 보조 바퀴를 달고, 그다음 핸들을 돌리게 한 다음, 페달을 밟게 합니다.
결과: 사다리의 '가장 깊은' 부분을 먼저 업데이트하고 나머지 부분을 서서히 해제함으로써, 모델들은 더 안정적으로 학습하고 더 나은 성능을 발휘했습니다.

요약

이 논문은 AI 모델의 표준적인 '무거운' 부분을 지능적이고 수학 기반인 '사다리' 구조로 교체함으로써, 오늘날 우리가 사용하는 거대 모델들과 똑같이 쓰고 사고할 수 있는 더 작고, 빠르고, 저렴한 AI 모델을 구축할 수 있다고 주장합니다.

그들이 주장하지 않은 것:

의료 진단이나 임상 용도에 작동한다고 주장하지 않았습니다.
AI 안전 문제를 해결한다고 주장하지 않았습니다 (사실, 그들은 이 모델들이 다른 모델들처럼 여전히 '환각'을 보이거나 실수를 할 수 있다고 지적했습니다).
즉시 상업적 사용에 준비되었다고 주장하지 않았으며, 대신 미래의 연구 및 산업 워크플로우를 위한 유망한 새로운 아키텍처라고 언급했습니다.

기술 요약: CoFrGeNet – 언어 생성을 위한 연분수 아키텍처

문제 정의

트랜스포머는 멀티헤드 어텐션과 대규모 은닉 계층을 가진 피드포워드 네트워크 (FFN) 에 의존하여 언어 생성 분야에서 지배적인 아키텍처가 되었습니다. 그러나 이러한 구성 요소는 파라미터 수와 훈련 시간 측면에서 상당한 계산 오버헤드를 초래합니다. 효율성을 개선하기 위해 희소 어텐션, 선형 어텐션 등 다양한 근사 기법이 제안되었으나, 여전히 성능을 유지하거나 향상시키면서 이러한 핵심 구성 요소를 대체할 수 있는 근본적으로 다른 함수 클래스에 대한 필요성이 존재합니다.

이전 연구는 연분수에서 영감을 받은 사다리형 구조를 활용하여 지도 학습을 위한 CoFrNets(연분수 네트워크) 를 소개했습니다. 그러나 이 아키텍처를 생성 모델링에 적용할 때는 세 가지 구체적인 과제가 발생합니다:

다차원 출력: 생성 모델은 지도 학습에서 흔히 볼 수 있는 스칼라 출력과 달리 고차원 출력을 생성해야 합니다.
풍부한 함수 학습: 아키텍처는 시퀀스 모델링에 적합한 복잡한 표현을 학습해야 합니다.
인과적 제약: 모델은 일관된 생성을 보장하기 위해 이전 토큰에만 의존하는 파라미터를 학습해야 합니다.
계산 비효율성: 연분수의 표준 $1/x$ 비선형성은 깊이 $d$ 의 사다리에 대해 $d$ 번의 나눗셈을 요구합니다. 현대 하드웨어에서 나눗셈은 곱셈보다 훨씬 느리기 때문에, 깊이 ( $d$ ) 와 사다리 수 ( $L$ ) 가 증가함에 따라 훈련 및 추론 모두에 병목 현상을 초래합니다.

방법론

1. 연분수 생성 네트워크 (CoFrGeNets)

저자들은 트랜스포머 블록의 어텐션 및/또는 FFN 계층을 연분수 기반 구성 요소로 대체하는 CoFrGeNets 아키텍처 계열을 제안합니다. 핵심 함수 클래스는 다음과 같이 정의됩니다:
$w_0x + \frac{1}{w_1x + \frac{1}{w_2x + \dots}}$
여기서 $x$ 는 입력이고 $w_k$ 는 학습 가능한 파라미터 벡터입니다.

2. 아키텍처 구성 요소

이 논문은 인과적 제약을 유지하면서 트랜스포머 구성 요소를 대체하기 위한 구체적인 설계를 소개합니다:

인과적 어텐션 대체 (CAttnU 및 CAttnM):
- CAttnU: 토큰 간 차원을 혼합하기 위해 입력을 전치하는 단변수 CoFrNet 사다리를 사용합니다. 인과성 (미래 토큰 유출 방지) 을 강제하기 위해 앙상블 내에서 상삼각 선형 계층을 사용합니다. 두 앙상블의 출력에 요소별 곱셈을 적용하여 교차항을 생성함으로써 인과적 흐름을 위반하지 않으면서 표현력을 향상시킵니다.
- CAttnM: $L$ 개의 CoFrNet 사다리를 사용하여 입력을 시퀀스 길이 임베딩으로 매핑하며, 이는 어텐션 가중치로 작용합니다. 인과성은 값 행렬에 가중치를 부여하기 전에 인과적 소프트맥스 (이전 토큰만의 볼록 결합) 를 적용함으로써 유지됩니다.
FFN 대체 (Cffn):
- FFN 은 토큰 혼합이 아닌 특징 혼합을 필요로 하므로, 입력을 전치하지 않고 $p$ -변수 사다리 (여기서 $p$ 는 임베딩 차원) 의 앙상블을 사용합니다.
- 마지막 선형 계층이 출력을 목표 차원으로 다시 투영합니다.
- 중요한 점은 이러한 사다리의 입력이 게이트된, 확장되지 않은 표현 ( $\alpha=1$ ) 이라는 점입니다. 이는 종종 확장 계수 $\alpha \gg 1$ 을 사용하는 표준 트랜스포머 FFN 에서 발생하는 파라미터 폭주를 방지합니다.

3. 연속항을 통한 효율적 구현

반복적인 나눗셈의 계산 비효율성을 해결하기 위해 저자들은 연속항(다항식 $K_k$ ) 기반의 맞춤형 구현을 유도했습니다.

순전파: $d$ 번의 나눗셈으로 계층별로 분수를 계산하는 대신, 연분수를 두 다항식의 비율인 $\tilde{f}(a) = K_{d-1} / K_d$ 로 계산합니다. 이는 곱셈과 덧셈만을 사용하여 다항식을 재귀적으로 계산한 후 단 하나의 나눗셈 ( $1/K_d$ ) 을 수행하는 방식으로 이루어집니다.
역전파: 저자들은 연속항의 성질을 이용하여 기울기에 대한 폐쇄형 식을 유도했습니다. 기울기 $\frac{\partial \tilde{f}}{\partial a_k}$ 는 연속항의 제곱 비율로 표현됩니다.
최적화: $K_d$ 를 한 번 계산하고 모든 기울기 계산에 $1/K_d$ 를 재사용함으로써 나눗셈 횟수를 $d$ 에서 1로 줄였습니다. 이는 훈련 및 추론 속도를 크게 향상시킵니다.

4. 맞춤형 훈련 스케줄

저자들은 훈련을 안정화하기 위해 이진 파라미터 업데이트 스케줄을 제안합니다. 모든 파라미터를 동시에 업데이트하는 대신:

선형 구성 요소는 처음부터 업데이트됩니다.
더 깊은 깊이의 파라미터는 초기에 고정됩니다.
깊이 $i$ 파라미터에 대한 업데이트는 총 반복 횟수 $t$ 에 대해 $t/2^i$ 번의 반복이 완료된 후에만 시작됩니다.
이 점진적 접근 방식은 훈련 초기 단계에서의 불안정성을 방지합니다.

주요 기여

새로운 아키텍처: 트랜스포머의 어텐션 및 FFN 계층을 위한 플러그인 대체품으로 CoFrGeNet 구성 요소를 도입하여 생성 모델링을 위한 새로운 함수 클래스를 제시했습니다.
효율적인 기울기 공식 유도: 연속항을 사용하여 나눗셈 연산 횟수를 사다리당 $d$ 회에서 1 회로 줄이는 맞춤형 기울기 공식을 유도하여 하드웨어 효율성을 획기적으로 개선했습니다.
훈련 안정성: 깊은 연분수 아키텍처의 훈련을 안정화하는 맞춤형 이진 훈련 스케줄을 개발했습니다.
실증적 검증: 대규모 모델 (GPT2-xl 및 Llama3) 에 대한 사전 훈련 및 평가를 통해 감소된 파라미터 수로 경쟁력 있는 성능을 입증했습니다.

실험 결과

설정

모델: OpenWebText 및 GneissWeb 에서 사전 훈련된 **GPT2-xl(1.5B)**과 docling 데이터 믹스 (2T 토큰) 에서 사전 훈련된 **Llama3(3.2B)**에서 실험을 수행했습니다.
베이스라인: 비교 대상에는 원래 트랜스포머, Dense Synthesizer, 희소 어텐션이 포함되었습니다.
변형: FFN 을 대체한 CoFrGeNet-F, 어텐션을 대체한 CoFrGeNet-A, 둘 다 대체한 CoFrGeNet 변형이 있습니다.

성능

하류 작업 (GLUE): CoFrGeNet 모델은 원래 모델의 파라미터 수의 2/3 에서 1/2 수준임에도 불구하고 분류, 질문 답변, 추론 작업에서 경쟁력 있거나 우수한 정확도를 달성했습니다. 예를 들어, CoFrGeNet-F(985M) 는 대부분의 GLUE 벤치마크에서 1.5B GPT2-xl 보다 우수한 성능을 보였습니다.
퍼플렉시티: 언어 모델링 벤치마크 (PTB, Wikitext, Lambada) 에서 CoFrGeNet 변형은 일반적으로 베이스라인 트랜스포머 및 기타 효율적 어텐션 베이스라인보다 낮은 퍼플렉시티를 달성했습니다.
효율성:
- 훈련 시간: 연속항을 사용하지 않은 "리터럴" 구현 (CoFrGeNetB) 에 비해 연속항 기반 구현이 훈련 시간을 크게 단축했습니다. GPT2-xl 의 경우 훈련 시간이 약 203 시간 (B) 에서 약 178 시간 (CoFrGeNet) 으로 감소했습니다.
- 추론 시간: 리터럴 구현에 비해 연속항 기반 버전의 추론 속도가 거의 한 자릿수 (order of magnitude) 향상되었습니다.
- 처리량: Llama3 에서 CoFrGeNet 변형은 더 높은 토큰/일 처리량을 보였으며 총 훈련 시간이 단축되었습니다 (예: CoFrGeNet-F 는 6.6 일, 베이스라인은 8.5 일).

중요성 및 주장

이 논문은 CoFrGeNets 가 표준 트랜스포머 구성 요소에 대한 실현 가능하고 파라미터 효율적인 대안임을 주장합니다. 연분수의 수학적 특성을 활용하고 연속항을 통해 구현을 최적화함으로써 저자들은 다음과 같은 점을 입증했습니다:

훨씬 적은 파라미터로 고성능 언어 모델을 구축할 수 있습니다.
연분수에서 나눗셈 연산의 계산 병목 현상을 효과적으로 완화하여 대규모 산업 워크플로우에 실용적인 아키텍처를 만들 수 있습니다.
이 접근 방식은 "플러그 앤 플레이" 방식으로 기존 훈련 및 추론 파이프라인에 최소한의 변경만 요구합니다.

저자들은 이 작업이 연분수에서 영감을 받은 생성 아키텍처의 기초를 마련하여, 자원이 적은 주체들도 고품질 모델을 사전 훈련할 수 있게 함으로써 AI 를 민주화할 수 있다고 결론지었습니다. 다만, 이러한 모델은 본질적으로 안전 장치를 갖추지 않았으며 환각 및 적대적 공격에 취약할 수 있음을 지적하며, 향후 연구는 이러한 특정 함수 형태 내에서 이러한 과제를 해결하는 데 초점을 맞춰야 한다고 제안했습니다.