기술 요약: NRGPT – GPT 를 위한 에너지 기반 대안

문제 제기

생성형 사전 학습 트랜스포머 (GPT) 아키텍처는 현재 자동회귀 언어 모델링을 지배하고 있으며, 일련의 트랜스포머 레이어를 통해 토큰 시퀀스를 이동된 시퀀스 (다음 토큰 예측) 로 매핑하는 방식으로 작동합니다. 이는 효과적이지만, 추론을 에너지 지형 (energy landscape) 상의 동적 과정으로 보고 낮은 에너지 상태가 높은 확률 데이터를 나타내는 에너지 기반 모델 (EBM) 과는 구별되는 표준 설정입니다.

트랜스포머와 경사 하강법 (예: 인-컨텍스트 학습) 간의 깊은 연관성을 시사하는 증거가 늘어나고 있으며, 에너지 트랜스포머와 같은 분야에서 이러한 영역을 통합하려는 시도가 있었음에도 불구하고, 표준 인과적 GPT 설정을 에너지 기반 모델로 정립하는 잘 정의된 프레임워크는 여전히 부재했습니다. 기존 에너지 기반 접근법은 종종 마스크된 토큰 재구성 (인과적 생성에는 부적합) 에 의존하거나, 트랜스포머를 동적 시스템이 아닌 단순한 에너지 계산기로 취급했습니다. 저자들은 언어 모델링의 자동회귀 특성을 희생하지 않으면서 표준 GPT 추론 메커니즘과 EBM 프레임워크를 통합하는 데 있어 공백이 존재함을 확인했습니다.

방법론

저자들은 GPT 아키텍처를 EBM 프레임워크와 통합하는 최소한의 수정인 NRGPT(eNeRgy-GPT) 를 제안합니다. 핵심 혁신은 추론 단계를 정적 순전파가 아닌 에너지 지형 상의 토큰 탐색으로 개념화하는 것이며, 여기서 업데이트 규칙은 정의된 에너지 함수의 기울기에 의해 주도됩니다.

1. 에너지 함수 공식화

모델은 어텐션 에너지 ($E_{AT}$) 와 순방향 피드포워드 에너지 ($E_{FF}$) 두 가지 항으로 구성된 총 에너지 함수 $E$를 정의합니다.

• 어텐션 에너지: 멀티헤드 어텐션 메커니즘에서 유래한 $E_{AT}$는 토큰 상태에 대한 기울기가 어텐션 출력을 산출하도록 공식화됩니다. 저자들은 학습 가능한 어텐션 에너지를 정의하여, 기울기 하강 단계가 학습 가능한 가중치 $\alpha$와 추론 속도 행렬 $\eta$를 활용하여 표준 어텐션 메커니즘을 모방하도록 합니다.
• 피드포워드 에너지: 피드포워드 (FF) 네트워크는 밀접 연관 기억 (Dense Associative Memory) 공식에서 유래합니다. 에너지 $E_{FF}$는 그 기울기가 표준 2 층 MLP 업데이트를 생성하도록 구성됩니다. 저자들은 $E_{FF} = -\|\sigma(W g_A)\|^2$(NRGPT_H_FF1) 와 두 개의 가중치 행렬을 포함하는 더 복잡한 변형 (NRGPT_H_FF2W) 을 포함한 특정 변형들을 탐구합니다.

2. 업데이트 규칙 및 동역학

추론 과정은 토큰 상태 $x$가 시간 단계 $t$에 따라 진화하는 동적 시스템으로 모델링됩니다:
$$x^{(t+1)} = x^{(t)} - \eta(t) \nabla E(x^{(t)})$$
여기서 $\eta(t)$는 추론 속도 행렬(전제조건자 역할) 입니다.

• 인과적 제약: 토큰 $A$의 에너지는 $B \leq A$인 토큰들에만 의존하여 인과적 생성을 보장합니다.
• 점근적 안정성: 저자들은 $\eta$에 대한 특정 조건 (예: $\eta = c \cdot \text{diag}(\gamma)$, 여기서 $\gamma$는 레이어 정규화 스케일링 인자) 과 정규화를 하에서 시스템이 점근적 안정성을 보임을 증명합니다. 과도기 기간 후 각 토큰의 에너지는 단조롭게 감소하며 토큰 상태는 고정점으로 수렴합니다. 이는 "순전파"가 유효한 에너지 하강임을 이론적으로 보장합니다.

3. 아키텍처 변형

이 논문은 여러 구성을 조사합니다:

• 정규화: 모델은 레이어 정규화 (LayerNorm) 와 RMSNorm 을 지원하며, 이러한 정규화가 에너지를 경계 짓고 수렴을 보장한다는 이론적 증명이 있습니다.
• FF 변형: 저자들은 표준 GPT 와의 아키텍처 유사성과 성능 사이의 균형을 맞추기 위해 $E_{FF}$의 다양한 형태를 테스트합니다.
• 순환 추론: 레이어가 구별되는 표준 GPT 와 달리, NRGPT 는 단일 블록을 순환적으로 사용합니다. 순환 단계의 수는 네트워크의 "깊이"에 해당합니다.

주요 기여

1. 통합 프레임워크: GPT 설정을 설명하는 에너지 함수와 업데이트 규칙을 설계하여 자동회귀 언어 모델링과 에너지 기반 모델링을 통합합니다.
2. 이론적 보장: 추론 속도 행렬과 정규화에 대한 특정 조건 하에서 추론 동역학이 과도기 기간 후 에너지를 감소시킴을 증명하여 점근적 안정성의 기초를 확립합니다.
3. 실증적 검증: NRGPT 가 다음에서 경쟁력 있는 성능을 발휘함을 입증합니다:
   • ListOps: 중첩된 산술 및 논리 작업.
   • Shakespeare: 문자 단위 언어 모델링.
   • OpenWebText (OWT): 대규모 자연어 모델링.
4. 체계적 비교: 파라미터 효율성과 FLOP 비용을 포함하여 순환 트랜스포머와 NRGPT 간의 성능 확장성에 대한 상세 분석.
5. 동적 분석: 에너지 지형 상의 토큰 궤적에 대한 실증적 연구로, 안정적인 저에너지 상태로의 수렴을 관찰합니다.

실험 결과

• ListOps: NRGPT 변형 (특히 NRGPT_H_FF1 및 NRGPT_H_FF2W) 은 정확도와 훈련 손실 측면에서 순환 GPT 기준 (GPT_Rec_parallel) 과 일치하는 성능을 보였습니다. 모델들은 유사한 파라미터 수 (약 $2.3 \times 10^4$에서 $3.0 \times 10^4$개 파라미터) 에서 학습 전환 (>80% 정확도 도달) 을 달성했습니다.
• Shakespeare: NRGPT 는 다양한 파라미터 크기에서 깊은 GPT 기준과 비교 가능한 검증 손실을 달성했습니다. 특히, NRGPT 는 표준 GPT 들에 비해 더 큰 파라미터 크기에서 훈련 세트에 대해 과적합이 적게 발생했습니다.
• OpenWebText: OWT 데이터셋에서 NRGPT(특히 NRGPT_H_FF2W 변형) 는 약 34M 개의 파라미터가 적은 (90M 대 124M) 상태에서 표준 GPT(124M 파라미터) 와 경쟁적인 생성 품질 지표 (퍼플렉시티, 문법 점수, 다양성) 를 달성했습니다.
• 하류 작업 (MMLU): MMLU 데이터셋의 5-샷 설정에서 128M 파라미터 NRGPT 모델은 유사한 크기의 GPT(28.0%) 및 순환 GPT(26.0%) 기준에 비해 더 높은 평균 정확도 (29.3%) 를 달성했습니다. 저자들은 이러한 결과가 작은 모델 규모로 인해 신중하게 해석되어야 하지만 잠재적 이점을 시사한다고 언급합니다.

한계 및 관찰

• 계산 비용: NRGPT 는 파라미터 효율성이 더 높지만, FF 모듈 설계와 어텐션에서 풀랭크 가중치 행렬 사용으로 인해 동등한 순환 GPT 대비 반복당 FLOP 비용이 1~2 배 더 높습니다.
• 하이퍼파라미터 민감도: NRGPT 는 표준 GPT 변형에 비해 하이퍼파라미터 선택 (예: 학습률) 에 더 큰 민감도를 보입니다.
• 과적합 행동: 모델들은 과적합에 더 강건하여 작은 데이터 영역에서는 유리하지만, 복잡한 패턴 학습의 대리 지표인 과적합이 종종 발생하는 대규모 데이터셋에서는 잠재적으로 비최적일 수 있습니다.
• 추론 속도 제약: 에너지 하강을 보장하기 위해 추론 속도 행렬 $\eta$는 특정 제약 (예: 정규화 스케일링에 비례) 을 만족해야 합니다. 그러나 실증적 결과는 제약이 없는 $\eta$조차도 실제로 수렴을 이끌 수 있음을 시사합니다.

중요성 및 주장

이 논문은 NRGPT 가 자동회귀 언어 모델링과 에너지 기반 모델링을 성공적으로 통합하는 GPT 아키텍처의 최소한의 수정을 대표한다고 주장합니다. 주요 중요성은 다음과 같습니다:

1. 이론적 통합: 인과적 언어 모델의 "순전파"가 명시적으로 에너지 지형 상의 기울기 기반 동적 시스템임을 보여주는 원칙적 기초 제공.
2. 점근적 안정성: 이 동적 시스템이 자연스럽게 안정적인 상태로 수렴함을 입증하여 트랜스포머 추론에 대한 새로운 관점 제시.
3. 대안 패러다임: 에너지 기반 접근법이 과적합 저항성 및 체계적 해 공간 탐색 (예: 조기 종료 또는 정규화기를 통해) 과 같은 고유한 특성을 제공하면서 표준 GPT 들과 성능 면에서 경쟁할 수 있음을 보여줌. 다만, 논문은 이러한 고급 응용은 향후 작업이라고 명시합니다.

저자들은 NRGPT 를 모든 GPT 를 대체하는 것이 아니라, 에너지와 최적화의 렌즈를 통해 트랜스포머 아키텍처를 이해하고 정적 딥러닝 모델과 동적 시스템 간의 간극을 메우는 의미 있는 단계로 위치시킵니다.