🤖 machine learning

Language Modeling with Hyperspherical Flows

본 논문은 초구면에서의 벡터 회전을 통해 시퀀스를 생성함으로써 기존 흐름 기반 접근법의 확장성 및 의미적 한계를 극복하고 대규모 어휘 추론 작업에서의 성능을 크게 향상시키며 마스킹 확산 모델과의 격차를 줄이는 초구면 잠재 흐름 언어 모델인 $\mathbb{S}$ -FLM 을 소개합니다.

원저자: Justin Deschenaux, Caglar Gulcehre

게시일 2026-05-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Justin Deschenaux, Caglar Gulcehre

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Language Modeling with Hyperspherical Flows"(S-FLM) 논문을 쉬운 언어와 창의적인 비유로 설명합니다.

큰 그림: AI 와 함께 글을 쓰는 새로운 방법

로봇에게 이야기를 쓰거나 수학 문제를 풀도록 가르치려 한다고 상상해 보세요. 현재 가장 뛰어난 로봇들 (자극적 생성 모델, Autoregressive models) 은 타자기로 타이핑하는 사람처럼 글을 씁니다. 한 글자씩 왼쪽에서 오른쪽으로 써 나갑니다. 이들은 미리 내다볼 수 없으며, 다음 단어를 시작하기 전에 한 단어를 끝내야 합니다. 이는 느립니다.

다른 연구자들은 화가가 캔버스에 그림을 채우듯 문장 전체를 한 번에 쓰는 로봇을 만들려고 시도했습니다. 이를 확산 모델 (Diffusion models) 이라고 합니다. 그러나 텍스트에 적용한 초기 시도에는 두 가지 큰 문제가 있었습니다:

너무 무거웠다: 모든 단어를 거대한 별도의 숫자 목록 (거대한 스프레드시트와 같음) 으로 취급하여 학습이 느리고 비용이 많이 들었습니다.
혼란스러웠다: 엉망진창인 문장을 '정리'하려 할 때, 단어에 맞지 않는 수학을 사용했기 때문에 어느 방향으로 가야 할지 몰라 혼란스러웠습니다.

이 논문은 S-FLM(초구면 흐름 언어 모델, Hyperspherical Flow Language Model) 을 소개합니다. 이는 로봇이 '노이즈'에서 '의미'로 이동하는 방식을 더 빠르고, 가볍고, 똑똑하게 가르치는 새로운 방법입니다.

구식 방식의 문제: '원-핫 (One-Hot)' 여행가방

어휘가 5 만 개라고 상상해 보세요.

구식 방식 (FLMs): '고양이'라는 단어를 표현하기 위해, 기존 모델은 5 만 개의 구멍이 있는 여행가방을 사용했습니다. '고양이' 구멍에 공 하나를 넣고 나머지 4 만 9,999 개의 구멍은 비워두었습니다. '개'를 표현하려면 공을 '개' 구멍으로 옮겼습니다.
- 문제점: 모든 단어마다 5 만 개의 구멍이 있는 여행가방을 들고 다니는 것은 엄청나게 무겁고 느립니다. 또한 수학적으로 이 시스템에서 '고양이'와 '개'의 거리는 '고양이'와 '얼룩말'의 거리와 똑같습니다. 이는 말이 안 됩니다. 왜냐하면 어떤 단어들은 서로 더 비슷하기 때문입니다.

S-FLM 의 해결책: '초구면 (Hypersphere)' 댄스 플로어

저자들은 그 거대한 여행가방 사용을 중단하기로 결정했습니다. 대신 모든 단어를 거대한 다차원 댄스 플로어(초구면) 위에 두었습니다.

비유: 표면의 모든 점이 단어를 나타내는 거대한 공을 상상해 보세요. '고양이'는 표면 위의 한 점입니다. '개'는 그 근처의 다른 점입니다. '얼룩말'은 더 멀리 있습니다.
작동 방식: 무거운 여행가방을 들고 다니는 대신, 모델은 이 공 위의 단일 점만 잡습니다. 단어를 바꾸려면 공을 교환하는 것이 아니라, 공 표면 위를 따라 그 점을 회전시킵니다.
더 나은 이유:
- 가벼움: 더 이상 5 만 개의 구멍이 있는 여행가방이 필요 없습니다. 점의 위치를 설명하는 작은 좌표계 (위도와 경도와 같음) 만 있으면 됩니다. 이로 인해 학습이 훨씬 빠르고 저렴해집니다.
- 똑똑한 수학: 이 댄스 플로어에서 점들 사이의 거리는 단어들이 얼마나 유사한지와 자연스럽게 일치합니다. '고양이'와 '개'는 가까이 있고, '고양이'와 '비행기'는 멀리 떨어져 있습니다. 이는 텍스트를 '정리'하는 수학을 훨씬 직관적으로 만듭니다.

모델이 배우는 방법: '노이즈 제거' 게임

로봇이 '그림 맞추기' 게임을 한다고 상상해 보세요.

준비: 로봇에게 '고양이'의 선명한 그림을 보여줍니다.
노이즈: 그림이 정지 화면 (무작위 노이즈) 처럼 보일 때까지 천천히 흐리게 만듭니다.
과제: 로봇은 그 정지 화면을 받아 댄스 플로어 위의 점을 회전시켜 다시 '고양이' 자리에 떨어뜨리는 법을 배워야 합니다.

과거에는 로봇이 노이즈를 수정하려 할 때, '노이즈'에 명확한 의미가 없었기 때문에 때로는 잘못된 방향으로 회전하곤 했습니다.

S-FLM 의 트릭: 모델이 댄스 플로어 (초구면) 위에 있기 때문에, 라디오 주파수를 맞추기 위해 다이얼을 돌리듯 노이즈를 올바른 단어로 회전시키는 법을 배웁니다. 올바른 단어로 가는 방향을 보여주는 특정 '속도장 (velocity field)'을 학습합니다.

비밀 소스: 노이즈 자르기

이 논문은 이 게임의 '노이즈'에 대해 흥미로운 사실을 발견했습니다.

문제: 그림이 거의 선명해졌을 때 (약간의 정지 화면만 남았을 때) 로봇에게 그림을 고치는 법을 가르치려 하면 로봇이 혼란을 겪습니다. 거의 빈 건초더미에서 바늘을 찾으려는 것과 같습니다. 로봇이 지나치게 생각하게 됩니다.
해결책: 저자들은 그림이 너무 선명해졌을 때 로봇에게 가르치는 것을 중단해야 한다고 깨달았습니다. 그들은 훈련을 '자르 (truncate)'서, 그림이 여전히 매우 흐릿할 때만 로봇에게 고치는 법을 가르쳤습니다.
결과: 거의 선명한 쉬운 부분을 무시함으로써 로봇은 어려운 퍼즐을 훨씬 잘 풀게 되었습니다. 이는 이전 시도들보다 수학 문제 (GSM8K) 와 스도쿠 퍼즐을 훨씬 잘 풀게 해주었습니다.

결과: 무엇을 달성했는가?

이 논문은 이 새로운 로봇을 세 가지 분야에서 테스트했습니다:

스도쿠: 기존 최고의 모델과 거의 비슷하게 퍼즐을 풀었지만, 훨씬 가벼운 구조를 사용했습니다.
수학 문제 (GSM8K): 이전의 '흐름 (flow)' 모델들은 수학에 매우 서툴러서 (1% 미만 정답) 실패했습니다. S-FLM 은 특정 디코딩 트릭 (가장 좋은 단일 경로 선택) 을 사용하여 약 **18%**를 맞췄습니다. 이는 큰 도약이지만, 여전히 가장 뛰어난 '타자기' 모델들 (약 63% 정답) 에는 미치지 못합니다.
이야기 쓰기 (OpenWebText): 기존 최고의 모델과 똑같이 좋은 텍스트를 썼지만, 구식 방법의 무거운 짐 없이 수행했습니다.

요약

S-FLM을 거대한 단어 여행가방을 나르는 서투르고 무거운 건설 노동자에서, 구면 위의 점을 회전시키는 우아한 무용수로 업그레이드된 로봇 작가라고 생각하세요.

구조가 가벼워 학습이 더 빠릅니다.
구면의 기하학이 단어 간의 관계를 반영하므로 더 똑똑합니다.
저자들이 로봇이 연습해야 할 '노이즈'의 양을 정확히 파악했기 때문에 추론 작업에서 더 잘 작동합니다.

복잡한 수학 문제에서 아직 최고의 '타자기' 모델을 능가하지는 못하지만, 이 새로운 '댄스 플로어' 접근 방식이 차세대 AI 작가들을 구축하는 강력하고 효율적인 방법임을 증명합니다.

기술 요약: 초구 흐름을 활용한 언어 모델링 (S-FLM)

문제 정의

자기회귀 (AR) 모델은 확장성과 빠른 가능도 평가로 인해 언어 모델링을 지배하고 있지만, 추론 시 순차적 생성과 양방향 문맥의 부재로 인해 고충을 겪습니다. 이산 확산 모델은 병렬 생성과 양방향 문맥을 제공하지만, 계산 가능성 제약으로 인해 인자화된 주변분에서 샘플링하도록 강제되어 AR 모델에 비해 표현력이 제한됩니다.

최근 흐름 언어 모델 (FLM) 은 언어에 연속 흐름을 적용하여 결정론적 상미분방정식 (ODE) 을 통해 노이즈를 데이터로 운반함으로써 이러한 격차를 해소하려 시도합니다. 그러나 기존 FLM 은 두 가지 치명적인 단점에 직면해 있습니다:

계산 비용: 토큰을 차원 $|V|$ (어휘 크기) 의 원-핫 벡터로 표현합니다. 대규모 어휘 (100k–200k) 의 경우, 고차원 벡터를 저장하고 조작해야 하므로 훈련 속도가 이산 확산 모델이나 AR 모델보다 현저히 느립니다.
의미적 모호성: 원-핫 벡터에 가우시안 노이즈를 추가하는 것은 명확한 의미론적 해석이 부족합니다. 이미지의 경우 노이즈가 점진적으로 구조를 열화시키는 반면, 등거리 원-핫 임베딩에 가우시안 노이즈를 추가하는 것은 직관적인 기하학적 의미를 갖지 않습니다.

방법론

저자들은 유클리드 공간이나 이산 상태 공간이 아닌 단위 초구 $S^{d-1}$ 위에 정의된 리만 흐름 모델인 **초구 흐름 언어 모델 (S-FLM)**을 제안합니다.

핵심 메커니즘

초구 잠재 공간: 원-핫 벡터 대신 토큰을 단위 노름 임베딩 $\hat{e}_v \in S^{d-1}$ 로 매핑합니다. 전진 과정은 가우시안 노이즈를 사용한 선형 보간 대신 구면 선형 보간 (SLERP) 을 통해 깨끗한 임베딩을 구면 위의 균일한 사전 분포로 운반합니다.
리만 흐름 매칭: 모델은 ODE 를 정의하는 매니폴드 $S^{d-1}$ 위의 속도장 $u_t$ 를 학습합니다. 조건부 속도는 구면 위의 로그 맵을 사용하여 유도됩니다:
$u_{t|1}(z_t | z_1) = \frac{\dot{\alpha}_t}{1-\alpha_t} \log_{z_t}(z_1)$
여기서 $z_1$ 은 깨끗한 임베딩이고 $z_t$ 는 노이즈가 섞인 잠재 변수입니다.
훈련 목적: 디노이저 $p_\theta^{1|t}$ 는 노이즈가 섞인 잠재 변수 $z_t$ 를 기반으로 깨끗한 토큰 $x_\ell$ 을 예측하기 위해 교차 엔트로피 (CE) 를 사용하여 훈련됩니다. 이는 학습 가능한 임베딩에 대해 속도를 직접 회귀시킬 때 발생할 수 있는 모든 임베딩이 한 점으로 붕괴되는 자명한 최소값을 피합니다.
샘플링: 추론 시, 모델은 구면 위의 균일 노이즈에서 데이터 매니폴드로 학습된 속도장을 적분합니다. 속도장은 각 깨끗한 임베딩을 향하는 접선 벡터들에 대해 사후 확률 $p_\theta^{1|t}$ $p_{θ}^{1∣ t}$ 로 가중치를 부여하여 주변분화함으로써 계산됩니다.
- 정확한 속도: 전체 어휘에 대해 합산합니다 (계산 비용이 높음).
- Top-k 속도: 가장 확률이 높은 토큰 $k$ 개로 합산을 제한합니다. Top-1 디코딩은 탐욕적 디코딩에 해당합니다.
- 확률적 디코딩: 속도 방향을 정의하기 위해 사후 분포에서 단일 토큰을 샘플링합니다.

아키텍처 및 훈련 혁신

S-arch (초구 백본): 중간 활성화가 $S^{d-1}$ 로 제한된 트랜스포머 변형입니다. 가법 잔차를 정규화된 보간으로 대체하고 어텐션/MLP 레이어를 회전으로 매개변수화합니다. 이는 아키텍처를 입력 매니폴드와 정렬시켜 샘플 품질을 향상시킵니다.
노이즈 스케줄 절단: 저자들은 고차원 기하학에 기반한 이론적 경계 $\alpha^\star(\delta)$ 를 유도합니다. 고차원에서는 노이즈 수준이 특정 임계값 아래로 떨어지면 사후 분포가 원-핫 분포로 붕괴됨을 보여줍니다. 훈련은 자명한 디노이징 작업으로부터 학습하는 것을 피하기 위해 이 경계 이상의 노이즈 수준에서 절단됩니다.
적응형 노이즈 스케줄: InfoNoise 에서 영감을 받아, 훈련 스케줄은 손실 기울기가 가장 가파른 노이즈 수준에 더 많은 샘플을 할당하도록 조정되어 훈련 효율성을 향상시킵니다.

주요 기여

S-FLM 프레임워크: 초구 위의 $d$ 차원 임베딩에서 작동하는 흐름 기반 언어 모델로, $|V|$ 차원 원-핫 벡터를 물리적으로 생성할 필요가 없습니다. 이는 훈련 비용을 이산 확산 모델과 비교 가능하게 줄입니다.
S-arch 백본: 초구 위에서 활성화를 유지하는 새로운 아키텍처로, 표준 DiT 백본에 비해 추론 작업 (GSM8K) 과 언어 모델링 (OpenWebText) 에서 더 나은 성능을 발휘합니다.
이론적 노이즈 절단: 어휘 크기와 임베딩 차원에 기반하여 노이즈 스케줄을 절단하기 위한 원칙적인 휴리스틱으로, 추론 작업 성능을 크게 향상시킵니다.
성능 향상: S-FLM 은 이전 연속 흐름 모델을 크게 개선합니다. GSM8K 에서 Top-1 디코딩 시 약 18% 정확도를 달성하여 (이전 FLM 의 <1% 대비), 표준 온도 ( $T=1$ ) 에서 마스킹 확산 모델 (MDLM, Duo) 과의 격차를 해소합니다.

실험 결과

스도쿠 추론: S-FLM 은 이전 FLM 과 이산 확산 모델 (Duo) 과 비교 가능한 성능을 달성하며, 절단과 적응형 스케줄을 사용할 때 쉬운 퍼즐에서 94.8%, 어려운 퍼즐에서 45.0% 의 정확도로 최상의 연속 확산 결과를 기록했습니다.
GSM8K (수학 추론):
- 이전 연속 모델 (FLM, CANDI) 은 1% 미만의 정확도를 달성했습니다.
- S-FLM 의 Top-1 디코딩은 18.0% 정확도에 도달하여 $T=1$ 에서 MDLM 및 Duo 의 성능과 일치합니다.
- 낮은 온도 ( $T=0.1$ ) 에서는 여전히 성능 격차가 존재하며, 이산 모델 (Duo, MDLM) 은 33–36% 에 도달하는 반면 S-FLM 은 약 18% 에서 정체됩니다.
OpenWebText (언어 모델링): S-FLM 은 높은 함수 평가 횟수 (NFE) 에서 이전 FLM 들의 생성적 퍼플렉시티 (Gen. PPL) / 엔트로피 프론티어와 일치하며, 이전 연속 모델이 불안정한 프론티어를 보였던 낮은 NFE 에서 이를 능가합니다.
훈련 효율성: S-FLM 은 원-핫 벡터를 사용하는 FLM 들보다 빠르게 훈련하며, 이산 확산 모델과 비교 가능한 속도를 보입니다.

중요성 및 주장

이 논문은 S-FLM 이 이전 접근법의 확장성 및 의미론적 해석 문제를 해결함으로써 연속 흐름 언어 모델의 중요한 발전 단계라고 주장합니다. 초구에서 작동함으로써 모델은 고차원 원-핫 벡터의 계산 병목 현상을 피하고 기하학적으로 일관된 노이즈 주입 메커니즘을 제공합니다.

저자들은 S-FLM 이 표준 온도에서 생성적 퍼플렉시티와 추론 정확도 측면에서 이산 확산 및 AR 모델과의 격차를 해소했지만, 낮은 온도 디코딩에서는 여전히 상당한 격차가 존재한다고 지적합니다. 이 작업은 대규모 어휘 언어 모델링을 위해 연속 흐름 모델을 더 실행 가능하게 만드는 방법론적 진보로 제시되지만, 검증 가능한 도메인에서 최첨단 자기회귀 모델과 비교하여 남아있는 성능 격차에 대해서는 저자들이 겸손하게 접근하고 있습니다.