SONAR-LLM: Autoregressive Transformer that Thinks in Sentence Embeddings and Speaks in Tokens
이 논문은 SONAR 공간 내에서 연속적인 문장 임베딩을 예측하여 텍스트를 생성하고 토큰 수준의 교차 엔트로피 목적 함수로 학습되는 디코더 전용 트랜스포머인 SONAR-LLM 을 소개하며, 이를 통해 대규모 개념 모델의 의미적 추상화와 자동회귀 토큰 예측의 효율성 및 가능도 기반 학습을 결합합니다.
원저자:Nikita Dragunov, Temurbek Rahmatullaev, Elizaveta Goncharova, Nikita Kurdiukov, Aysel Mirzoeva, Anna Borisiuk, Andrey Kuznetsov, Anton Razzhigaev
기존 방식 (표준 LLM): 한 장 한 장 벽돌을 쌓는 건축가 대부분의 현재 AI 모델은 매우 빠르고 꼼꼼한 벽돌공과 같습니다. 벽 (이야기) 을 쌓기 위해 한 장의 벽돌 (단어 또는 '토큰') 을 하나씩 놓습니다. 멈추고 생각한 뒤 벽돌을 놓고, 다시 멈추고 생각한 뒤 다음 벽돌을 놓는 식입니다.
장점: 매우 정밀합니다.
단점: 마천루 (매우 긴 문서) 를 짓고 싶다면 이 과정은 매우 오래 걸립니다. 모든 작은 조각마다 멈추고 생각해야 하므로 속도가 느립니다.
'LCM' 방식 (이전 실험): 꿈꾸는 자 최근 연구자들은 'Large Concept Model'(LCM) 이라는 새로운 접근법을 시도했습니다. 벽돌을 쌓는 대신, 이 모델은 문장 단위로 '꿈'을 꿉니다. 다음 문장의 구체적인 단어 대신, 아이디어의 매끄럽고 연속적인 구름 (임베딩) 으로 다음 문장의 의미를 상상합니다.
장점: 작은 벽돌을 건너뛰고 바로 큰 그림으로 뛰어듭니다. 긴 이야기일수록 더 빠릅니다.
단점: 의미의 구름 속에서 단순히 '꿈'을 꾸기 때문에 실제 단어는 틀릴 때가 있습니다. 일몰이 어떤 느낌인지 정확히 아는 화가가 정확한 주황색과 빨간색의 그라데이션을 섞는 데는 어려움을 겪는 것과 같습니다. 또한 훈련 과정이 불안정하여 흔들리는 사다리 위에서 균형을 잡으려는 것과 같았습니다.
새로운 방식 (SONAR-LLM): 설계도를 가진 건축가 이 논문은 SONAR-LLM을 소개합니다. 이는 두 세계의 장점을 모두 결합한 것입니다.
SONAR-LLM 을 '문장 설계도'로 사고하지만 '벽돌'로 말하는 건축가라고 상상해 보세요.
설계도로 사고하기: 꿈꾸는 자처럼 SONAR-LLM 은 다음 단어가 아니라 다음 아이디어를 전체 단위로 예측하여 이야기를 계획합니다. 다음 단어가 아니라 다음 문장 전체를 고려하므로 백만 단어 소설과 같은 긴 분량에서도 빠르고 효율적입니다.
벽돌로 말하기: 여기서 마법의 트릭이 나옵니다. 건축가가 '설계도'(문장 아이디어) 를 갖게 되면 단순히 단어를 추측하지 않습니다. 그 설계도를 동결된 사전 훈련된 번역기(SONAR 디코더) 를 통과시킵니다. 이 번역기는 추상적인 아이디어를 완벽하고 문법적으로 올바른 문장으로 변환하는 전문가입니다.
피드백 루프: 모델은 생성한 실제 단어가 목표 이야기와 얼마나 잘 일치하는지 평가받습니다. 이는 꿈꾸는 자와 달리 학습할 수 있는 명확하고 안정적인 신호를 제공하여 최종 이야기가 자연스럽고 인간처럼 들리도록 보장합니다.
왜 이것이 중요한가요?
속도 대 품질: 문장 전체를 한 번에 처리하므로 꿈꾸는 자처럼 빠르지만, 실제 단어를 기준으로 평가받기 때문에 벽돌공처럼 정확합니다.
긴 이야기: 이 논문은 매우 긴 텍스트 (최대 100 만 단어) 의 경우 SONAR-LLM 이 표준 모델보다 훨씬 효율적임을 보여줍니다. 한 걸음 한 걸음 걷는 것에서 거대한 보폭으로 걷는 것으로 전환하는 것과 같습니다; 여정이 길어질수록 그 이점이 커집니다.
'동결'의 비밀: 팀은 '번역기'(디코더) 를 동결 상태로 유지했습니다. 즉, 다시 훈련시키지 않았습니다. 이로 인해 막대한 연산 자원을 절약할 수 있었습니다. 다음 문장이 무엇인지 결정하는 '건축가' 부분만 훈련시켰습니다.
무엇을 발견했나요?
더 나은 이야기: AI 심판 (GPT-4o) 에게 이야기를 평가하도록 요청했을 때, SONAR-LLM 은 이전의 '꿈꾸는 자' 모델들보다 더 좋고, 창의적이며, 일관된 이야기를 작성했습니다.
요약: 긴 기사를 짧고 강렬한 문장으로 요약하는 데도 매우 뛰어났습니다.
주의점: 만약 숫자나 기호에 대한 극도의 정밀도가 필요한 작업 (예: 건초더미에서 특정 전화번호 찾기) 이라면, 번역기를 동결 해제하고 구체적인 세부 사항을 학습하게 할 때 모델이 가장 잘 작동합니다. 하지만 일반적인 이야기하기와 요약의 경우에는 동결 상태를 유지하는 것이 완벽합니다.
한 줄 요약: SONAR-LLM 은 빠르기를 유지하기 위해 의미 있는 큰 덩어리 (문장) 로 이야기를 계획하지만, 그 덩어리를 완벽한 단어로 변환하기 위해 신뢰할 수 있는 전문가를 활용하는 새로운 유형의 AI 작가입니다. 이는 글쓰기의 품질을 희생하지 않으면서 긴 문서에 대해 기존 모델보다 더 빠르게 작업할 수 있게 해줍니다.
기술 요약: SONAR-LLM
문제 정의
자기회귀형 대규모 언어 모델 (LLM) 은 일반적으로 토큰 수준에서 작동하며 이산 어휘에 대한 교차 엔트로피를 최소화합니다. 이는 효과적이지만, 이러한 세밀한 디코딩은 긴 시퀀스의 처리량 병목 현상을 초래합니다. 반면, 메타의 대규모 개념 모델 (LCM) 은 확산 (diffusion) 또는 평균 제곱 오차 (MSE) 목적 함수를 사용하여 연속 공간에서 문장 수준의 임베딩을 예측함으로써 지연 시간을 해결합니다. 그러나 LCM 에서 토큰 수준의 가능도 (likelihood) 를 제거하면 최적화가 덜 안정적이 되고 내러티브 구조를 유지하는 데 어려움이 발생합니다. 문장 수준 생성의 의미적 추상화와 효율성을 유지하면서 가능도 기반 학습의 안정성을 복원하는 모델이 필요합니다.
방법론
SONAR-LLM은 연속 SONAR 문장 임베딩 공간에서 작동하지만 토큰 수준의 교차 엔트로피를 통해 지도 학습을 받는 디코더 전용 트랜스포머입니다.
아키텍처: 이 모델은 임베딩의 접두사 (e<t) 가 주어졌을 때 다음 문장 임베딩 (e^t) 을 예측합니다. 회전 위치 인코딩과 RMS-norm 을 갖춘 표준 디코더 전용 트랜스포머 아키텍처 (Llama 3 와 유사) 를 사용하지만, 임베딩 어휘 크기가 하나인 (이산 토큰 대신 연속 벡터를 예측하는) 방식으로 작동합니다.
하이브리드 목적 함수: 확산 또는 MSE 목적 함수를 피하기 위해, 모델은 동결된 SONAR 디코더를 통해 손실을 전파합니다. 예측된 임베딩 e^t는 동결된 디코더 (D) 와 실제 이전 토큰 (st,<i) 을 사용하여 토큰 로짓으로 다시 디코딩됩니다. 모델은 이러한 로짓과 대상 문장의 실제 토큰 시퀀스 간의 표준 교차 엔트로피를 최소화합니다.
학습 과정:
텍스트는 Punkt 토크나이저를 사용하여 문단으로 분할됩니다.
문장은 동결된 다국어 SONAR 인코더를 사용하여 고정 길이 벡터 (d=1024) 로 인코딩됩니다.
모델은 다음 시간 단계에 대한 실제 임베딩을 제공하는 교사 강제 (teacher forcing) 방식으로 학습됩니다.
예측된 임베딩과 특수한 "시퀀스 끝 (End of sequence)" 임베딩 간의 코사인 유사도가 임계값 (τstop=0.98) 을 초과하거나 최대 문장 수에 도달하면 생성이 중단됩니다.
디코더 동결 해제: 주요 실험에서는 효율성을 위해 SONAR 인코더와 디코더를 동결 상태로 유지하지만, 저자들은 디코더의 동결을 해제하는 것을 탐구했습니다. 이는 검증 교차 엔트로피를 크게 감소시켰으나, 표준 자연어 생성보다는 바늘 찾기 (needle-in-a-haystack) 검색과 같은 심볼이 많은 작업에서만 실질적인 하류 성능 향상을 보였습니다.
주요 기여
토큰 인식 임베딩 목적 함수: 동결된 SONAR 디코더를 통해 토큰 수준의 교차 엔트로피를 역전파하여 연속 문장 예측을 이산 토큰 목표와 정렬시키는 학습 방법 도입.
스케일링 법칙 분석: 모델 크기 (39M 에서 13 억 파라미터) 전반에 걸쳐 스케일링 법칙 (L(N)=aN−α+b) 을 상세히 적합시켜 SONAR-LLM, 표준 LLM, LCM 변형에 대한 스케일링 지수를 정량화.
종합 평가: 표준 NLG 지표 (BLEU, ROUGE-L, METEOR) 와 GPT-4o 기반 평가 (문법, 창의성, 일관성, 줄거리) 를 통한 텍스트 품질 평가 및 요약 벤치마크 (XSum, CNN/DM) 수행.
추론 효율성 분석: 문단 단위로 작동하는 것이 토큰 수준 디코딩에 비해 긴 시퀀스에 대해 유리한 스케일링을 보인다는 FLOPs 에 대한 이론적 분석.
오픈 소스 공개: 학습 코드, 평가 스크립트, 사전 학습된 체크포인트의 공개.
결과
스케일링 동작: SONAR-LLM 은 다른 임베딩 기반 모델과 비교 가능한 강력한 스케일링 지수 (α≈0.596) 를 보이며 증가된 모델 용량을 효율적으로 활용함을 입증했습니다.
텍스트 생성 품질: GPT-4o 평가에서 SONAR-LLM 은 문법, 창의성, 일관성, 줄거리 지표 전반에 걸쳐 MSE 기반 및 확산 기반 LCM 변형보다 현저히 우수한 성능을 보였습니다. 표준 토큰 수준 LLM(빔 서치 사용) 이 절대 점수에서는 가장 높았지만, SONAR-LLM 은 최대 규모 (9 억 파라미터) 에서 표준 NLG 지표 (ROUGE-L, METEOR) 에 있어 그 성능과 일치하거나 근접했습니다.
요약: SONAR-LLM 은 XSum 및 CNN/DM 에서 문장 수준 베이스라인 (MSE 및 Diffusion LCM) 을 크게 능가했습니다. 더 추상적인 XSum 데이터셋에서는 토큰 수준 LLM 과 일치했으나, 추출적 접근 방식을 선호하는 CNN/DM 에서는 약간 뒤처졌습니다.
동결 해제 영향: SONAR 디코더의 동결 해제는 RULER (NIAH) 벤치마크의 정확 일치 정확도를 21.6% 에서 41% 로 향상시켜 정밀한 수치 또는 심볼 재현이 필요한 작업에 유익함을 나타냈으나, 표준 요약에는 유의미한 향상을 제공하지는 않았습니다.
추론 효율성: 이론적 분석에 따르면 두 접근 방식 모두 2 차 복잡성을 가지지만, SONAR-LLM 의 실제 비용은 최대 100 만 토큰까지 시퀀스 길이에 따라 거의 선형적으로 증가합니다. 약 4,096 토큰보다 긴 시퀀스에서는 표준 LLM 보다 추론 효율성이 뛰어납니다.
중요성과 주장
이 논문은 SONAR-LLM 이 개념 기반 모델과 전통적인 자기회귀형 LLM 간의 간극을 성공적으로 메웠다고 주장합니다. 문장 수준 처리의 의미적 추상화를 유지하면서 가능도 기반 학습 신호를 복원함으로써, 이 모델은 확산 샘플러 없이도 안정적인 최적화와 경쟁력 있는 생성 품질을 달성합니다.
저자들은 SONAR-LLM 을 긴 컨텍스트 생성을 위한 유망한 대안으로 제시하며, 계산 비용이 토큰 수준 모델보다 더 느리게 증가하는 실용적이고 확장 가능한 옵션을 제공한다고 강조합니다. 이 모델은 문장 임베딩으로 추론하지만 기존 LLM 을 넘어 근본적으로 새로운 생성 능력을 도입하는 것은 아니며, 오히려 긴 시퀀스에서 효율성과 구조적 일관성을 향상시킬 수 있는 다른 추상화 수준을 제공한다고 지적합니다. 이 작업은 효율적이고 확장 가능한 언어 생성 및 표현 학습을 위한 한 걸음으로 제시됩니다.