💬 NLP

Improving Few-Step Language Flows with Untied Self-Conditioning

이 논문은 플로우 매칭(flow-matching) 언어 모델에서 발생하는 훈련-추론 불일치 문제를 해결하기 위해, 중복된 셀프 컨디셔닝 입력을 분리하고 단계 평균 예측을 근사함으로써 적은 수의 샘플링 단계부터 많은 단계에 이르기까지 생성 품질을 극적으로 향형시키고 퍼플렉시티를 낮추는 훈련 불필요 샘플러인 "Untied Self-Conditioning"을 소개한다.

원저자: Bocheng Li, Linli Xu

게시일 2026-08-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bocheng Li, Linli Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에는 속도와 품질 사이의 끊임없는 줄다리기가 존재합니다. 수년 동안 인간과 유사한 텍스트를 생성하는 시스템들은 한 번에 한 단어씩 쓰고, 자신의 작업을 검토한 뒤 다음 단계로 넘어가는 느린 단계별 방식에 의존해 왔습니다. 이 방법은 고품질의 결과를 만들어내지만 매우 느릴 수 있습니다. 최근에는 문장 전체를 한꺼번에 작성하고 전체를 병렬로 정교하게 다듬으려는 새로운 세대의 모델들이 등장했습니다. 이 시스템들은 믿기지 않을 정도로 빠르며, 아주 짧은 시간 안에 텍스트를 생성할 수 있지만, 특정한 결함으로 인해 어려움을 겪어 왔습니다. 즉, 빠르게 작업을 끝내도록 몇 단계만 거치도록 요청받았을 때, 생성된 텍스트의 품질이 종종 엉망이 된다는 점입니다. 연구자들의 과제는 이 빠른 병렬 시스템들이 속도를 늦추지 않으면서도 고품질의 텍스트를 생성할 수 있는 방법을 찾는 것이었습니다.

한 연구팀은 이러한 빠른 시스템들이 한계에 몰렸을 때 실패하는 미묘하지만 결정적인 이유를 식별해 냈습니다. 그들은 모델 스스로를 개선하도록 설계된 바로 그 메커니즘이, 과정이 서둘러 진행될 때 오히려 모델에게 역효과를 내고 있다는 사실을 발견했습니다. 이러한 빠른 모델들에서 시스템은 추측을 하고, 그 추측을 사용하여 다음 단계에서 더 나은 추측을 합니다. 이것은 '자기 조건화(self-conditioning)'라고 불리는 기술로, 모델이 자신의 이전 작업물을 보고 다음 움직임을 안내하는 기법입니다. 그러나 연구자들은 모델이 이를 학습하는 방식이 실제로 텍스트를 생성할 때 수행하는 방식과 근본적으로 다르다는 것을 발견했습니다. 학습 과정에서 모델은 자신의 이전 추측을 독립적으로 사용하는 법을 배웁니다. 하지만 빠른 생성 과정 중에 시스템의 내부 수학적 연산은 모델이 해당 추측을 별도의 입력값으로 다시 보기 전부터, 그 이전의 추측을 현재 상태에 통합해 버립니다. 이는 모델이 이미 알고 있는 정보를 약간 다른 형태로 두 번 듣게 되는 숨겨진 중복성을 만들어냅니다. 단계가 적고 시간이 짧을 때, 이 '이중 청취' 현상은 모델을 혼란스럽게 하여 과도하게 수정하게 만들거나 루프에 갇히게 만들어, 결과적으로 품질의 급격한 저하를 초래합니다.

이를 해결하기 위해 연구자들은 '언타이드 셀프 컨디셔닝(Untied Self-Conditioning, 결합되지 않은 자기 조건화)'이라 부르는 방법을 개발했습니다. 거대한 모델을 다시 학습시키는 것은 비용과 시간이 많이 들기 때문에, 대신 그들은 모델의 단계 사이에 위치하는 영리한 필터를 구축했습니다. 이 필터는 모델의 생각에 대한 '노이즈 캔슬링 헤드폰'처럼 작동합니다. 이 필터는 모델이 이전 단계로부터 사용하려는 정보를 분석하여, 현재 상태에 이미 존재하는 부분을 식별합니다. 그런 다음 그 중복된 부분들을 억제하거나 볼륨을 낮춤으로써, 모델이 오직 새롭고 보완적인 정보만을 받을 수 있도록 보장합니다. 동시에 연구자들은 모델이 다음 움직임을 계산하는 방식도 조정했습니다. 그들은 단계 시작 시점의 예측 스냅샷 하나만으로는 매끄러운 전환을 유도하기에 충분하지 않다는 것을 깨달았습니다. 즉, 시스템은 전체 단계에 걸친 예측의 평균치를 필요로 합니다. 최근의 예측 기록을 사용하여 이 평균치를 추정함으로써, 추가적인 컴퓨팅 파워를 요구하지 않고도 모델의 계산을 더 정확한 경로로 유도할 수 있었습니다.

이 방법을 적용한 결과는 놀랍습니다. 표준 텍스트 생성 작업에 테스트했을 때, 개선 효과는 즉각적이고 극적이었습니다. OpenWebText라는 데이터셋에서 단 8단계만 사용하여 텍스트를 생성했을 때, 새로운 방법은 생성된 문장의 혼란도를 531점에서 62점으로 줄였습니다. 이는 명확성과 일관성 측면에서 8배의 개선을 의미합니다. 고급 AI 심사위원이 기존 방식과 새로운 방식 중 생성된 텍스트를 선택해야 하는 일대일 비교에서, 새로운 방식이 96%의 사례에서 선호되었습니다. 연구자들은 다양한 모델 크기와 데이터셋에 걸쳐 테스트를 진행했으며, 단계 수가 수백 단계로 늘어나더라도 이 이득은 일정하게 유지되었습니다. 이 방법은 기본 모델의 가중치를 변경하지 않고도 적용 가능하므로, 기존 시스템에 즉시 적용할 수 있습니다.

이 발견의 핵심은 학습과 실행 사이의 불일치를 이해하는 데 있습니다. 연구자들은 문제가 데이터의 부족이나 약한 모델 때문이 아니라, 정보가 시스템으로 다시 피드백되는 방식의 구조적 결함 때문임을 증명했습니다. 중복성이 발생하는 특정 지점을 격리함으로써, 그들은 정밀하면서도 가벼운 교정책을 설계할 수 있었습니다. 그들은 단계 간의 연결이 강할 때, 정보를 되먹이는 기존 방식이 도움이 되는 힌트가 아닌 혼란스러운 메아리로 변하여 오히려 해가 된다는 것을 보여주었습니다. 그들의 솔루션은 이 두 경로를 분리하여, 모델이 중복이라는 짐 없이도 과거의 예측을 효과적으로 사용할 수 있게 합니다. 이 연구는 더 빠른 AI를 향한 경쟁에서 답이 항상 더 큰 모델을 만들거나 더 오래 학습시키는 것이 아니라, 모델이 생각하는 메커니즘을 단순히 이해하고 그 과정을 방해하는 마찰을 제거하는 것일 수 있음을 시사합니다.

기술 요약: Untied Self-Conditioning을 통한 적은 단계의 언어 흐름(Language Flows) 개선

문제 정의

플로우 매칭(flow-matching) 언어 모델(예: ELF, LangFlow)은 연속적인 잠재 공간(continuous latent space)에서 모든 토큰 위치를 동시에 정제함으로써 고품질의 병렬 텍스트 생성을 가능하게 합니다. 이 모델들의 핵심 장점은 샘플링 단계(NFE)를 조절하여 레이턴시(latency)를 최적화할 수 있다는 것이지만, 샘플링 단계(NPI)가 줄어들면 생성 품질이 급격히 저하됩니다.

저자들은 **이전 예측 self-conditioning(previous-prediction self-conditioning)**에서의 특정 **훈련-추론 불일치(train–inference mismatch)**가 이러한 품질 저하의 주요 원인임을 식별했습니다. 표준적인 self-conditioning에서 모델은 현재의 노이즈 상태( $z_k$ )와 함께 이전 단계의 깨끗한 예측값( $p_{k-1}$ )을 명시적 입력( $m_k$ )으로 전달받습니다.

훈련 시: self-conditioning 입력은 중간의 솔버(solver) 단계 없이 현재의 노이즈 상태로부터 직접 계산됩니다.
추론 시: 수치적 솔버는 이전 예측 $p_{k-1}$ 을 $z_k$ 에 포함(folding)시켜 잠재 상태 $z_k$ 를 업데이트합니다. 결과적으로, 모델이 $z_k$ 를 평가할 때 $p_{k-1}$ 로부터 온 정보는 이미 잠재 상태 안에 인코딩되어 있습니다. 이때 명시적 입력인 $m_k = p_{k-1}$ 은 동일한 정보를 다시 한 번 도입하게 됩니다.

이는 훈련 중에는 존재하지 않았던, 잠재 경로(latent pathway)와 self-conditioning 경로 사이의 **결합(coupling)**을 생성합니다. 단계 폭(step width)이 넓어질수록(즉, 단계 수가 적을수록) 이러한 중복성이 커지며, 이는 self-conditioning 입력의 품질과 솔버 업데이트의 정확도를 모두 저하시킵니다.

방법론: Untied Self-Conditioning

본 논문은 한 단계당 한 번의 모델 평가를 사용하여 이 불일치를 교정하는 훈련 불필요(training-free) 샘플러인 Untied Self-Conditioning을 제안합니다. 이 방법은 결합으로 인해 발생하는 두 가지 구체적인 결과에 대응합니다.

1. Self-Conditioning 입력의 중복성 감소

저자들은 잠재 상태와 self-conditioning 입력 사이의 중복성이 모델의 고정된 투영 가중치(projection weights)에 의해 정의되는 특정 방향에 집중된다는 것을 도출했습니다.

기하학적 분석: 잠재 상태( $P_z$ )와 self-conditioning( $P_m$ ) 입력에 대한 투영 행렬의 행 공간(row spaces)을 분석함으로써, 두 경로가 겹치는 주요 방향을 식별했습니다. 이는 행렬 $K = P_m P_z P_m$ 를 통해 정량화됩니다.
교정: 저자들은 self-conditioning 입력 $m_k$ 에 대해, 높은 중복을 보이는 방향의 성분을 감쇄시키는 변환 $F_k$ 를 적용합니다. 이 변환은 $K$ 의 고유값 분해(eigendecomposition)를 사용하여 구성되며, 잠재 상태가 이미 인코딩하고 있지 않은 보완적인 정보만을 유지합니다. 이 감쇄 강도는 솔버의 업데이트 가중치와 예측 스트림 간의 일치도에 따라 적응적으로 조절됩니다.

2. 솔버 업데이트 교정 (Step-Average 근사)

표준 솔버는 단계 시작 시점에 모델을 한 번 평가하지만, 정확한 적분(integration)을 위해서는 단계 구간 전체의 평균 예측값이 필요합니다. 단일 지점 예측과 단계 평균 사이의 격차는 단계 폭에 대해 1차(first-order) 수준이며, 이는 단계 수가 적은 환경에서 상당한 오류를 유발합니다.

근사화: 이 방법은 여러 번의 평가 대신, 이력 기반의 교정(history-based correction)을 사용하여 단계 평균 예측을 근사합니다.
메커니즘: 모델은 두 가지 실행 평균을 추적합니다:
- $E_k$ : 원시 예측(raw predictions)의 지수 이동 평균(EMA) (self-conditioning용으로 사용).
- $O_k$ : 교정된 예측의 솔버 가중 평균(solver-weighted average) (솔버 상태용으로 사용).
교정 방향: 현재의 예측과 이러한 이력 추정치 사이의 잔차(residual)로부터 교정 벡터 $A_k$ 를 도출합니다. 이 벡터는 적절한 스케일링을 보장하기 위해 고정된 참조 재귀(reference recurrence)로부터 계산된 오프라인 궤적 통계(평균 및 RMS)를 사용하여 정규화됩니다. 교정된 예측( $p_k + A_k$ )은 솔버를 업데이트하고, 원시 예측( $p_k$ )은 self-conditioning 입력을 업데이트함으로써 "untied" 분리를 유지합니다.

주요 기여

불일치의 인과적 진단: 본 논문은 솔버에 의해 도입된 잠재 경로와 self-conditioning 경로 사이의 결합이 적은 단계의 생성에서 품질 저하를 일으키는 인과적 요인임을 입증했습니다. 통제된 실험을 통해, (주변부 예측 품질이 고정되어 있더라도) 이러한 결합을 증가시키면 self-conditioning이 오히려 해로워진다는 것을 보여주었습니다.
모델 구조로부터의 교정 도출:
- 중복성이 기하학적으로 구조화되어 있음을 보여줌으로써, 고정된 가중치로부터 도출된 감쇄 변환을 제시했습니다.
- 솔버의 근사 격차가 1차(first-order)임을 보여줌으로써, 적분 구조와 예측 이력을 이용한 교정을 도출했습니다.
Untied Self-Conditioning 샘플러: 두 가지 교정을 모두 구현하는 실용적이고 훈련이 필요 없는 알고리즘입니다. 이 방법은 재학습을 요구하지 않으며, 단계당 단 한 번의 모델 평가를 사용하고, 새로운 불일치를 방지하기 위해 원시 예측과 교정된 예측의 라우팅을 분리합니다.

실험 결과

이 방법은 OpenWebText 및 LM1B 데이터셋에 대해 ELF(B, M, L 변형) 및 LangFlow 모델을 대상으로 평가되었습니다.

성능 향상:
- LangFlow (OpenWebText): 8 NFE에서 생성 퍼플렉시티(GenPPL)가 531에서 62로 감소했습니다 (8.6배 개선).
- ELF-B (OpenWebText): 8 NFE에서 GenPPL이 71에서 43으로 개선되었습니다. 32 NFE에서는 데이터 참조값에 근접한 21에 도달했습니다.
- LangFlow (LM1B): 8 NFE에서 GenPPL이 264에서 73으로 개선되었습니다.
일관성: 모든 테스트된 NFE(8~256)에서 성능 향상이 관찰되었습니다.
인간/LLM 선호도: 적응된 Arena-Hard-Auto v2 프로토콜 하에서, 8 NFE 기준 공식 샘플러와의 비대칭 비교(non-tie pairwise comparison) 시 Untied Self-Conditioning의 출력이 **96.3%**의 확률로 선호되었습니다.
효율성: 이 방법은 단계당 단 한 번의 평가만을 요구하므로, 베이스라인의 기하 평균 처리량(geometric-mean throughput)의 **95.5%**를 유지합니다.

의의 및 주장

본 논문은 Untied Self-Conditioning이 플로우 매칭 언어 모델의 이전 예측 self-conditioning에 내재된 근본적인 훈련-추론 불일치를 해결한다고 주장합니다. self-conditioning 입력을 솔버의 내부 상태 업데이트로부터 분리함으로써, 이 방법은 모델이 훨씬 적은 샘플링 단계로도 고품질 생성을 달erm할 수 있게 합니다.

저자들은 자신들의 접근 방식이 훈련이 필요 없으며(training-free), 기존 모델의 아키텍처(고정된 가중치)와 오프라인 통계라는 기하학적 특성에 의존한다는 점을 강조합니다. 또한, 훈련 절차를 수정하거나 self-conditioning과 솔버 업데이트를 별개로 취급하는 기존 연구들과는 차별화된다고 주장합니다. 결과적으로, 적은 단계의 생성에서 나타나는 급격한 품질 저하는 플로우 매칭 자체의 내재적 한계가 아니라, 샘플링 재귀(sampling recurrence)에서 발생하는 교정 가능한 인공물(artifact)임을 시사합니다.