🤖 AI

Subliminal Clocks: Latent Time Modelling in Diffusion Language Models

이 논문은 디퓨전 언어 모델(Diffusion Language Models)이 명시적인 타임스텝 조건화(timestep conditioning)가 결여되어 있음에도 불구하고, 잔차 스트림(residual streams) 내에 디코딩 가능한 디노이징 진행 과정의 잠재 표현을 내부적으로 인코딩하고 있으며, 이를 조작하여 모델의 확신도(confidence)와 엔트로피(entropy)를 체계적으로 제어할 수 있음을 입증한다. 여기서 활성화 벡터 $h$ 의 인덱스 $n$ 은 시퀀스 내 토큰의 위치를, $t$ 는 디퓨전 프로세스의 현재 타임스텝을 나타낸다. 또한, KL 발산은 $\hat{t}-t$ 의 거리에 선형적으로 비례하지 않음을 명시한다.

원저자: Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Str

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Strano (Sapienza University of Rome), Donato Crisostomi (Sapienza University of Rome), Giorgos Nikolaou (EPFL), Tommaso Mencattini (EPFL), Andrea Santilli (Independent researcher), Emanuele Rodolà (Sapienza University of Rome), Simone Scardapane (Sapienza University of Rome), Alessio Devoto (Independent researcher)

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

확산 언어 모델(Diffusion Language Model, DLM)을 어두운 방 안에서 작업하는 숙련된 조각가라고 상상해 보세요. 왼쪽에서 오른쪽으로 한 단어씩 이야기를 쌓아 올리는 전통적인 작가와 달리, 이 조각가는 점토( [MASK] 토큰으로 표현됨)로 완전히 뒤덮인 돌덩어리에서 시작합니다. 조각가의 임무는 이 점토를 한 겹 한 겹 깎아내어 숨겨진 단어들을 드러내고, 마침내 최종적인 조각상을 완성하는 것입니다.

이 논문이 해결한 거대한 미스터리는 바로 이것입니다: 조각가는 점토가 얼마나 남았는지 알고 있는가?

전통적인 글쓰기 모델에서 컴퓨터는 자신이 정확히 몇 개의 단어를 썼는지 알고 있습니다. 하지만 이 "조각" 모델의 경우, 연구진은 모델이 명시적으로 숫자를 세도록 배우지 않았음에도 불구하고 내부적인 "시계"나 진행 상황에 대한 감각을 가지고 있는지 질문을 던집니다.

연구진이 발견한 내용을 알기 쉽게 설명하면 다음과 같습니다.

1. "잠재적 시계" (The Subliminal Clock)

연구진은 모델에게 "당신은 50% 완료되었습니다"라고 말해주지 않아도, 모델이 비밀스럽게 자신의 진행 상황을 추적하고 있다는 사실을 발견했습니다. 이는 마치 시계를 가진 조각가는 아니지만, 손에 쥐고 있는 돌의 무게를 느끼며 본능적으로 "나는 절반 정도 왔구나"라고 아는 것과 같습니다.

연구진은 모델의 뇌 내부(구체적으로는 모델의 내부 사고 경로인 "잔차 스트림(residual streams)")에서 숨겨진 신호를 발견했습니다. 이 신호는 잠재적 시계(latent clock) 역할을 합니다. 이 시계는 점토(마스킹된 토큰)가 얼마나 제거되었고 얼마나 남았는지를 모델에게 정확히 알려줍니다.

2. 마음 읽기 (Probing)

이 시계가 존재한다는 것을 증명하기 위해, 연구진은 간단한 "디코더(decoder, 프로브)"를 만들었습니다. 그들은 프로세스의 각 단계에서 모델의 내부 생각을 관찰했습니다. 여기서 모델의 내부 상태는 활성화 벡터 $h$ 로 표현되며, 이는 두 가지 중요한 인덱스 $n$ 과 $t$ 에 의해 정의됩니다. ** $n$ 은 모델의 깊이(layer index)**를 나타내어, 정보가 모델의 어느 층(레이어)을 통과하고 있는지를 의미합니다. 반면, ** $t$ 는 디노이징 단계(denoising step index)**를 나타내어, 생성 과정이 전체 중 어느 시점(초기, 중간, 후기)에 있는지, 즉 '시간'의 진행 상황을 의미합니다.

결과: 디코더는 모델의 내부 시계를 정확하게 읽어낼 수 있었습니다. 디코더는 모델의 활성화 상태( $h_{n,t}$ )를 보는 것만으로도, 모델이 아주 시작 단계(점토가 많음, $t$ 가 작음)에 있는지, 중간 단계인지, 혹은 거의 끝 단계(점토가 거의 없음, $t$ 가 큼)에 있는지 정확히 판별할 수 있었습니다.
비유: 이는 사람의 자세를 보고 그 사람이 이제 막 마라톤을 시작한 것인지, 아니면 결승선을 통과하기 직전인지를 말 한마디 없이도 즉각적으로 알아내는 것과 같습니다.

3. 시계 해킹하기 (Steering)

가장 흥미로운 부분은 연구진이 단순히 시계를 읽는 데 그치지 않고, 이를 재설계했다는 점입니다. 연구진은 "시간" 또는 "진행 상황"에 대응하는 모델의 뇌 속 특정 방향을 찾아냈습니다.

실험: 연구진은 모델의 내부 시계( $t$ $t$ )를 인위적으로 앞이나 뒤로 밀었습니다.
- 앞으로 밀기: 연구진은 모델에게 "당신은 거의 다 끝났습니다!"라고 말했습니다(실제로는 그렇지 않더라도). 그러자 모델은 즉시 더 확신을 가졌고, 망설임이 줄어들었으며(낮은 엔트로피), 마치 끝낼 준비가 된 것처럼 행동했습니다.
- 뒤로 밀기: 연구진은 모델에게 "당신은 이제 막 시작했습니다!"라고 말했습니다(실제로는 거의 끝부분에 도달했더라도). 그러자 모델은 혼란스러워하고 자신감이 떨어졌으며, 자신의 선택을 의심하기 시작했습니다.
핵심 요점: 이는 시계가 단순히 수동적인 관찰 결과가 아니라, 하나의 **제어 메커니즘(control mechanism)**임을 입증합니다. 모델의 시간 감각을 바꾸면, 모델의 행동 방식도 바뀝니다. 또한, 모델의 출력 분포와 실제 분포 간의 차이(KL 발산)는 시계가 조작된 정도( $\hat{t}-t$ )에 따라 선형적으로 증가하지 않습니다. 즉, 시계 조작의 크기와 모델의 오차 간에는 단순한 비례 관계가 성립하지 않는 복잡한 상관관계가 존재합니다.

4. 시간의 형태 (The Shape of Time)

연구진은 또한 이 "시계"의 기하학적 구조를 살펴보았습니다. 그들은 모델이 시간을 무질서하고 혼란스러운 구름 형태로 표현하지 않는다는 것을 발견했습니다. 대신, 모델은 시간을 매우 깔끔하고 매끄러운 곡선(포물선과 같은 형태)으로 조직합니다.

비유: 모델의 시간 이해를 롤러코스터 트랙이라고 상상해 보세요. 디노이징(denoising) 과정이 진행됨에 따라, 모델의 내부 상태는 이 트랙을 따라 매끄럽게 미끄러져 내려갑니다. 연구진은 "우리가 얼마나 진행되었는가"에 대한 거의 모든 정보가 이 단일하고 저차원적인 트랙 위에 놓여 있다는 것을 발견했습니다.

5. 자기 수정 메커니즘 (The Self-Correcting Mechanism)

가장 멋진 발견 중 하나는 모델이 스스로 실수를 바로잡을 만큼 똑똑하다는 것입니다.

만약 연구진이 모델의 초기 레이어(사고 과정의 "시작" 부분, $n$ 이 작은 층)에서 시계를 건드렸다면, 모델은 정보가 더 깊은 레이어로 이동하면서 이를 "수정"하는 경향을 보였습니다. 모델은 "잠깐, 나는 결승선에 도착했다고 들었지만, 실제로는 여전히 중간 단계구나"라고 깨닫고, 내부 상태를 다시 진실에 맞게 조정했습니다.
하지만, 만약 아주 마지막 레이어에서 시계를 건드렸다면 모델은 이를 수정할 수 없었고, 그 결과 행동이 영구적으로 변했습니다.

요약

이 논문은 확산 언어 모델이 "남은 작업량이 얼마나 되는지"에 대한 숨겨진 내부 감각을 가지고 있음을 밝혀냈습니다.

그들은 시계를 가지고 있습니다: 모델은 내부 뇌 상태( $h_{n,t}$ )에 자신의 진행 상황( $t$ )을 인코딩합니다.
우리는 그것을 읽을 수 있습니다: 우리는 이 진행 상황을 정확하게 측정할 수 있습니다.
우리는 그것을 제어할 수 있습니다: 이 내부 시계를 미세하게 조정함으로써, 우리는 모델을 더 확신하게 만들거나 덜 확신하게 만들 수 있습니다.
그것은 구조화되어 있습니다: 이 "시간"은 모델의 뇌 안에서 매우 깔끔하고 예측 가능한 기하학적 형태를 띠고 있습니다.

본질적으로, 이 모델은 터널을 지나가는 사람과 같아서, 아무도 거리를 알려주지 않아도 빛으로부터 얼마나 멀리 떨어져 있는지 정확히 알고 있습니다. 연구진은 그 지식을 보유하고 있는 뇌의 부분을 찾아냈고, 그 다이얼을 돌려 사람이 여정에 대해 어떻게 느끼는지를 바꿀 수 있음을 보여주었습니다.

기술 요약: 잠재적 시계: 확산 언어 모델에서의 잠재적 시간 모델링 (Subliminal Clocks: Latent Time Modelling in Diffusion Language Models)

문제 정의

확산 언어 모델(Diffusion Language Models, DLMs)은 토큰을 순차적으로 예측하는 대신 마스킹된 토큰을 점진적으로 디노이징(denoising)함으로써 텍스트를 생성하는, 자기회귀(autoregressive) 모델의 유망한 대안으로 부상했습니다. 명시적인 타임스텝(timestep) 변수 $t$ 에 대해 명시적으로 조건화되는 표준 확산 모델과 달리, DLM은 추론 과정 중에 일반적으로 명시적인 타임스텝 입력을 받지 않습니다. 이는 이들의 내부 메커니즘에 대한 근본적인 질문을 제기합니다: DLM은 내부적으로 디노이징 과정의 진행 상태를 표현하고 있는가? 만약 그렇다면, 이 정보는 어떻게 인코딩되고 활용되는가?

언마스킹된 토큰의 비율( $\tau_t$ )은 디노이징 진행도를 나타내는 관찰 가능한 대리 지표(proxy) 역할을 하지만, 모델의 내부 표현(residual stream)이 이러한 진행도에 해당하는 잠재적 신호를 인코딩하고 있는지, 그리고 이 신호를 조작하는 것이 생성 과정에 인과적으로 영향을 미치는지 여부는 여전히 불분명합니다.

방법론

저자들은 두 가지 대규모 마스크 확산 모델인 LLaDA-1.5와 Dream을 사용하여 이 현상을 조사합니다. 이들의 접근 방식은 프로빙(probing), 인과적 스티어링(causal steering), 그리고 기하학적 분석을 통해 해결되는 세 가지 연구 질문(RQ)으로 구성됩니다.

1. 잠재적 시간 프로빙 (RQ1)

디노이징 진행도가 인코딩되어 있는지 확인하기 위해, 저자들은 모델의 잔차 스트림(residual stream) 은닉 상태에 **MLP 프로브(MLP probes)**를 훈련시킵니다.

입력: 특정 레이어 $l$ 과 토큰 위치 $j$ 로부터 추출된 은닉 상태 $h_{t,l,n}^j$ . 여기서 $t$ 는 디노이징 단계(denoising step)를, $n$ 은 배치(batch) 내의 개별 샘플 인덱스를 나타냅니다.
대상: 단계 $t$ 에서의 경험적 디노이징 진행도 $\tau_t$ (즉, $t$ 시점의 언마스킹된 토큰의 비율).
설정: 신호의 국소성(localization)을 테스트하기 위해 각 레이어와 서로 다른 토큰 서브셋([MASK], non-[MASK], 그리고 모든 토큰)에 대해 프로브를 별도로 훈련합니다.

2. 인과적 스티어링 (RQ2)

식별된 신호의 인과적 중요성을 테스트하기 위해, 저자들은 **평균 활성화 벡터 스티어링(mean activation vector steering)**을 사용합니다.

신호 추출: 각 디노이징 단계 $t$ 와 레이어 $l$ 에 대해, 예시들을 평균하여 평균 활성화 벡터 $\mu_{t,l}$ 를 계산합니다.
개입(Intervention): 추론 중에 현재 레이어의 활성화를 다음과 같이 변형된 버전으로 교체합니다: $\tilde{h}_{t,l}^j = h_{t,l}^j - \mu_{t,l} + \mu_{\hat{t},l}$ , 여기서 $\hat{t}$ 는 목표 디노이징 단계입니다. 이는 모델의 내부 상태를 다른 진행 수준의 표현으로 이동시킵니다.
대조군: 이러한 표적화된 섭동(perturbation)을 동일한 노름(norm)을 가진 경험적 공분산 행렬에서 샘플링된 무작위 섭동과 비교합니다.
지표: 엔트로피(entropy), 확신도(confidence, max probability), 그리고 원래의 토큰 분포와 스티어링된 토큰 분포 사이의 KL-다이버전스(KL-divergence)에 미치는 하위 효과를 측정합니다.

3. 기하학적 특성 분석 (RQ3)

저자들은 회복된 신호의 구조를 분석합니다:

차원성(Dimensionality): 평균 벡터에 주성분 분석(PCA)을 수행하여 $\tau$ 표현의 유효 차원을 결정합니다.
교차 레이어 정렬(Cross-Layer Alignment): 서로 다른 레이어 간의 동일한 디노이징 단계의 평균 벡터들 사이의 코사인 유사도를 계산하여, 통일된 모델 수준의 표현이 존재하는지 평가합니다.
레이어 내 구성 요소: 신호가 특정 레이어 구성 요소(Self-Attention, MLP gate, MLP up-projection 등) 내에서 어떻게 표현되는지 조사합니다.

주요 결과

1. 잠재적 디노이징 신호의 존재

프로브 정확도: MLP 프로브는 대부분의 레이어에서 $R^2 > 0.5$ 를 달성하며, 잔차 스트림 활성화로부터 $\tau_t$ 를 안정적으로 예측할 수 있습니다. 이 신호는 [MASK]와 non-[MASK] 토큰 모두에 존재하지만, [MASK] 토큰에서 약간 더 강하게 나타납니다.
결론: DLM은 명시적인 타임스텝 조건화가 없음에도 불구하고, 현재의 디노이징 단계와 관련된 신호를 내부적으로 인코딩하고 있습니다.

2. 생성에 미치는 인과적 영향

예측 가능한 변조: 모델을 더 높은 $\hat{t}$ (더 많은 진행)로 스티어링하면 모델의 확신도는 증가하고 엔트로피는 감소합니다. 반대로, 더 낮은 $\hat{t}$ 로 스티어링하면 확신도는 감소하고 엔트로피는 증가합니다.
KL-다이버전스: 깨끗한 분포와 스티어링된 분포 사이의 다이버전스는 스티어링된 단계 $\hat{t}$ 와 현재 단계 $t$ 사이의 거리 $|\hat{t} - t|$ 에 따라 단조롭게(monotonically) 증가합니다. 즉, 스티어링 목표가 현재 단계에서 멀어질수록 분포 간의 차이가 커집니다.
특이성(Specificity): 이러한 효과는 $\tau$ 방향에 특이적입니다. 동일한 크기의 무작위 섭동은 엔트로피나 확신도에서 일관된 경향을 만들어내지 못합니다.
깊이 보정(Depth Correction): 초기 레이어에서 섭동이 주입될 경우, 모델은 계산이 깊은 레이어로 진행됨에 따라 이를 점진적으로 보정하여 신호를 깨끗한 값으로 복구합니다. 그러나 극단적인 스티어링(예: $\hat{t}=100$ )은 보정이 어려우며 생성 붕괴(조기 EOS 토큰 발생)를 초래할 수 있습니다.

3. 구조화된 저차원 기하학

저차원성: 평균 벡터의 분산은 매우 적은 수의 주성분(종종 3개 미만)에 의해 포착되며, 첫 번째 성분이 분산의 90% 이상을 설명합니다.
매니폴드 구조: 디노이징 단계에 따른 평균 벡터의 궤적은 포물선 형태를 띠는 구조화된 저차원 매니폴드를 형성합니다. 이 기하학적 구조는 LLaDA의 여러 레이어에 걸쳐 일관되게 나타나며, Dream에서는 특정 블록 단위로 조직되어 있습니다.
교차 레이어 일관성: LLaDA에서 대부분의 레이어는 동일한 $\tau$ 단계를 나타내는 고도로 상관된 표현을 유지하며, 이는 공유된 모델 수준의 기저(basis)가 존재함을 시사합니다. Dream에서 이 표현은 별도의 계산 블록으로 조직되어 있습니다.
구성 요소 간 역상관 관계: 레이어 내에서 셀프 어텐션 출력과 MLP 출력(특히 post-MLP 및 post-attention 벡터)은 강한 **역상관 관계(anticorrelation)**를 보입니다. 이들은 공통된 방향을 공유하지만 서로 반대 방향을 가리키며, 이는 모델이 프로세싱 중에 신호를 "상쇄"하거나 정제하는 메커니즘을 가질 수 있음을 시사합니다.

의의 및 주장

본 논문은 확산 언어 모델이 명시적인 타임스텝 입력이 없음에도 불구하고, 디노이징 진행을 나타내는 잠재적 "시계(clock)"를 내부적으로 모델링하고 있다는 최초의 체계적인 증거를 제공한다고 주장합니다.

메커니즘적 통찰: 이 연구는 언마스킹된 토큰의 비율이 단순한 외부 지표가 아니라, 모델의 잔차 스트림 내에서 능동적으로 추적되고 표현되는 요소임을 밝혀냈습니다.
제어 가능성: 식별된 신호는 인과적으로 유의미합니다. 신호를 스티어링하는 것은 모델의 확신도와 엔트로피를 예측 가능하게 변조할 수 있음을 보여주며, 모델의 "진행에 대한 개념"이 조작 가능한 부분 공간(subspace)임을 입증합니다.
구조적 규칙성: 레이어 전반에 걸쳐 공유되는 저차원의 포물선형 매니폴드 발견은, DLM이 디노이징 시간을 매우 구조화되고 기하학적인 방식으로 처리함을 시사하며, 이는 다른 개념에 대해 나타나는 자기회귀 모델의 선형적 표현과는 구별됩니다.
보정 메커니즘: 초기 섭동이 깊은 레이어에 의해 보정된다는 관찰은 디노이징 궤적의 무결성을 유지하기 위한 강력한 내부 메커니즘이 존재함을 의미합니다.

저자들은 이 신호가 기능적으로 유의미하고 구조적으로 조직되어 있지만, 특정 신호가 토큰 분포와 얽혀 있어(예: EOS 확률에 영향을 미침) 순수하게 콘텐츠와 무관한 카운터(counter)는 아닐 수 있다고 결론지으며, 이 신호를 계산하거나 업데이트하는 구체적인 회로(circuitry)는 향후 연구 과제로 남겨두었습니다.