🤖 machine learning

Dense Supervision Is Not Enough: The Readout Blind Spot in Looped Language Models

이 논문은 루프형 언어 모델에서 밀집된 루프당 교차 엔트로피 감독(dense per-loop cross-entropy supervision)이 은닉 상태의 척도(hidden-state scale)를 제어하는 데 실패한다는 점을 밝히며, 이는 척도 불변적 판독기(scale-invariant readouts)가 손실 함수로부터 이 변수를 숨기기 때문이므로, 무제한적인 노름 성장(unbounded norm growth)을 방지하고 퍼플렉서티(perplexity)를 개선하기 위해서는 척도 가시적 판독기(scale-visible readouts), 명시적인 노름 페널티(explicit norm penalties), 또는 척도를 제거하는 재귀(scale-removing recurrence) 중 하나가 반드시 필요함을 보여준다.

원저자: Rituraj Sharma, Tu Vu

게시일 2026-06-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rituraj Sharma, Tu Vu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 한 번에 한 단어씩 이야기를 들려주는 법을 가르치고 있다고 상상해 보세요. 일반적인 로봇에게는 말을 하기 전에 생각할 수 있는 고정된 단계(step)를 부여합니다. 하지만 **루프형 언어 모델(Looped Language Model)**에서는 로봇에게 특별한 "생각 루프(thinking loop)"를 제공합니다. 로봇은 한 단계를 수행하고, 자신의 작업을 점검한 뒤, 확신이 서지 않으면 같은 단계를 다시 생각하기 위해 루프로 되돌아갈 수 있습니다. 문장이 복로 복잡할수록 더 많은 루프를 실행합니다.

이 논문이 해결하는 문제는 로봇의 시야에 있는 사각지대와 같습니다.

설정: "출력 창(Output Window)" 대 "배낭(Backpack)"

로봇이 루프를 돌 때마다 두 가지 일을 수행합니다:

출력 창: 현재 자신의 생각을 살펴보고 다음 단어를 추측합니다 (이것이 우리가 성적을 매기는 기준입니다).
배낭: 그 생각들을 가져와 배낭에 넣고, 다음 루프의 미래 사고를 돕기 위해 다음 루프로 들고 들어갑니다.

이 논문은 단순한 질문을 던집니다: 우리가 로봇의 "출력 창"을 기준으로 성적을 매길 때, 우리는 실제로 그 "배낭" 안에 무엇이 들어있는지를 제어하고 있는가?

문제: 보이지 않는 배낭

연구자들은 로봇이 부리는 교묘한 속임수를 발견했습니다.

로봇의 생각을 풍선이라고 상상해 보세요. "출력 창"은 특수한 필터(RMSNorm 또는 LayerNorm)를 사용하는데, 이 필터는 풍선의 모양은 보지만 크기는 무시합니다.

만약 풍선이 아주 작다면, 필터는 특정한 모양을 봅니다.
만약 당신이 풍선을 집 크기만큼 크게 불더라도, 필터는 여전히 똑같은 모양만을 봅니다.

필터가 크기를 무시하기 때문에, 선생님(손실 함수, loss function)은 풍선이 거대해지는 것에 신경 쓰지 않습니다. 로봇은 단어를 맞히는 데 있어서 완벽한 점수를 받지만, 그 과정에서 내부의 "배경"은 위험한 크기로 부풀어 오르고 있을 수 있습니다.

사각지대: 선생님은 로봇의 생각의 모양을 보고 채점하지만, 로봇은 몰래 생각의 크기를 폭발적으로 키우고 있습니다. 선생님은 채점 창(grading window)이 그 크기를 걸러내기 때문에 이 폭발을 볼 수 없습니다.

결과: "표류하는" 로봇

선생님이 크기가 커지는 것을 보지 못하기 때문에, 로봇의 내부 상태(배낭)는 표류하기 시작합니다.

결과: 단 몇 번의 루프만 지나도 로봇의 내부 수치는 천문학적인 숫자(수천 또는 수만 단위)로 치솟습니다.
위험성: 로봇이 마지막 단계에서 여전히 단어를 올바르게 맞힐 수는 있지만, 이미 불안정한 상태가 된 것입니다. 만약 시간을 아끼기 위해 (단 한 번의 루프 후에) 중간에 멈추려 한다면, 내부 상태가 너무 혼란스럽고 거대해서 초기 단계의 의미를 전혀 파악하지 못하고 처참하게 실패하게 됩니다.

이는 시속 100마일로 잘 달리고 있는 자동차와 같지만, 연료 탱크에는 서서히 물이 차오르고 있는 것과 같습니다. 계기판(출력)은 정상으로 보이지만, 엔진(내부 상태)은 물에 잠겨 죽어가고 있습니다.

해결책: 사각지대를 고치는 두 가지 방법

논문은 단순히 로봇에게 "더 열심히 하라"고 채점하는 것만으로는 부족하며, 로봇을 보는 방식을 바꿔야 한다고 제안합니다. 사각지대를 고치는 방법은 두 가지가 있습니다.

옵션 1: 필터 제거 ( "날것의" 관점)
크기를 무시하는 필터를 사용하는 대신, 그냥 날것의 풍선을 그대로 보세요.

작동 원리: 당신은 로봇의 생각의 실제 크기에 대해 성적을 매깁니다. 이제 풍선이 너무 커지면, 선생님이 즉시 이를 발견하고 로봇에게 크기를 줄이라고 명령합니다.
비유: "모양만 보이는" 거울을 버리고 "전체 크기가 보이는" 거울을 사용하는 것입니다. 그러면 로봇은 자신의 생각을 관리 가능한 크기로 유지하는 법을 배웁니다.

옵션 2: 루프 사이에 배낭 비우기 ( "리셋")
만약 필터를 반드시 유지해야 한다면, 크기가 전달되지 않도록 해야 합니다.

작동 원리: 매 루프가 끝날 때마다 배낭을 가져와서 비우고, 다음 루프를 위해 정상적인 크기의 새 가방으로 시작합니다.
비유: 로봇에게 "다시 생각하기 전에, 깊게 숨을 들이마시고 내부의 부피를 초기화하라"고 말하는 것입니다. 이는 크기가 누적되는 것을 방지합니다.

핵심 요약

이 논문은 단순히 매 단계마다 로봇을 채점하는 것만으로는 충분하지 않다는 것을 증명합니다. 만약 채점 방식(readout)이 생각의 크기를 숨긴다면, 로봇은 자신의 생각을 통제 불능으로 키울 것입니다.

안정적이고 효율적인 루프형 로봇을 만들어 작업이 쉬울 때 일찍 멈출 수 있게 하려면, 다음 중 하나를 반드시 수행해야 합니다:

크기를 가시화하여 선생님이 큰 풍선을 벌할 수 있게 하거나 (Make the size visible),
루프에서 크기를 완전히 제거해야 합니다 (Remove the size).

이러한 해결책 없이는, 로봇이 마지막에는 제대로 작동하는 것처럼 보일지라도, 내부적으로는 망가져 있고 불안정하며, "조기 종료(early exit)"라는 초능력을 사용할 수 없는 상태가 될 것입니다.

기술 요약: 밀집된 감독만으로는 충분하지 않다: 루프형 언어 모델의 리드아웃 블라인드 스팟 (The Readout Blind Spot)

1. 문제 정의

루프형 언어 모델(Looped Language Models, LLMs)은 동일한 트랜스포머 블록을 재귀적 깊이(recurrent depth)에 걸쳐 재사용하며, 이를 통해 테스트 시점의 깊이를 동적 연산 조절 노브(예: 쉬운 예측을 위해 조기 종료)로 활용할 수 있게 합니다. 이 아키텍처에서 은닉 상태 $H_k$ 는 두 가지 역할을 수행합니다: 예측을 위한 디코딩(리드아웃 인터페이스)과 미래의 연산을 위한 입력(재귀적 상태)으로 피드백되는 역할입니다.

식별된 핵심 문제는 **가시성-활성 불일치(visibility–activity mismatch)**입니다. 밀집된 감독(모든 루프에 크로스 엔트로피 손실을 적용하는 것)이 중간 상태를 예측에 사용 가능하도록 보장하더라도, 재귀적 전이 내에서 활성화되는 모든 변수를 반드시 제어하는 것은 아닙니다. 구체적으로 본 논문은 은닉 상태의 스케일(hidden-state scale)(은닉 벡터의 반경 방향 크기)을 조사합니다.

스케일 불변 리드아웃(scale-invariant readouts, 예: RMSNorm 또는 LayerNorm)을 사용하는 표준 프리-노름 잔차 루프(pre-norm residual loops)에서, 리드아웃은 은닉 상태를 정규화하여 즉각적인 크로스 엔트로피 손실이 입력의 반경 방향 스케일에 민감하게 반응하지 않도록 만듭니다. 그러나 재귀 경로(스킵 연결 및 잔차 업데이트)는 이 스케일을 계속해서 운반하고 업데이트합니다. 결과적으로, 모델은 매 루프마다 학습될 수 있음에도 불구하고 은닉 상태의 노름(norm)이 통제 불능 상태로 수천 또는 수만까지 표류(drift)할 수 있으며, 이는 밀집된 감독이 활성 재귀 변수를 제어하는 데 실패하는 '리드아웃 블라인드 스팟' 현상을 초래합니다.

2. 방법론 및 메커니즘

이론적 메커니즘

저자들은 다음 두 가지 보조정리를 통해 이 실패 모드를 공식화합니다:

가시성 보조정리 (Visibility Lemma): 리드아웃 $r$ 이 스케일 불변(즉, $\alpha > 0$ 에 대해 $r(\alpha H) = r(H)$ )이라면, 즉각적인 크로스 엔트로피 손실 $L$ 의 반경 방향 미분값은 대략 0입니다 ( $\langle \nabla_H L, H \rangle \approx 0$ ). 즉, 손실 함수는 은닉 상태의 스케일을 '보거나' 수정할 수 없습니다.
활성 보조정리 (Activity Lemma): 프리-노름 잔차 업데이트에서 스케일은 활성 상태입니다. 업데이트 함수 $F(su) = su + b(u) $(여기서$ s $는 스케일,$ u $는 방향)는 잔차 브랜치$ b(u)$가 주된 차수(leading order)에서 스케일을 업데이트할 수 있게 합니다. 리드아웃이 스케일을 숨기더라도, 재귀는 이를 보존하거나 잠재적으로 증폭시킵니다.

이는 국소적 불일치를 생성합니다: 손실 신호가 학습된 재귀 업데이트의 반경 방향 속도(radial velocity)에 대응할 수 없으므로 스케일 표류가 발생합니다.

실험 설정

저자들은 WikiText-103 데이터셋을 사용하여 공유 디코더 스택을 $K=4$ 번 재귀적으로 적용한 자기회귀 루프 트랜스포머를 훈련시켰습니다. 두 가지 모델 크기(44M 및 129M 파라미터)를 활용했습니다.

핵심 절제 실험(Core Ablation): 손실 배치(종단 단독 CE vs. 루프당 CE)와 리드아웃 유형(정규화된 RMSNorm vs. 원시/비정규화된 Raw)을 교차하는 $2 \times 2$ 설계.
대조군:
- 노름 페널티(Norm Penalty): 리드아웃을 변경하지 않고 스케일을 가시화하기 위해 명시적인 보조 손실 항 $\lambda \sum \|H_k\|^2$ 추가.
- 최종 단계 전용 노름(Final-only Norm): 중간 루프에서는 원시 리드아웃을 사용하되 최종 출력에는 정규화된 리드아웃 사용.
- 재귀적 스케일 클램프(Recurrent Scale Clamp): 누적된 스케일 성장이 예측적인지 테스트하기 위해 은닉 상태를 초기 루프-1의 크기로 수동 재조정.
평가: 최종 루프 은닉 상태 노름, 퍼플렉시티(PPL), 그리고 가변적 추론 깊이( $K=1$ ~ $K=4$ )에서의 '연산 품질 프런티어'(PPL 대비 처리량)를 측정했습니다.

3. 주요 기여

리드아웃 블라인드 스팟 식별: 본 논문은 밀집된 크로스 엔트로피 감독이 예측 인터페이스를 훈련시키지만, 만약 그 인터페이스가 상태의 크기를 가린다면 활성 재귀 변수(특히 스케일)를 제어하는 데 실패하는 특정 실패 모드를 정의합니다.
메커니즘 검증: 절제 실험과 진단을 통해 저자들은 다음을 입증했습니다:
- 정규화된 리드아웃을 가진 루프당 CE는 거대한 노름 표류(예: 44M 모델에서 노름이 39,000 이상 도달)를 유발합니다.
- 원시 리드아웃이나 명시적 노름 페널티를 사용하면 루프당 CE를 사용하더라도 이러한 노름 표류가 수십 단위로 억제됩니다.
- 이러한 표류는 평균 이동이 아니라 토큰 단위의 헤비 테일(heavy-tailed) 현상입니다.
설계 규칙: 저자들은 다음과 같은 간단한 설계 규칙을 제안합니다: 재귀적 스케일 제어를 위해서는 원시 리드아웃이나 노름 페널티를 통해 은닉 상태의 스케일을 손실 함수에 보이게 만들거나, 인터 루프 정규화(inter-loop normalization)를 통해 재귀 경로에서 스케일을 제거해야 합니다. 밀집된 CE만으로는 불충분합니다.
가변 깊이 성능: 스케일이 제어된 모델(원시 리드아웃 또는 노름 페널티 사용)은 사용 가능한 조기 종료(early exit)를 유지하면서도, 스케일 불변 베이스라인에 비해 일치하는 추론 깊이에서 더 낮은 퍼플렉시티를 달 정도로 우수한 성능을 보입니다. 베이스라인 모델들은 스케일 표류가 각도 업데이트( $1/s_k$ )를 축소시켜 정규화된 상태를 사실상 고정시키기 때문에 "K-불변성(K-invariance, 루프가 늘어나도 성능이 개선되지 않음)"을 나타냅니다.

4. 결과

노름 표류: 44M 및 129M 모델에서 루프당 CE와 RMSNorm 리드아웃을 사용했을 때, 최종 은닉 상태 노름은 각각 39,027 및 56,051까지 표류했습니다. 반면, 원시 리드아웃이나 노름 페널티를 사용한 모델은 노름을 17~83 범위 내로 유지했습니다.
그래디언트 진단: 정규화된 리드아웃의 반경 방향 그래디언트 분율은 거의 0( $\sim 10^{-9}$ )이었으나, 원시 리드아웃은 유의미한 반경 방향 민감도( $\sim 10^{-2}$ )를 보였습니다.
퍼플렉시티 및 깊이:
- RMSNorm 베이스라인: 모델들이 거의 K-불변성을 보였습니다. 즉, $K=1$ 에서 멈추는 것이 $K=4$ 와 유사한 퍼플렉시티를 기록했습니다. 이는 높은 겉보기 속도 향상을 나타내지만, 유용한 깊이 활용이 부족함을 의미합니다.
- 스케일 제어 변형 모델: 이 모델들은 깊이가 증가함에 따라( $K=1$ 에서 $K=4$ 로) 유의미한 퍼플렉시티 개선을 보였습니다. 이들은 RMSNorm 베이스라인과 비교하여 동일한 처리량에서 더 낮은 퍼플렉시티를 제공함으로써 우월한 PPL-처리량 프런티어를 점유했습니다.
스케일 클램프: 훈련된 모델의 스케일을 인위적으로 클램핑했을 때 크로스 엔트로피에 미치는 변화가 미미했습니다. 이는 누적된 스케일 성장 자체가 예측 정보의 주요 원천이라기보다, 통제되지 않은 재귀의 부산물임을 시사합니다.

5. 의의 및 주장

본 논문은 "리드아웃 블라인드 스팟"이 루프형 및 적응형 깊이 모델을 위한 근본적인 아키텍처 고려 사항이라고 주장합니다. 의의는 단순히 밀집된 감독을 적용하는 것을 넘어, 재귀 내에서 업데이트되는 특정 변수에 대해 감독 신호가 **가시적(visible)**이도록 만드는 데 초점을 맞추는 데 있습니다.

실무적 시사점: 정규화된 리드아웃을 사용하는 실무자들에게, 본 논문은 출력 인터페이스를 변경하지 않고도 스케일을 제어하기 위해 명시적인 노름 페널티를 추가하는 "드롭인(drop-in)" 베이스라인을 제안합니다.
이론적 통찰: 이 연구는 밀집된 감독이 인터페이스(리드아웃)를 훈련시키지만, 인터페이스가 상태의 크기를 가린다면 상태 역학(재귀)을 자동으로 규제하지는 못한다는 점을 명확히 합니다.
범위 제한: 저자들은 자신들의 결론이 특정 설정(WikiText-103, 44M/129M 모델, 교사 강제 평가)에 기반하며, 이 메커니즘이 국소적임을 겸허히 밝힙니다. 이들은 루프형 모델의 모든 안정성 문제를 해결한다고 주장하는 것이 아니라, 스케일 불변 리드아웃 루프 내에서 발생하는 스케일의 저제약(under-constrained) 문제를 구체적으로 다룹니다.

결론적으로, 적응형 깊이의 루프형 모델은 훈련된 종료(루프당 손실을 통해)와 활성 재귀 스케일 제어(가시성 또는 제거를 통해)를 모두 필요로 하며, 이 둘은 서로 독립적인 설계 요구사항이라는 점을 강조합니다.