🤖 machine learning

Do Models Read What They Write? Causal Registers in Scratchpad Reasoning

이 논문은 스크래치패드에 중간 상태를 작성하도록 훈련된 거대 언어 모델이 단순히 인간의 가독성을 위해 해당 상태를 생성하는 것이 아니라, 실제로 그 작성된 상태를 후속 추론 단계의 인과적 입력으로 활용한다는 것을 입증한다.

원저자: Benjamin Shih, John Winnicki, Eric Darve

게시일 2026-06-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Benjamin Shih, John Winnicki, Eric Darve

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문 "모델은 자신이 쓰는 것을 읽는가?(Do Models Read What They Write?)"에 대한 설명을 쉬운 언어와 일상적인 비유를 사용하여 설명합니다.

핵심 질문: 모델은 단순히 "말하고" 있는 것인가, 아니면 실제로 "생각하고" 있는 것인가?

당신이 한 학생이 수학 시험을 치르는 것을 지켜보고 있다고 상상해 보세요. 학생은 종이(이른바 "연습장")에 풀이 과정을 적고, 마지막에 최종 답안을 적습니다.

우리의 기대: 우리는 학생이 실제로 그 종이를 이용해 수학 문제를 풀기를 바랍니다. 만약 당신이 그들이 적은 숫자 하나를 마법처럼 바꾼다면, 최종 답안도 바뀐 숫자에 맞춰서 변해야 합니다.
우리의 우려: 우리는 학생이 그저 "척"을 하고 있는 것이 아닐까 걱정합니다. 학생은 이미 머릿속으로 문제를 다 풀어놓았고, 종이는 단지 똑똑해 보이기 위해 늘어놓는 이야기일 뿐일 수도 있습니다. 만약 당신이 종이에 적힌 숫자를 바꾼다 해도, 학생의 최종 답안은 변하지 않을 것입니다. 왜냐하면 학생은 실제로 그 종이를 보고 계산한 것이 아니라, 그냥 이야기를 써 내려간 것이기 때문입니다.

이 논문은 다음과 같은 질문을 던집니다: AI 모델이 자신의 사고 과정을 글로 적을 때, 모델은 다음 단계를 알아내기 위해 실제로 그 단계들을 사용하는 것일까요, 아니면 그저 이야기를 써 내려가는 것일까요?

실험: "마법 지우개" 테스트

연구진은 이 답을 찾기 위해 AI를 위한 매우 구체적이고 단순한 게임을 만들었습니다.

게임 규칙:
작은 2x2 격자판 위에서 움직이는 로봇을 상상해 보세요.

로봇은 특정 지점(예: 왼쪽 상단)에서 시작합니다.
로봇은 이동 명령(예: "첫 번째 비트를 반전시켜라")을 받습니다.
로봇은 현재 자신의 위치를 적습니다.
로봇은 또 다른 명령을 받고, 새로운 위치를 적는 과정을 반복합니다.

까다로운 점은, 로봇에게 움직임의 순서에 따라 변하는 숨겨진 "페이즈 비트(phase bit)"(비밀 스위치 같은 것)가 있다는 것입니다. 서로 다른 두 경로가 겉보기에는 같은 위치에 도착하더라도, 내부의 비밀 스위치 설정은 다를 수 있습니다.

테스트 ( "마법 지우개"):
연구진은 AI가 게임을 수행하며 단계를 적도록 했습니다. 그 후, 연구진은 다음과 같은 "외과적" 조작을 수행했습니다.

적힌 텍스트는 정확히 그대로 유지했습니다. 종이에는 여전히 "나는 스위치가 ON인 상태로 A 지점에 있다"라고 적혀 있습니다.
AI의 내부 뇌 상태를 은밀하게 변경했습니다. 종이에는 "ON"이라고 되어 있지만, AI의 기억 속에 있는 "비밀 스위치"를 "OFF"로 뒤집었습니다.
그다음 동작을 수행하도록 요청했습니다.

질문:

만약 AI가 단순히 이야기를 쓰고 있는 것이라면, AI는 내부의 변화를 무시할 것입니다. 종이에 "스위치 ON"이라고 적혀 있으니, "스위치 ON"을 기준으로 다음 단계를 계산할 것입니다.
만약 AI가 실제로 상태를 사용하고 있는 것이라면, AI는 내부의 변화를 느낄 것입니다. AI는 "잠깐, 내 내부 스위치는 사실 OFF인데?"라고 깨닫고, 종이에 뭐라고 적혀 있든 상관없이 "스위치 OFF"를 기준으로 다음 단계를 계산할 것입니다.

결과: 누가 테스트를 통과했는가?

연구진은 세 가지 유형의 AI 모델을 테스트했습니다:

사전 학습된 모델 (Pre-trained Model): 인터넷에서 학습했지만 이 특정 게임은 배우지 않은 모델.
"최종 답안" 모델 (Final Answer Model): 이 게임을 푸는 법을 배웠지만, 단계별 과정 없이 최종 결과만 적는 모델.
"실행 상태" 모델 (Running State Model): 진행되는 모든 단계를 매번 적도록 학습된 모델.

발견된 사실:

"이야기꾼들" (사전 학습된 모델 & 최종 답안 모델): 연구진이 몰래 내부 스위치를 뒤집었을 때, 이 모델들은 신경 쓰지 않았습니다. 이들은 종이에 적힌 내용을 바탕으로 다음 단계를 예측했습니다. 즉, 자신의 내부 현실을 무시하고 있었습니다.
"진짜 생각하는 모델" (실행 상태 모델): 연구진이 몰래 내부 스위치를 뒤집었을 때, 이 모델들은 예측을 변경했습니다. 이들은 종이에 적힌 텍스트를 무시하고, 새로운 내부 스위치 상태를 바탕으로 다음 단계를 계산했습니다.

"실행 상태" 모델에서, 적힌 텍스트는 단순한 보고서가 아니었습니다. 그것은 하나의 **작동하는 변수(working variable)**가 되었습니다. 모델은 실제로 수학 계산을 하기 위해 자신의 노트를 읽고 있었던 것입니다.

"왜 중요한가"에 대한 비유

컴퓨터 프로그램을 생각해 보세요.

부실한 감시: 프로그램이 화면에 "파일을 저장 중입니다"라고 출력하지만, 실제 백그라운드에서는 파일을 삭제하고 있는 경우입니다. 이때 화면의 텍스트를 "파일을 삭제 중입니다"로 바꾼다고 해도 프로그램은 상관하지 않습니다. 텍스트는 그저 디스플레이일 뿐이기 때문입니다.
훌륭한 감시: 프로그램에 file_status라는 실제 변수가 있는 경우입니다. 코드에서 이 변수를 바꾸면, 프로그램의 동작이 즉시 변하게 됩니다.

이 논문은 AI에게 중간 단계를 적도록 훈련함으로써, 그 단계들을 AI가 실제로 사용하는 '실제 변수'로 만들 수 있다는 것을 증 proves 합니다.

"인과적" 증명

연구진은 여기서 멈추지 않았습니다. AI가 단순히 추측하거나 다른 예시를 복사하는 것이 아님을 확인하기 위해 추가 테스트를 실시했습니다.

"이동 교체" 테스트 (The "Move Swap" Test): 내부 상태를 편집한 상태에서 명령(예: "오른쪽으로 이동" 대신 "왼쪽으로 이동")을 바꾸었습니다. AI는 새로운 명령에 따라 정답을 올바르게 변경했는데, 이는 AI가 상태와 명령을 결합하여 처리하고 있음을 증명합니다.
"복사꾼" 테스트 (The "Copycat" Test): 다른 예시의 미래 답안을 복사하도록 AI를 속이려 했습니다. AI는 복사하지 않고, 현재 상황에 근거하여 다시 계산했습니다.

결론

이 논문은 AI 안전과 감독이 제대로 작동하려면, 단순히 AI가 자신의 생각을 적기를 바라는 것만으로는 부족하다고 결론짓습니다. 우리는 특정한 방식으로 AI를 훈련시켜서, 그 적힌 생각들이 실제 계산 과정의 일부가 되도록 만들어야 합니다.

이렇게 하면, "연습장"은 단순히 일어난 일을 기록하는 "기록지"가 아니라, 우리가 실제로 개입하여 AI의 생각을 바꿀 수 있는 **"제어판"**이 됩니다.

요약하자면: 이 논문은 적절한 훈련을 통해 AI가 "자신이 쓰는 것을 읽도록" 가르칠 수 있으며, 이를 통해 모델의 추론 과정을 실제 활용 가능한 부분으로 바꿀 수 있음을 보여줍니다.

기술 요약: 스크래치패드 추론에서의 인과적 레지스터 (Causal Registers in Scratchpad Reasoning)

문제 정의

프로세스 감독(Process supervision)은 모델이 단순히 최종 정답만을 내놓는 것이 아니라, 중간 추론 단계(예: 스크래치패드, 사고의 사슬/chain-of-thought)에 보상을 줌으로써 모델을 정렬하는 것을 목표로 한다. 그러나 **가독성(legibility)**과 인과성(causality) 사이에는 결정적인 간극이 존재한다. 즉, 모델은 정답과 상관관계가 있는 그럴듯한 중간 상태를 작성할 수는 있지만, 실제로 그 상태를 후속 계산의 입력값으로 사용하지 않을 수도 있다. 만약 작성된 텍스트가 단지 사후적인 정당화(post-hoc justification)이거나 상관관계가 있는 신호에 불과하다면, 이를 효과적으로 감사하거나 개입(intervention)할 수 없다.

본 연구가 다루는 핵심 질문은 다음과 같다: 모델은 실제로 자신이 작성한 중간 상태로부터 계산을 수행하는가? 구체적으로, 만약 가시적인 텍스트는 고정된 채로 그 상태에 대한 내부 표현(internal representation)이 수정된다면, 모델의 다음 단계가 해당 상태의 알려진 업데이트 규칙에 따라 변하는가?

방법론

1. 제어된 상태 추적 작업 (Controlled State-Tracking Task)

저자들은 명확한 인과적 테스트를 위해 알려진 업데이트 규칙을 가진 유한 전이 시스템(finite transition system)을 활용한다.

작업 구조: 모델에게 시작 상태와 일련의 이동(moves)을 제공한다. 모델은 각 이동 후에 상태를 추적해야 한다.
상태 표현: 상태는 $v | p$ 로 정의된다. 여기서 $v$ 는 가시적인 좌표(4개의 그리드 셀 중 하나)이고, $p$ 는 "페이즈 비트(phase bit)" ($0 $또는$ 1$)이다.
순서 민감도: 페이즈 비트 $p$ 는 가시적인 좌표 $v$ 에 의해서만 결정되는 것이 아니라, 이동의 이력(history of moves)에 따라 결정된다. 이는 동일한 가시적 텍스트를 공유하지만 내부 페이즈는 다른 매칭된 상태들(예: $11|0$ 과 $11|1$ )을 생성한다.
모델: 본 연구는 Qwen2.5-Coder-7B를 주요 모델로 사용하며, 재현을 위해 Mistral-7B-v0.3을 사용한다.
학습 조건:
1. 사전 학습된 베이스 (Pretrained Base): 미세 조정 없음.
2. 최종 답변 전용 (Final-Answer Only): 최종 상태만을 출력하도록 미세 조정됨.
3. 실행 상태 (Running-State): 최종 답변 전에 모든 실행 상태를 작성하도록 미세 조정됨.

2. 개입: 반사실적 상태 편집 (Counterfactual State Editing)

핵심 실험적 개입은 현재 상태에 해당하는 토큰 위치에서 활성화 패칭(activation patching)(구체적으로 KV 캐시 수정)을 수행하는 것이다.

편집 내용: 현재 상태 토큰의 페이즈 비트에 대한 내부 잔차 스트림(residual stream) 표현을 $p$ 에서 $1-p$ 로 편집한다.
제약 조건: 가시적인 토큰 ID와 출력된 스크래치패드 텍스트는 변경되지 않는다. 클린(clean) 실행과 패치(patched) 실행 모두에 제공되는 접두사(prefix)는 동일하다.
테스트: 모델에게 주어진 다음 이동 $m$ $m$ 에 대해 다음 상태를 예측하도록 요청한다.
- 성공 조건: 모델이 편집된 상태 $\tilde{s} = (v, 1-p)$ 에 이동 $m$ 을 적용했을 때의 다음 페이즈 비트를 예측하는 경우.
- 실패 조건: 모델이 내부 편집을 무시하고 원래 상태 $s = (v, p)$ 를 바탕으로 예측하거나, 일반적인 편향(bias)을 따르는 경우.

3. 대조군 및 선택성 (Controls and Selectivity)

대안적인 설명(예: 일반적인 다음 토큰 스티어링 또는 연속된 내용 복사)을 배제하기 위해 저자들은 두 가지 특정 대조군을 사용한다.

이동 교체 대조군 (Move-Swap Control): 편집된 상태는 고정하되, 다가오는 이동(move)을 변경한다. 유효한 상태 업데이트 메커니즘이라면 새로운 이동에 따라 예측을 변경해야 하며, 고정된 편향을 따르고 있다면 변경하지 않을 것이다.
충돌하는 연속성 대조군 (Conflicting-Continuation Control): 현재의 이동과 미래의 궤적이 일치하지 않는 다른 문맥으로부터 추출된 반사실적 상태를 주입한다. 만약 모델이 현재의 이동을 따른다면, 이는 편집된 상태로부터 재계산(recomputing)을 하는 것이고, 주입된 문맥의 미래를 따른다면 단순히 연속된 내용을 복사하는 것이다.

주요 결과

1. 스크래치패드 상태의 인과적 사용

실행 상태(Running-State) 모델(중간 상태를 작성하도록 미세 조정된 모델)에서는 내부 편집이 다음 상태 계산을 성공적으로 재지시한다:

Qwen2.5-Coder-7B: 모델은 홀드아웃 예제의 80%(Q8 작업) 및 91%(D8 작업)에서 편집된 상태가 암시하는 다음 페이즈 비트를 예측한다.
대조군: 사전 학습된 모델과 최종 답변 전용 모델은 베이스라인(무작위 수준) 근처에 머물러 있으며, 이는 이들이 작성된 상태를 계산적 입력으로 사용하지 않음을 나타낸다.
무작위/직교 편집: 무작위 패치나 직교 부분 공간(orthogonal subspace)에서의 패치는 약 0.02의 일치율을 보였으며, 이는 효과가 페이즈 비트 부분 공간에 특이적임을 확인시켜 준다.

2. 선택성 및 재계산

실행 상태 모델은 높은 선택성을 보여주며, 단순히 토큰을 편향시키거나 복사하는 것이 아님을 증명한다:

이동 특이성 (Move-Specificity): 이동이 바뀔 때 예측이 유의미하게 변한다 (선택성 격차: Q8에서 +0.57, D8에서 +0.68).
재계산 vs 복사 (Recomputation vs. Copying): 충돌하는 연속성에 직면했을 때, 모델은 주입된 소스의 미래 대신 현재의 이동(및 편집된 상태)을 따른다 (선택성 격차: Q8에서 +0.59, D8에서 +0.81).

3. 메커니즘 분석

압축된 표현: 페이즈 비트 정보는 저차원 부분 공간(low-rank subspace)에 의해 포착된다. Q8에서는 랭크-1 편집만으로 충분하며, D8에서는 랭크-2가 충분하다. 이는 3584차원의 잔차 스트림에 비해 매우 낮은 차원이다.
라우팅 (Routing):
- Q8: 업데이트는 주로 단일 어텐션 연결(현재 페이즈 토큰에서 다음 예측 레이어로의 연결)을 통해 흐른다. 이 연결을 제거하면 효과의 94%가 사라진다.
- D8: 업데이트는 분산된 4개 엣지 경로를 사용한다. 이 특정 경로를 제거하면 약 69%의 효과가 제거되며, 이는 압축된 상태 변수가 분산된 메커니즘을 통해 처리될 수 있음을 보여준다.
재현: 이러한 인과적 패턴은 Mistral-7B-v0.3에서도 재현되었으며, 실행 상태 모델은 0.93–0.94의 편집된 상태 일치율을 달eric했다.

4. 생성된 접두사 (Generated Prefixes)

모델이 접두사를 직접 생성하는 경우(제공받는 것이 아니라), 효과는 지속되지만 Q8(1단계 사용 0.66)에서는 D8(1단계 사용 0.90)에 비해 약간 덜 안정적이다. 그럼에도 불구하고 베이스라인보다는 여전히 유의미하게 높다.

의의 및 주장

본 논문은 실행 상태 감독(running-state supervision)(중간 상태를 출력하도록 미세 조정하는 것)이 스크래치패드를 모델의 계산 내에서 단순한 기록물이 아닌 **인과적 레지스터(causal register)**로 변모시킨다고 주장한다.

운영 의미론 (Operational Semantics): 정렬을 위한 유용한 중간 단계는 모델 내부에서 운영 의미론을 가져야 한다. 결과에 따르면, 작성된 상태와 관련된 내부 값을 변경하면 다음 단계가 전이 규칙에 부합하도록 인과적으로 변화한다.
감사 가능성 (Auditability): 이는 "스크래치패드 감시를 위한 더 날카로운 목표"를 설정한다. 감독은 단순히 중간 과정을 인간이 읽을 수 있게 만드는 것이 아니라, 모델이 작성된 상태를 자신의 계산을 위한 실제 입력으로 사용하도록 훈련시키는 것이다. 이를 통해 감독자가 이론적으로 상태를 변경하고 모델의 후속 행동이 해당 변경 사항과 일치하는지 검증하는 "증거 왜곡 감사(evidence-distortion audits)"가 가능해진다.
개념의 구분: 이 연구는 흔히 혼동되는 세 가지 개념을 성공적으로 분리한다:
1. 상태가 작성되었는가.
2. 상태가 내부적으로 표현되었는가.
3. 모델이 실제로 그 상태로부터 계산을 수행하는가.
  결과는 표현(representation)과 계산(computation) 사이의 간극을 메우기 위해서는 감독(supervision)이 필요함을 보여준다.

저자들은 비록 통제된 합성 환경에서 이러한 구조가 입증되었으나, 향-후 프로세스 감독의 목표는 더 풍부한 도메인(예: 프로그램 상태, 정리 증명, 도구 사용)에서 모델이 이와 유사하게 사용 가능하고 인과적으로 활성화된 상태 변수를 노출하도록 하는 데 있다고 결론짓는다.