기술 요약: 점들 사이의 읽기 (Reading Between the Dots)

문제 정의

사고 사슬(Chain-of-thought, CoT) 모니터링 가능성은 모델의 표면적 출력 토큰이 그 기저의 추론 과정을 충실히 반영한다는 가정에 의존한다. 그러나 최근 문헌들은 이러한 가정이 취약할 수 있음을 시사한다. 즉, 모델은 생성된 텍스트에는 보이지 않는 방식으로 추론을 수행하는 '숨겨진 계산(hidden computation)'을 수행할 수 있다. CoT 모니터링의 구체적인 실패 사례는 **필러 토큰 계산(filler-token computation)**이다. 이는 대규모 언어 모델(LLM)이 질문과 정답 슬롯 사이에 삽입된 내용 없는 토큰(예: 점의 연속, 숫자 세기, 또는 알파벳 시퀀스)을 통해 다단계 추론을 수행하는 현상이다. 이러한 시나리오에서 표면 토큰은 추론에 대한 어떠한 의미론적 정보도 담고 있지 않으므로, 전통적인 행동 감사(behavioral auditing)를 무력화한다. 본 논문이 다루는 핵심 질문은 이러한 숨겨진 계산이 진정으로 관찰 불가능한 것인지, 아니면 모델의 내부 상태로부터 디코딩 가능한지 여부이다.

방법론

저자들은 두 가지 프런티어급 오픈 웨이트 모델인 DeepSeek V3(671B 파라미터, 약 37B 활성화)와 Kimi K2(1T 파라미터, 약 32B 활성화)를 사용하여 이 현상을 조사한다. 이들은 중간값을 요구하는 네 가지 작업군에 대해 성능과 내부 메커니즘을 평가한다:

1. 1-팩트 덧셈(1-fact addition): 사실 하나를 인출하고 임의의 숫자를 더함.
2. 2-팩트 덧셈(2-fact addition): 두 개의 사실을 인출하고 그 합을 구함.
3. 2-홉 알파벳 위치(2-hop letter position): 수도/원소를 인출하고 특정 문자를 찾음.
4. 연립 방정식(System of equations): 컨텍스트에 정의된 선형 관계를 해결함.

실험 설정은 프롬프트와 정답 슬롯 사이에 내용이 없는 필러 토큰(점, 숫자 시퀀스, 알파벳 시퀀스)을 추가하는 것을 포함한다. 연구는 세 단계로 진행된다:

1. 행동 분석(Behavioral Analysis): 필러 토큰이 있을 때와 없을 때의 정확도 향상을 측정한다.
2. 메커니즘 분석(Mechanistic Analysis): 어텐션 맵, 로짓 렌즈(logit-lens) 판독, KV-캐시 이식(KV-cache transplants)을 사용하여 정보가 어떻게 흐르고 필러 영역 내에 어떻게 인코딩되는지 결정한다.
3. 비지도 디코딩(Unsupervised Decoding): 정답 레이블이나 학습 없이 오직 은닉 상태(hidden states)로부터 중간값을 복구하는 파이프라인을 개발한다.

주요 기여 및 결과

1. 필러 토큰은 숨겨진 계산을 가능하게 한다

본 논문은 필러 토큰이 단순히 무의미한 패딩이 아니라, "프로세싱 릴레이(processing relay)"를 촉진한다는 점을 입증한다.

• 행동적 상승(Behavioral Uplift): 두 모델 모두 필러 토큰이 존재할 때 유의미한 정확도 향상을 보인다. 예를 들어, DeepSeek V3의 1-팩트 덧셈 정확도는 54%에서 72%로 상승하며, 연립 방정식의 경우 31%에서 61%로 상승한다. 뒤섞인 필러 시퀀스는 성능이 낮았는데, 이는 이점이 특정 콘텐츠 때문이 아니라 비방해적인 토큰 시퀀스로부터 온다는 것을 나타낸다.
• 어텐션 라우팅(Attention Routing): 어텐션 분석 결과, 필러가 존재할 때 모델은 계산 경로를 재설정한다. 정답 위치에서 질문으로 가는 직접적인 어텐션 경로가 릴레이로 대체된다: 질문 → 필러 → 정답. 필러 영역은 질문을 읽고, 중간값을 처리하여 정답 위치로 전달하는 버퍼 역할을 한다.

2. 인코딩된 중간값의 메커니즘적 증거

저자들은 필러 위치가 작업 관련 정보를 인과적으로 운반한다는 세 가지 증거를 제시한다:

• 로짓 렌즈 판독(Logit-Lens Readouts): 잔차 스트림(residual stream) 상태를 언임베딩 행렬(unembedding matrix)을 통해 투영하면, 중간값(예: 인출된 사실 $A_1, A_2$ 및 그 합)이 필러 위치의 잔차 스트림에 명시적으로 인코딩되어 있음이 드러난다. 2-팩트 덧셈에서 $A_1$은 필러 시퀀스 초기에 나타나고, $A_2$는 나중에 나타나며, 그 합은 정답 전 마지막 레이어에서 결정된다.
• KV-캐시 이식(Causal Verification): "도너(donor)" 예시의 필러 영역 KV-캐시를 "타겟(target)" 예시로 이식함으로써, 저자들은 인과적 의존성을 입증한다. 필러 캐시를 교체하면 타겟 모델이 도너의 정답을 출력하며, 순위가 수십에서 수백 계단 상승한다. 이는 필러 영역 내의 콘텐츠가 정답과 상관관계가 있을 뿐만 아니라, 출력을 위해 인과적으로 필수적임을 확인시켜 준다.
• 위치 특이성(Positional Specificity): 2-팩트 덧셈에서 인코딩의 위치 구조는 인과적이다. $A_1$이 디코딩되는 특정 위치만을 이식했을 때 대부분의 효과가 복구되는 반면, 나머지 위치는 영향이 미미했다.

3. 비지도 디코딩 파이프라인

본 논문은 감독(supervision) 없이 잔차 상태로부터 숨겨진 추론 단계를 복구하는 파이프라인을 소개한다:

• 프로세스:
  1. 모든 레이어와 필러 위치에서의 잔차 스트림 활성값을 추출한다.
  2. 로짓 렌즈를 적용하여 상태를 토큰 확률로 투영한다.
  3. 예시 간의 평균을 빼서 포맷팅 아티팩트를 제거하고 예시별 신호를 분리한다.
  4. 모든 위치에 걸쳐 잔차 점수를 집계하고 상위 50개 토큰을 선택한다.
  5. 이 토큰들을 LLM 판사(예: Claude Haiku/Sonnet)에 전달하여 추론을 해석한다.
• 성능: 이 파이프라인은 네 가지 작업과 두 모델 모두에서 중간값을 복구하는 데 80–95%의 정확도를 달s한다.
  • 1-팩트 덧셈의 경우, 판사 없이도 타겟 팩트가 상위 2개 토근 내에 약 85%의 확률로 복구되었으며, 판사를 사용하면 약 94%까지 상승한다.
  • 2-팩트 덧셈과 같은 복잡한 작업의 경우, 전체 상위 50개 리스트의 맥락적 신호를 활용함으로써 판사가 복구 성능을 크게 향상시킨다 (DeepSeek V3 기준 약 35%에서 82%로 상승).
  • 파이프라인은 인출된 사실과 컨텍스트 내에서 계산된 값(예: 연립 방정식의 변수)을 모두 성공적으로 디코딩한다.

의의 및 주장

본 논문은 숨겨진 계산이 곧 감사가 불가능한 계산을 의미하는 것은 아니다라고 주장한다. 필러 토큰을 통한 추론은 (출력 텍스트에 추론 내용이 없으므로) 행동적 CoT 모니터링을 무력화하지만, 계산은 모델의 잔차 스트림으로부터 직접 읽을 수 있다.

• 흔적의 속성으로서의 모니터링 가능성: 저자들은 모니터링 가능성이 모델의 표면 토큰뿐만 아니라 전체 계산 흔적(computational trace)의 속성이라고 상정한다.
• 부분적 감사 가능성: 본 연구는 이산적이고 명명 가능한 중간값이 존재하는 작업의 경우, "저렴한" 해석 도구(로짓 렌즈 + 정규화 + LLM 판사)가 불투명한 표면 토큰이 남긴 간극을 메울 수 있음을 보여준다.
• 한계: 저자들은 이 접근 방식이 깨끗한 중간값이 있는 작업에서 작동한다고 겸허히 주장한다. 이들은 어휘 투영(vocabulary projection)과 직교하도록 최적화된 계산, 토큰화할 수 없는 개념(전략이나 의도 등), 또는 로짓 렌즈 투영에 보이지 않는 어텐션 패턴에 의존하는 계산에 대해서는 한계가 있음을 인정한다.

결론적으로, 본 논문은 CoT 모니터링이 취약할 수는 있지만, 필러 토큰에서의 숨겨진 계산이 존재한다고 해서 모델이 완전히 불투명해지는 것은 아님을 시사한다. 대신, 이는 행동 관찰과 잔차 스트림 해석을 결합한 하이브리드 감사 전략의 잠재력을 강조한다.