기술 요약: 언제 리드아웃(Readout)이 계산을 반영하는가? 연속적 사고 모델에서의 용량-반응 개입(Dose–Response Interventions)

1. 문제 정의

체인 오브 컨티뉴어스 소트(Chain of Continuous Thought, Coconut) 모델은 중간 단계를 자연어 토큰으로 디코딩하는 대신, 마지막 은닉 상태를 다음 입력 임베딩으로 다시 피딩함으로써 연속적인 잠재 공간(latent space)에서 추론을 수행합니다. 이는 표현력을 높여주지만, "모니터링 가능성 문제(monitorability problem)"를 야기합니다. 즉, 중간 계산 과정을 직접 관찰할 수 없다는 것입니다.

현재의 해석 가능성 관행은 은닉 상태를 어휘 공간으로 투영하는 리드아웃(readout)(예: Logit Lens 또는 Tuned Lens)에 의존합니다. 표준적인 추론은 다음과 같습니다: 만약 리드아웃이 변한다면, 기저의 계산도 변한 것이다. 그러나 이 추론은 역사적으로 단일 개입 크기(single intervention magnitude)에서 테스트되었습니다. 본 논문은 만약 리드아웃과 계산이 동일한 개입 방향에 대해 서로 다른 민감도를 가진다면, 단일 크기 테스트로는 그 차이를 드러낼 수 없으며, 결과적으로 모델의 내부 추론 과정에 대해 잘못된 결론을 내릴 수 있다고 주장합니다.

2. 방법론

리드아웃과 계산의 민감도를 개입 크기에 따른 함수로 측정하기 위해, 저자는 통제된 테스트베드와 용량-반응 프로토콜을 구축했습니다.

2.1 통제된 테스트베드 구축

• J-Lens 감독(Supervision): 저자는 2B 파라미터 규모의 Coconut 모델을 두 단계 홉(two-hop) 사실 회상 태스크에 대해 학습시켰습니다. 또한, 답변 손실(answer loss)은 수정하지 않은 채, 연속적 사고(잠재 상태)가 특정 "브릿지 엔티티(bridge entity)" 토큰과 정렬되도록 유도하기 위해 손실 함수에 J-lens 항을 추가했습니다.
• 검증: 이 감독 방식은 답변 정확도를 유지하면서도 리드아웃에서 브릿지 토큰에 대한 확률 질량을 0.95 이상으로 달성했습니다. 이는 리드아웃이 "통제"되었음을(특정 토큰을 가리킴을) 보장하는 동시에 모델의 계산 능력은 저하시키지 않았음을 의미합니다.
• 자기 레이블링(Self-Labeling): 저자는 모델이 J-lens 리드아웃을 통해 스스로 브릿지 레이블을 생성할 수 있음을 입증하여, 감독 신호를 위한 추가적인 인간 주석(human annotation)의 필요성을 제거했습니다.

2.2 용량-반응 개입 프로토콜

핵심 혁신은 개입의 방향과 크기를 분리하는 프로토콜입니다:

1. 고정 상대 크기 ($\alpha$): 상태의 발산을 고려하여 매 잠재 단계마다 재계산되는 고정 상대 크기 $\alpha = \|\delta\|/\|h\|$로 개입을 적용합니다.
2. 직교 분해(Orthogonal Decomposition): 인과적 델타($d = h_{donor} - h_{recipient}$)를 두 개의 직교 성분으로 분해합니다:
   • $d_{\parallel}$: 렌즈 그래디언트에 평행한 성분(렌즈가 감지하는 방향).
   • $d_{\perp}$: 렌스 그래디언트에 직교하는 성분(렌즈가 "맹목"인 방향).
3. 매칭된 무작위 대조군(Matched Random Control): 렌즈 그래디언트에 직교하며 $d_{\perp}$와 노름(norm)이 일치하는 무작위 방향을 생성합니다. 이는 크기와 렌즈의 불투명성을 제어하여 방향의 효과만을 격리합니다.
4. 용량 스윕(Dose Sweep): 저자는 $\alpha$를 0.10에서 0.60까지 그리드 형태로 스윕하여 리드아웃(토큰 변화)과 계산(답변 변화)에 대한 용량-반응 곡선을 생성했습니다.

3. 주요 결과

3.1 임계값의 해리 (렌즈가 가시적인 방향)

렌즈가 감지하는 방향($d_{\parallel}$)을 따라, 리드아웃과 계산은 유의미하게 다른 활성화 임계값을 가집니다:

• 리드아웃 민감도: 리드아웃은 상대적 크기 0.125–0.158에서 도너(donor) 토큰으로 전환됩니다.
• 계산 민감도: 이 크기에서 답변은 변하지 않습니다.
  • lmk (랜드마크 $\to$ 국가 $\to$ 수도) 관계에서, 답변 임계값은 리드아웃 임계값보다 2.03배 더 높습니다 (0.253).
  • typeA (수도 $\to$ 국가 $\to$ 대륙) 관계에서, 높은 크기에서 모델이 깨질 때(관련 없는 토큰을 출력)까지 답변은 절대 과반수 전환에 도달하지 못합니다.
• 시사점: 리드아웃이 변하는 즉시 멈추는 최소 노름 개입(표준 절차)은 인과적 임계값의 약 절반(또는 그 이하)에서 멈추게 되어, 인과적 연결을 탐지하는 데 실패합니다.

3.2 "보이지 않는" 채널

렌즈가 감지하지 못하는 방향($d_{\perp}$)을 따라:

• 계산: 개입은 **96–97%**의 시행에서 답변을 성공적으로 이식합니다 (임계값 $\approx$ 0.45–0.48).
• 리드아웃: 리드아웃은 전혀 변하지 않으며(900회 중 0회), 수신자(recipient) 토큰에 고정되어 있습니다.
• 대조군: 매칭된 무작위 대조군은 리드아웃이나 답변 모두에서 변화를 일으키지 않았으며, 이는 효과가 단순히 크기 때문이 아니라 $d_{\perp}$라는 특정 방향 때문임을 확인시켜 줍니다.

3.3 "거짓 영(False Null)"의 함정

저자는 사전에 등록된 초기 실험이 이 함정에 빠졌음을 보고합니다:

• 리드아웃이 바뀔 때까지 개입했습니다 (정지 크기 $\approx$ 0.119).
• 결과: 90개의 답변 중 0개가 바뀌었습니다. 저자는 처음에 브릿지가 계산에 사용되지 않는다고 결론지었습니다.
• 교정: 용량-반응 곡선은 답변 임계값이 0.253임을 드러냈습니다. 초기 테스트는 인과적 임계값보다 낮은 지점에서 측정했기 때문에 실패한 것입니다.

3.4 견고성(Robustness)

• 이러한 임계값 격차는 J-lens 감독 없이도 1.74배 유지되며, 이는 해리가 훈련 신호의 인위적 결과가 아니라 모델의 구조적 특성임을 나타냅니다.
• 이 격차는 높은 크기에서 모델이 "깨지는" 현상으로 설명되지 않습니다. 해리는 안정적인 작동 범위 내에서 발생합니다.

4. 기여

1. 용량-반응 프로토콜: 고정 크기, 직교 분해, 매칭된 무작위 대조군을 사용하여 리드아웃 민감도와 계산 민감도를 분리하는 방법론을 제시했습니다.
2. 해리 정량화: 리드아웃과 계산이 동일한 방향에서 서로 다른 임계값을 가지며, 계산은 리드아웃이 등록하지 않는 방향을 통해서도 이식될 수 있다는 증거를 제시했습니다.
3. 최소 노름 개입의 진단: 표준적인 리드아웃 타겟 개입이 계산이 변하기 전에 멈추기 때문에 체계적으로 거짓 음성(거짓 영)을 생성한다는 점을 입증했습니다.
4. 통제된 테스트베드: 정확도 손실 없이 리드아웃을 특정 토큰에 정렬하는 방법을 제공하여 정밀한 인과적 측정을 가능하게 했습니다.

5. 의의 및 주장

본 논문은 리드아웃 민감도는 계산의 속성이 아니라 리드아웃의 속성이라고 주장합니다. 리드아웃이 변한다고 해서 반드시 계산이 변한 것은 아니며, 리드아웃의 변화가 없다고 해서 반드시 계산의 변화가 없는 것도 아닙니다.

• 방법론적 경고: 단일 크기 개입에 기반한 해석 가능성 주장은 불충분합니다. "답변 변화 없음"이라는 결과는 "그 방향이 인과적이지 않다"와 "우리가 충분히 강하게 밀지 않았다"를 구분할 수 없습니다.
• 처방: 리드아웃 기반의 인과적 주장은 반드시 다음을 포함하는 용량-반응 곡선으로 보고되어야 합니다:
  1. 리드아웃이 반응하는 크기.
  2. 출력이 반응하는 크기.
  3. 크기와 불변량(invariants)이 매칭된 무작위 대조군.
• 범위: 저자는 단일 모델, 단일 레이어, 합성 관계에서 측정이 이루어졌음을 언급하며 일반화에 대해 신중한 태도를 취합니다. 저자는 전체 잠재 공간을 매핑했다고 주장하는 것이 아니라, 현재 리드아웃이 어떻게 해석되는지에 대한 구조적 한계를 드러내는 데 목적을 둡니다.

결론적으로, 본 논문은 "리드아웃으로부터 무엇을 읽을 수 있는가"를 묻는 작업은 반드시 "어느 정도의 크기에서 읽힌 내용이 계산에 대응하는가"를 함께 물어야 한다고 강조합니다.