기술 요약: 알고리즘은 행동이 아니다

문제 정의

최근의 기계론적 해석 가능성(mechanistic interpretability) 연구는 신경망이 모듈러 산술, 탐색, 계획과 같은 복잡한 알고리즘을 학습하고 실행할 수 있음을 입증했다. 그러나 내부적인 알고리즘 구조의 존재가 모델의 최종 출력을 보장하는지에 대한 이해에는 여전히 중요한 간극이 존재한다. 구체적으로, 모델이 학습된 알고리즘을 통해 내부적으로는 올바른 해답을 계산했음에도 불구하고, 이를 다른 출력으로 덮어써 버릴 수 있는가? 본 논문은 강력한 신경망 체스 엔진인 Leela Chess Zero(Lc0)에서 발생하는 이 "잊혀진 퍼즐(forgotten puzzle)" 현상을 조사한다. 선행 연구(Jenner et al., 2024)는 Lc0에서 학습된 룩어헤드(look-ahead) 메커니즘을 확인한 바 있다. 저자들은 질문한다: 만약 룩어헤드 알고리즘이 올바르게 작동한다면, 무엇이 계산된 해답을 최종 출력에서 무효화하는가?

방법론

저자들은 logit lens 기법(nostalgebraist, 2020)을 Lc0의 수 선택 정책 네트워크의 Post-LN 아키텍처로 확장한다. 디코더 전용 언어 모델과 달리, 모든 체스판 칸을 하나의 토큰으로 취급하는 인코더 전용 아키텍처인 Lc0에서는 중간 표현(intermediate representations)을 출력 헤드로 투영하여 모든 레이어에서의 정책 분포를 드러낼 수 있다.

레이어 정규화(layer normalization)가 잔차 연결(residual connections) 이후에 수행되는 Post-LN 아키텍처의 과제를 해결하기 위해, 저자들은 특정 레이어 $\ell$ 이후의 서브레이어 출력에 대해 후속 레이어 정규화 및 스케일링 인자는 유지하면서 **제로 어블레이션(zero ablation)**을 적용하여 로짓 렌스를 적응시킨다. 이를 통해 의미 있는 중간 정책을 추출할 수 있다.

본 연구는 세 가지 주요 분석 접근 방식을 사용한다:

1. 레이어별 정책 분석: 15개의 트랜스포머 레이어에 걸쳐 수 확률(move probabilities)과 퍼즐 해결 성공률의 진화를 추적한다.
2. 룩어헤드의 인과적 검증: "잊혀진 퍼즐"(중간 레이어에서는 정답을 찾았으나 최종 모델은 그렇지 못한 포지션)에 대해 Jenner et al. (2024)의 분석 방식(활성화 패칭, 어텐션 헤드 어블레이션, 쌍선형 프로빙)을 재현하여 룩어헤드 메커니즘이 활성화되어 있는지 결정한다.
3. 컨셉 스티어링(Concept Steering): 레이어별 컨셉 선호도(안전성과 공격성을 나타내는 대리 지표로 Stockfish 평가 용어 사용)를 분석하고, 학습된 사전 확률(priors)에 대응하기 위해 그래디언트 기반 활성화 스티어링을 적용하여 이를 통해 잊혀진 해답을 복구할 수 있는지 테스트한다.

주요 기여

1. Post-LN을 위한 확장된 로짓 렌스: 저자들은 로짓 렌스를 Leela의 Post-LN 아키텍처로 성공적으로 확장하였으며, 이를 통해 중간 정책이 점진적으로 복잡해지는 체스 휴리스틱을 따라 구조적인 진행 과정을 거치며, 깊이가 깊어질수록 기력이 일관되게 향상됨을 밝혔다.
2. "잊혀진 퍼즐"의 식별: 저자들은 올바른 해답(종종 희생이나 강제수 포함)이 중간 레이어에서는 높은 확률로 나타나지만 최종 출력에서는 무효화되는 체계적인 실패 모드를 식별했다. 7,901개의 데이터셋에서 이러한 사례의 88.6%는 희생(sacrifices)을 포함하며, 모델은 종종 이를 "조용한" 포지셔널 수로 대체한다.
3. 안전 사전 확률(Safety Priors)의 인과적 증거: 본 논문은 이 무효화 과정이 룩어헤드 알고리즘의 실패 때문이 아니라는 인과적 증거를 제공한다. 대신, 후기 레이어(특히 레이어 13 주변)는 공격적인 전술적 해답보다 안전 사전 확률(예: 킹의 안전, 위협 회피)을 우선시하도록 이동한다. 이러한 안전 선호도를 거스르도록 모델을 스티어링함으로써, 저자들은 잊혀진 해답의 **61.7%**를 복구해냈으며, 이는 학습된 분포적 휴리스틱이 알고리즘적으로 계산된 솔루션을 덮어쓸 수 있음을 입증한다.

주요 결과

• 알고리즘 구조 vs. 행동: 잊혀진 퍼즐에서도 룩어헤드 메커니즘은 정상적으로 작동한다. 정답인 지속수의 미래 수들이 표현되어 있고, 인과적으로 중요하며(활성화 패칭 및 어텐션 어블레이션을 통해 검증), 선형적으로 디코딩 가능하다(프로빙을 통해). 즉, 알고리즘은 올바른 해답을 계산하지만 사용되지는 않는다.
• 무효화 메커니즘: 무효화는 주로 마지막 피드포워드 레이어에서 발생한다. 모델의 가치 헤드(value head)는 올바른 수의 승리 결과(예: 강제 메이트에 99.8% 승률 할당)를 정확히 평가하지만, 정책 헤드(policy head)는 패배하는 수를 선택한다.
• 안전 사전 확률의 지배력: 컨셉 선호도 분석 결과, 초기 및 중간 레이어는 공격적인 컨셉(상대 킹의 취약성, 위협)을 선호하는 반면, 후기 레이어는 보수적인 컨셉(자신의 킹 안전, 상대 위협 감소)을 점점 더 우선시한다.
• 개입 성공: 레이어 13에서 안전 컨셉(특히 상대의 위협을 완화하는 것에 대한 가중치를 줄이는 것)에 대한 그래디언트 기반 스티어링을 적용했을 때, 최소한의 퇴보(regression)만으로 잊혀진 퍼즐의 61.7%를 복구하였다. 이는 안전 사전 확률이 알고리즘적 솔루션을 억제하는 주요 메커니즘임을 확인시켜 준다.

의의 및 주장

본 논문은 알고리즘적 구조가 알고리즘적 행동을 보장하지 않는다고 주장한다. 모델은 문제를 해결할 수 있는 내부 능력(학습된 룩어헤드 알고리즘을 통해)을 갖추고 있음에도 불구하고, 경쟁적인 학습된 사전 확률(이 경우, 훈련 분포에서 유래된 안전 휴리스틱)이 최종 레이어에서 알고리즘적 계산을 덮어쓰기 때문에 잘못된 답을 출력할 수 있다.

이 발견은 인과적 회로(알고리즘)를 식별하는 것만으로는 모델의 행동을 예측하기에 충분하다는 가정을 반박한다. 이는 검증 가능한 정답(ground truth)이 존재하는 도메인에서도, 모델이 출력에 반영되지 않는 "숨겨진 능력"을 보유할 수 있음을 시사한다. 저자들은 이를 기계론적 해석 가능성에 대한 경고로 제시한다. 즉, 모델이 무엇을 계산하는지 이해하는 것과 모델이 무엇을 출력하기로 선택하는지를 이해하는 것은 별개의 문제이며, 후자는 알고리즘적 솔루션과 충돌하는 사전 확률에 의해 결정될 수 있다는 것이다.