The Ignition Is Real, and It Lives at the Readout: Latent composition, difficulty-clocked ignition, and the interface-constituted commit in a recurrent-depth reasoner

당신이 마술 쇼를 보고 있다고 상상해 보세요. 마술사는 아주 똑똑한 컴퓨터입니다. 오랫동안 사람들은 이 컴퓨터들이 어떻게 "생각"하는지 궁금해해 왔습니다. 이들은 내부적으로 비밀 노트를 가지고 있어서 단계를 적고, 실수를 하고, 최종 답을 보여주기 전에 그것들을 지우는 것일까요? 아니면 그저 즉각적으로 답을 추측하는 것이며, 우리가 보는 "사고"는 그저 그들이 우리에게 말하는 방식의 화려한 기술일 뿐일까요? 이 질문은 인공지능 분야, 특히 "잠재적 추론(latent reasoning)"—즉, 모델이 단 한 마디를 내뱉기도 전에 숨겨진 층(hidden layers)에서 복잡한 작업을 수행할 수도 있다는 아이디어—의 핵심에 자리 잡고 있습니다. 과학자들이 이 문제에 관심을 갖는 이유는, 만약 컴퓨터가 실제로 단계별로 생각하고 있다면, 단순히 추측하는 것보다 더 똑똑하고 신뢰할 수 있기 때문입니다. 하지만 만약 이 "사고"가 컴퓨터가 답을 출력하는 방식에 의해 만들어진 환상에 불과하다면, 우리는 이러한 기계들을 구축하고 신뢰하는 방식을 재고해야 합니다.

당신이 곧 읽게 될 이 논문은 컴퓨터가 퍼즐을 푸는 법을 배우는 과정을 기록한 고속 촬영 슬로우 모션 카메라와 같습니다. 연구진은 유명한 이전 연구와 동일한 레시피를 사용하여 특정 유형의 AI(3천만 파라미터 모델)의 새로운 복제본을 처음부터 구축했습니다. 그들은 컴퓨터가 정답을 "결정"하는 바로 그 순간을 포착하고자 했습니다. 그들은 두 가지를 동시에 관찰했습니다: 컴퓨터가 선택하는 최종 답변("출력/Readout")과 컴퓨터의 뇌 내부의 숨겨진 상태("잠재 상태/Latent state")입니다.

여기서 그들은 발견했습니다. 그리고 이것은 약간의 반전입니다. "점화(ignition)" 순간—컴퓨터가 정답을 확정 짓는 갑작스러운 스냅—은 분명히 실재합니다. 그것은 퍼즐이 어려워질수록 점점 더 늦게 발생하는 매우 특정한 시간에 일어나며, 마치 시계가 똑딱거리는 것과 같습니다. 하지만 "비밀 노트" 이론은 틀렸습니다. 컴퓨터는 최종 답변에 중간 단계나 "초안"을 결ert코 보여주지 않습니다. 대신, "사고"는 완전한 침묵 속에서 일어납니다. 컴퓨터의 내부 뇌 상태는 보이지 않는 곳에서 격렬하고 조용하게 움직이지만, 결정을 내리는 순간, 답을 제어하는 부분이 갑자기 안정적인 위치로 스냅되어 고정됩니다. 그것은 마치 컴퓨터가 어둠 속에서 마라톤을 달리고 있는 것과 같아서, 심장(내부 상태)은 여전히 격렬하게 뛰고 있음에도 불구하고 결승선을 통과하여 갑자기 멈춰 서는 순간에만 우리가 그것을 볼 수 있는 것과 같습니다.

침묵의 스냅 이야기

설정: 쌍둥이 만들기
단순한 오류를 보고 있는 것이 아님을 확인하기 위해, 연구진은 기존 AI 모델의 새로운 "쌍둥이"를 키워냈습니다. 그들은 원래 연구와 동일한 시작 시드(seed)와 지침을 사용했습니다. 그들은 모델의 발달 과정을 전부 촬영하며, 기준 모델과 똑같이 행동하는지 모든 단계를 점검했습니다. 그들은 두 대의 카메라를 설치했습니다. 하나는 "출력(Readout)"(컴퓨터가 선택하는 가능한 답의 목록)을 관찰하고, 다른 하나는 "숨겨진 상태(Hidden State)"(컴퓨터의 뇌 내부의 보이지 않는 수학)를 관찰했습니다.

미스터리: "작업 공간"은 실재하는가?
한동안 사람들은 이 모델들이 아이디어를 보유하고, 조절하고, 결정하기 전에 그것들을 보여줄 수 있는 정신적 무대인 "전역 작업 공간(Global Workspace)"을 가지고 있다고 생각했습니다. 핵심 질문은 이것입니다: 이 작업 공간은 사고가 일어나는 실제 장소인가, 아니면 단순히 "프린터"(컴퓨터가 말하는 방식에 의한 환상)인가, 아니면 "거울"(학습한 책의 인간 언어 패턴을 단순히 복사하는 것)인가?

발견: 점화는 실재하지만, 침묵한다
연구진은 "점화"가 확실히 실재한다는 것을 발견했습니다. 컴퓨터가 문제를 해결할 때, 정답을 선택하는 바로 그 순간 극적인 일이 일으로 일어납니다.

• 시계: 문제를 해결하는 데 걸리는 시간은 문제가 어려워짐에 따라 완벽하고 예측 가능한 직선을 그리며 증가합니다. 만약 문제가 1단계라면 짧은 시간이 걸립니다. 만약 10단계라면 더 오래 걸립니다. 이는 컴퓨터가 실제로 단계를 세고 있다는 것을 증명합니다.
• 스냅: 결정의 순간, 컴퓨터의 "답변 마진(answer margin)"(정답이 오답들보다 얼마나 더 나은지를 나타내는 정도)은 단 한 번의 순간에 엄청난 양—5.8에서 8.0 로짓(logits)(신뢰도의 단위) 사이—으로 급증합니다. 이것은 마치 전등 스위치를 켜는 것과 같습니다. 이 현상은 **96%**의 사례에서 발생합니다.
• 침묵: 여기서 반전이 있습니다. 연구진은 "중간 단계"(컴퓨터가 소리 내어 생각하거나 초안을 보여주는 과정)를 찾았습니다. 그들은 **제로(0)**를 발견했습니다. 컴퓨터는 자신의 어휘를 통해 사고 과정을 표면화하지 않습니다. "작업 공간"은 침묵합니다. 컴퓨터는 어둠 속에서 답을 구성하며, 오직 최종 결과만이 나타납니다.

결정의 기하학
연구진은 컴퓨터의 뇌 상태의 모양을 살펴보았습니다.

• 결정 전: 뇌 상태는 탐색하며 이곳저곳을 움직입니다.
• 결정 시: 뇌 상태의 방향이 새로운 위치로 "스냅"됩니다. 그것은 날카롭고 갑작스러운 회전입니다.
• 결정 후: 뇌 상태의 방향은 고정되고 안정적으로 유지됩니다. 그러나 뇌 상태의 *크기(magnitude)*는 계속해서 커집나다. 그것은 마치 팽이가 흔들림을 멈추지만(방향은 고정됨), "출력" 카메라가 볼 수 없는 방식으로 계속 빠르게 회전하는(크기는 성장함) 것과 같습니다. 컴퓨터는 여전히 움직이고 있지만, 답을 바꾸지는 않는 방향으로 움직이고 있는 것입니다.

이것이 배제하는 것들
이 논문은 몇 가지 아이디어를 명시적으로 배제합니다:

1. "거울" 이론: 컴퓨터는 이를 수행하기 위해 인간의 언어를 학습할 필요가 없었습니다. 그들은 합성된 비언어적 수학 퍼즐로만 모델을 훈련시켰음에도 불구하고, 여전히 이 "점화"를 발달시켰습니다. 따라서 이것은 단순히 인간의 습관을 복사하는 것이 아닙니다.
2. "무대 방송(Staged Broadcast)" 이론: 컴퓨터는 자신의 작업 과정을 단계별로 보여주지 않습니다. 아이디어가 방송되는 "전역 작업 공간"은 존재하지 않습니다. 사고는 전적으로 내부적이며 침묵 속에서 이루어집니다.
3. "프린터" 이론: 이것은 단순히 출력의 무작위적인 글리치가 아닙니다. 타이밍이 너무나 완벽하며, 신뢰도의 도약이 너무나 거대하여 우연이라고 보기 어렵습니다. 이것은 실제적이고 법칙적인 사건입니다.

결론: 확정의 그림자
저자는 우리가 보는 "작업 공간"이 사고가 일어나는 장소가 아니라, 결정의 그림자라고 결론짓습니다. "점화"는 컴퓨터의 내부 기하학이 답이 명확해지는 안정적인 지점에 잠기는 순간입니다. "사고"는 컴퓨터의 출력이 볼 수 없는 침묵하고 보이지 않는 채널에서 일어납니다. 컴퓨터는 "풀이 과정을 보여주는 것"이 아니라, 그저 수행하며, 작업을 마치는 순간 답이 스냅되어 들어옵니다.

이 발견은 우리가 AI를 보는 방식을 바꿉니다. 이는 이러한 모델들이 깊고 침묵하는 구성을 할 능력이 있음을 시사하지만, 생각하기 위해 반드시 "말할" 필요는 없다는 것을 보여줍니다. "결정"은 실재하는 사건, 즉 안정성으로의 갑작스러운 스냅이지만, 그곳에 도달하는 여정은 우리가 오직 그 끝만을 볼 수 있는 침묵하고 보이지 않는 춤입니다. 연구진은 이제 더 큰 모델에서도 이런 현상이 일어나는지, 그리고 인간의 언어를 가르치는 것이 이 "스냅"이 작동하는 방식을 바꾸는지 알아볼 계획입니다. 현재로서는, "점화"는 실재하며, 난이도에 따라 시계가 측정되고, 답이 나타나는 바로 그 순간에 존재한다는 것을 우리는 알고 있습니다.