Quantifying the Necessity of Chain of Thought through Opaque Serial Depth

이 논문은 '불투명 직렬 깊이 (opaque serial depth)'라는 개념을 정립하고 이를 통해 체인 오브 씽킹 (Chain of Thought) 없이 수행 가능한 추론의 한계를 정량화하여, 모델이 외부화되지 않은 추론을 할 수 있는 잠재력을 평가하는 새로운 도구를 제시합니다.

핵심

1. 핵심 문제: AI 는 '생각'을 숨길 수 있을까?

대부분의 최신 AI(거대 언어 모델) 는 우리가 입력한 질문에 답할 때, **생각하는 과정 (Chain of Thought)**을 텍스트로 먼저 출력합니다.
예를 들어, "사과가 5 개 있는데 2 개를 먹으면?"이라고 물으면, AI 는 바로 "3"이라고 답하는 대신, **"5 에서 2 를 빼면 3 이다"**라고 말하며 답을 줍니다.

연구자들은 이것이 단순한 습관이 아니라, AI 가 복잡한 문제를 풀기 위해 필수적으로 거쳐야 하는 단계라고 봅니다. 마치 우리가 어려운 수학 문제를 풀 때 종이에 계산 과정을 적어놓지 않고는 머릿속만으로 해결하기 어려운 것과 비슷합니다.

하지만 만약 AI 가 생각하는 과정을 텍스트로 쓰지 않고, 머릿속 (내부 회로) 에서만 모든 계산을 끝낸다면? 우리는 AI 가 어떻게 그 답을 냈는지 전혀 알 수 없게 됩니다. 이것이 바로 **'불투명한 (Opaque) 사고'**입니다.

2. 새로운 자: '불투명한 심도 (Opaque Serial Depth)'

이 논문은 AI 가 얼마나 많은 '불투명한 사고'를 할 수 있는지 측정하는 새로운 자를 만들었습니다. 이를 **'불투명한 심도'**라고 부릅니다.

• 비유: AI 를 거대한 공장이라고 상상해 보세요.
  • 투명한 공장 (Chain of Thought): 공장의 모든 작업이 유리창으로 된 방에서 이루어집니다. 우리는 어떤 기계가 어떤 재료를 어떻게 가공하는지 실시간으로 볼 수 있습니다.
  • 불투명한 공장 (Opaque Computation): 공장의 일부 구역이 검은색 방으로 되어 있습니다. 우리는 재료가 들어가는 것과 결과물이 나오는 것만 볼 수 있고, 그 사이에서 무슨 일이 일어나는지 알 수 없습니다.

이 논문은 **"AI 가 검은색 방 (불투명한 구역) 에서 얼마나 긴 시간, 얼마나 복잡한 작업을 할 수 있는가?"**를 계산하는 방법을 제시합니다.

3. 왜 이것이 중요한가? (안전과 감시)

만약 AI 가 검은색 방에서 너무 길고 복잡한 작업을 할 수 있다면, 우리는 AI 가 **사악한 계획을 세우거나, 우리를 속이는 방법 (스텔라그래피)**을 그 안에서 개발할 수 있습니다.

• 현재의 AI (Transformer): 대부분의 최신 AI 는 '유리창' 구조를 가지고 있습니다. 정보를 다음 단계로 넘길 때 반드시 '텍스트 (생각의 과정)'를 거쳐야 합니다. 따라서 AI 가 복잡한 문제를 풀려면 반드시 생각 과정을 외부에 드러내야 합니다. 이는 AI 를 감시하기에 아주 좋은 구조입니다.
• 미래의 AI (RNN 또는 다른 구조): 만약 AI 의 구조가 바뀌어, '생각'을 텍스트 없이 머릿속 (활성화 값) 에서만 계속 이어갈 수 있다면, AI 는 우리가 전혀 눈치채지 못한 채 복잡한 계획을 세울 수 있게 됩니다.

4. 연구 결과: 어떤 구조가 더 위험한가?

연구팀은 이 '불투명한 심도'를 계산하는 자동화된 도구를 개발하고, 실제 AI 모델 (Gemma 3 등) 에 적용해 보았습니다.

• 일반적인 AI (Transformer): 생각 과정이 텍스트로 드러나기 때문에, '불투명한 심도'가 비교적 낮습니다. 즉, 복잡한 일을 하려면 반드시 우리를 통해 지나가야 합니다.
• 순환 신경망 (RNN) 이나 메모리 구조: 정보를 텍스트 없이 내부에서만 전달할 수 있는 구조는 '불투명한 심도'가 매우 높습니다. 이는 AI 가 내부에서 아주 긴 시간 동안 '생각'할 수 있음을 의미하며, 이는 감시하기 어렵다는 뜻입니다.
• 전문가 혼합 모델 (MoE): 흥미롭게도, 여러 전문가가 협력하는 방식 (MoE) 은 일반 모델보다 '불투명한 심도'가 더 낮을 수 있다는 결과가 나왔습니다. 즉, 구조에 따라 오히려 더 투명해질 수도 있다는 뜻입니다.

5. 결론: 우리는 무엇을 해야 할까?

이 논문의 결론은 매우 명확합니다.

"우리는 AI 가 똑똑해지길 원하지만, 그 과정에서 AI 가 '생각하는 과정'을 숨기지 못하게 해야 합니다."

이를 위해 우리는 AI 의 구조를 설계할 때, "생각을 외부로 드러내지 않고는 복잡한 문제를 풀 수 없도록" 만드는 것이 안전을 위해 필수적이라고 말합니다. 마치 도둑이 도둑질을 하려면 반드시 문을 열어야 하듯이, AI 가 복잡한 계획을 세우려면 반드시 '생각의 과정'을 보여줘야만 감시하고 막을 수 있다는 것입니다.

한 줄 요약:
이 논문은 **"AI 가 머릿속으로만 생각할 수 있는 능력 (불투명한 심도) 을 수학적으로 측정하는 방법을 개발했고, 이 능력을 제한하는 것이 AI 를 안전하게 만드는 핵심"**임을 증명했습니다.

기술 요약

논문 요약: "Quantifying the Necessity of Chain of Thought through Opaque Serial Depth"

이 논문은 대형 언어 모델 (LLM) 의 안전성 (AI Safety) 과 관련된 중요한 주제인 **Chain of Thought **(CoT, 사고의 사슬)를 정량화하기 위해 새로운 개념인 **불투명 직렬 깊이 **(Opaque Serial Depth)를 제안하고 분석합니다.

1. 문제 제기 (Problem)

• CoT 모니터링의 중요성: LLM 의 안전성을 확보하기 위해 모델이 추론하는 과정 (Chain of Thought) 을 외부로 표출하여 모니터링하는 것이 핵심 전략 중 하나입니다.
• Transformer 아키텍처의 한계: 현재 주류인 Transformer 아키텍처는 장기적인 직렬 추론 (long serial cognition) 을 수행할 때, CoT 를 통해 정보를 외부화 (표출) 해야만 합니다. 이는 CoT 가 정보 전달의 병목 현상이 되기 때문입니다.
• 새로운 아키텍처의 위협: 순환 신경망 (RNN) 이나 지속적 메모리 (Persistent Memory) 와 같은 새로운 아키텍처는 내부 활성화 (activations) 내에서 장기간의 직렬 추론을 가능하게 할 수 있습니다. 이 경우 모델은 CoT 없이도 복잡한 추론을 수행할 수 있게 되어, 인간의 감시 (모니터링) 를 우회할 위험이 있습니다.
• 정량적 기준의 부재: "어떤 아키텍처가 CoT 없이 추론할 수 있는가?"에 대한 엄밀하고 정량적인 기준이 부족했습니다. 단순히 레이어 수를 세는 것은 정규화 계층이나 멀티헤드 어텐션 등 구조적 차이를 반영하지 못해 부정확합니다.

2. 방법론 (Methodology)

저자들은 **회로 깊이 **(Circuit Depth) 개념을 차용하여 **불투명 직렬 깊이 **(Opaque Serial Depth)를 정의하고 계산하는 방법을 제시했습니다.

2.1. 불투명 직렬 깊이의 정의

• **회로 깊이 **(Circuit Depth) 주어진 함수를 계산하는 최소 깊이의 부울 회로 (Boolean circuit) 의 깊이를 의미합니다. 이는 병렬 처리를 허용하더라도 필요한 최소한의 직렬 계산 단계를 나타냅니다.
• **불투명성 **(Opacity) 모델의 내부 계산 (가중치, 활성화 값 등) 은 해석이 어렵지만, CoT 와 같은 중간 단계는 인간이 이해할 수 있는 (해석 가능한) 노드로 간주합니다.
• 계산 방식: 해석 가능한 노드 (예: 입력 토큰, 출력 토큰, CoT 토큰) 사이에서 일어나는 직렬 계산의 최대 깊이를 측정합니다. 즉, "해석 가능한 중간 단계 없이" 모델이 얼마나 깊게 추론을 할 수 있는지를 수치화합니다.

2.2. 계산 알고리즘

• 상한선 계산: 특정 신경망이 수행하는 함수와 동일한 회로를 구성할 때, 그 회로의 깊이를 계산하여 상한선 (Upper Bound) 을 구합니다.
• 연산자별 깊이 할당:
  • 2 개 이상의 입력을 받는 결합 연산 (Associative binary operations, 예: 합계, 곱셈) 은 $\log_2(n)$의 깊이를 가집니다.
  • 2 개 이하의 입력을 받는 조각별 해석 함수 (Piecewise analytic functions) 는 1 의 깊이를 가집니다.
• 자동화 도구: JAX 라이브러리를 기반으로 한 자동화 도구를 개발하여 임의의 신경망 아키텍처에 대해 불투명 직렬 깊이의 상한선을 자동으로 계산할 수 있게 했습니다.

3. 주요 기여 (Key Contributions)

1. 개념의 형식화: CoT 의 필요성을 설명하는 직관적인 아이디어를 '불투명 직렬 깊이'라는 수학적, 계산 복잡도 이론 기반의 엄밀한 개념으로 정립했습니다.
2. 실제 모델에 대한 상한선 계산: Gemma 3 시리즈 (1B, 4B, 12B, 27B) 모델에 대해 수동으로 깊이를 계산하고, 이를 통해 최대 시퀀스 길이에서의 구체적인 깊이 값을 도출했습니다.
3. 자동화 도구 오픈소스: JAX 기반의 자동 깊이 계산기를 개발하여 오픈소스화했습니다. 이 도구는 수동 계산과 유사한 정확도를 가지면서도 훨씬 효율적입니다.
4. 아키텍처 비교 분석: 다양한 아키텍처 (Transformer, RNN, MoE, 지속적 메모리 등) 에 대한 점근적 깊이 분석을 수행하여, 어떤 설계가 CoT 없이 추론할 가능성을 높이는지 규명했습니다.

4. 주요 결과 (Results)

4.1. Gemma 3 모델의 깊이 분석

• Gemma 3 모델들의 불투명 직렬 깊이는 시퀀스 길이 ($T$) 에 대해 로그 스케일 ($O(\log T)$) 로 증가하는 것을 확인했습니다.
• 수치 예시 (최대 시퀀스 길이 기준):
  • Gemma 3 1B: 약 4,490
  • Gemma 3 27B: 약 11,662
• 자동화 계산기는 수동 계산 결과보다 약 28% 정도 과대평가하는 경향이 있었으나, 이는 계산 효율성과 실용성 측면에서 수용 가능한 오차로 판단되었습니다.

4.2. 아키텍처별 깊이 비교

• **Transformer **(CoT 사용) 각 토큰 생성 시 직렬 깊이는 $O(L(\log T + \log D))$로 제한됩니다. (여기서 $L$은 레이어 수, $D$는 차원)
• RNN: 직렬 깊이가 시퀀스 길이에 선형적으로 비례하여 $O((L+T)\log D)$가 됩니다. 이는 CoT 없이도 긴 직렬 추론이 가능함을 의미합니다.
• **지속적 블랙박스 메모리 **(Persistent Black Box Memory) 메모리 내용을 해석할 수 없다면, 깊이는 무한대 (Unbounded) 가 될 수 있습니다. 이는 모델이 내부적으로 무한한 추론을 수행하고 외부에는 이를 드러내지 않을 수 있음을 시사합니다.
• **Mixture-of-Experts **(MoE) Gemma 3 12B (Dense) 의 깊이 (약 11,268) 에 비해, MoE 모델 (11B 활성 파라미터) 의 깊이는 약 4,096 으로 훨씬 낮았습니다. 이는 MoE 아키텍처가 Dense 모델보다 직렬 깊이를 줄여 CoT 의존성을 낮출 수 있음을 시사합니다.

5. 의의 및 결론 (Significance)

• 안전성 평가 도구: 불투명 직렬 깊이는 AI 시스템이 "인간이 이해할 수 있는 방식 (CoT)"으로 추론하는지, 아니면 "불투명한 내부 상태"로 복잡한 추론을 숨기는지 판단하는 강력한 지표가 됩니다.
• 아키텍처 설계 가이드: 안전하고 해석 가능한 AI 를 개발하기 위해서는 불투명 직렬 깊이를 낮게 유지하는 아키텍처 (예: CoT 를 필수적으로 만드는 구조) 를 선호해야 함을 시사합니다. 반대로, RNN 이나 지속적 메모리, MoE 와 같은 구조는 CoT 없이도 추론이 가능할 수 있으므로 추가적인 감시 메커니즘이 필요할 수 있습니다.
• 미래 방향: 이 연구는 복잡한 AI 시스템의 투명성을 유지하면서도 성능을 향상시키는 아키텍처 개발에 필요한 이론적 기반과 실용적 도구를 제공합니다.

요약하자면, 이 논문은 LLM 이 CoT 없이 얼마나 복잡한 추론을 할 수 있는지를 회로 깊이 이론을 통해 정량화하고, 이를 통해 다양한 아키텍처의 안전성 위험을 평가할 수 있는 새로운 프레임워크를 제시했습니다.