💬 NLP

When Chain-of-Thought Helps and When It Hurts: An Empirical Investigation of the Serial-Depth Bottleneck in LLM Reasoning

이 실증적 연구는 Chain-of-Thought(CoT) 프롬프팅이 거대언어모델(LLM)의 추론 능력을 보편적으로 향상시킨다는 가설에 이의를 제기하며, 대신 CoT의 효과가 '직렬 깊이 병목 현상(serial-depth bottleneck)'에 의해 결정된다는 점을 입증하는데, 즉 CoT는 단일 패스 용량 제한을 우회함으로써 깊이가 높은 작업에서는 성능을 유의미하게 회복시키지만, 이미 해당 용량 내에 들어오는 깊이가 얕은 작업에 대해서는 이득을 거의 또는 전혀 제공하지 않는다.

원저자: Tughanbulut Kurtulush

게시일 2026-08-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tughanbulut Kurtulush

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 퍼즐 조각을 맞추려 한다고 상상해 보세요. 하지만 당신은 한 번에 테이블의 아주 작은 구역만을 볼 수 있습니다. 만약 퍼즐이 빨간색과 파란색 블록을 분류하는 것처럼 단순하다면, 당신은 그것을 쉽게 해낼 수 있을 것입니다. 하지만 퍼설이 "빨간 블록은 여기에 가고, 그 말은 파란 블록은 저기에 가야 하며, 다시 그 말은 초록 블록은 여기에 와야 한다"와 같은 긴 단서의 사슬을 기억해야 하는 것이라면, 당신은 길을 잃을지도 모릅니다. 이것이 현대 인공지능, 특히 대규모 언어 모델(LLM)이라 불리는 특정 유형의 일상적인 투쟁입니다. 이 AI 두뇌들은 믿기지 않을 정도로 똑똑하지만, 기묘한 한계가 있습니다. 문제를 해결하려고 할 때, 그들은 자신의 사고 과정을 적지 않고 한 번에 거대하고 즉각적인 폭발로 최종 답안을 내뱉으려고 한다는 점입니다.

과학자들은 AI에게 "생각하며 말하기"(Chain-of-Thought라고 불리는 기술)를 시키는 것이 더 어려운 퍼즐을 푸는 데 도움이 되는지 오랫동안 궁금해해 왔습니다. 핵심적인 질문은 이것입니다. 단계별로 생각하는 과정이 모든 문제에 도움이 되는 것일까요, 아니면 정말 까다로운 문제들에만 도움이 되는 것일까요? 이를 이해하기 위해서는 두 가지를 알아야 합니다. 첫째, AI 모델에는 '메모리 대역폭'이 있는데, 이는 정보가 통과해야 하는 좁은 복도와 같습니다. 만약 문제가 너무 길고 복잡하면 복도가 막히게 되고, AI는 중간 단계를 잊어버립니다. 둘째, "Chain-of-Thought"는 AI에게 연습장을 주는 것과 같습니다. 퍼즐 전체를 머릿속에 담아두려고 애쓰는 대신, 각 단계를 적고, 그것을 다시 읽고, 계속 진행하는 것입니다. 이 논문은 이 연습장이 모든 것을 고쳐주는 마법 지팡이인지, 아니면 특정 전문적인 작업만을 위한 도구인지를 조사합니다.

이 연구의 연구자는 인기 있는 아이디어를 테스트하기로 했습니다. 즉, AI에게 "연습장"(Chain-of-Thought)을 주는 것이 어렵고 다단계적인 수학 문제를 푸는 데는 도움이 되겠지만, 단순한 사실 기반 질문에는 무용하거나 심지어 성가실 수 있다는 생각입니다. 그들은 AI 모델을 경주하는 달리기 선수처럼 취급하여, 두 가지 다른 방식으로 달리게 했습니다. 하나는 멈추지 않고 결승선까지 직선으로 질주해야 하는 방식(연습장 없음)이고, 다른 하나는 멈춰서 메모를 적고 나서 달릴 수 있는 방식(Chain-of-Thought)입니다. 그들은 다양한 크기의 세 가지 AI 모델과 까다로운 수학 방정식부터 일반 상식 퀴즈, 코딩 작업에 이르는 다섯 가지 유형의 도전을 대상으로 테스트를 진행했습니다.

그들이 발견한 결과는 매우 흥eli로운 분기점이었습니다. 어렵고 다단계적인 수학 문제(GSM8K 및 MATH 벤치마크와 같은)의 경우, "연습장"은 구원 투수였습니다. AI가 단계별로 생각하도록 강제되었을 때, 정확도가 급등했습니다. 예를 들어, 한 수학 테스트에서 가장 작은 모델은 연습장을 사용하여 생각을 적도록 허용되자 정답률이 16.8%에서 84.3%로 뛰어올랐습니다. 이것은 엄청난 향상이며, 깊고 복잡한 추론을 위해서는 AI에게 정말로 문제를 풀 수 있는 추가적인 공간이 필요함을 시사합니다.

하지만 더 단순한 사실 기반 질문(MMLU 및 ARC 벤치마크와 같은)의 이야기는 매우 달랐습니다. 여기서 연구자는 AI에게 "생각하며 말하기"를 강요하는 것이 전혀 도움이 되지 않는다는 것을 발견했습니다. AI는 연습장을 허용하든 허용하지 않든 거의 동일하게 수행했습니다. 어떤 경우에는 개선 폭이 너무 미미하여(5% 미만) 사실상 제로에 가까웠습니다. 이는 기억이나 단순한 사실에 의존하는 질문의 경우, AI에게 연습장이 필요하지 않으며, 이미 한 번에 해결할 수 있는 충분한 두뇌 능력을 갖추고 있음을 시사합니다. "생각하며 말하기"가 단순한 작업에서 오히려 성능을 떨어뜨릴 수도 있다는 아이디어도 테스트되었지만, 데이터는 그것이 해를 끼치지는 않았으며, 단지 차이를 만들지 못했을 뿐이라는 것을 보여주었습니다.

코딩 작업(HumanEval)에서는 한 가지 흥미로운 반전이 있었습니다. 결과는 AI의 "크기"에 전적으로 달려 있었습니다. 가장 큰 AI 모델은 연습장을 사용하여 정답률이 23.2% 더 높아지는 큰 폭의 상승을 보였습니다. 중간 크기의 모델은 작은 상승을 보였습니다. 그러나 가장 작은 모델은 생각하며 말하도록 강제되었을 때 오히려 성능이 저하되어 거의 29% 가까이 떨어졌습니다. 이는 매우 작은 AI 두뇌의 경우, 단계를 적으려고 노력하는 것이 너무 많은 작업이 되어 스스로 발에 걸려 넘어지게 만들 수 있음을 시사합니다.

연구자는 또한 AI가 훈련 데이터에서 정답을 암기하여 "회상"하고 있는 것인지 확인했습니다. 그들은 수학 문제의 숫자들을 가짜 이름과 기호로 교체하여 테스트했습니다. 이러한 변화에도 불구하고, AI는 문제를 올바르게 풀기 위해 여전히 연습장이 필요했습니다. 이는 AI가 단순히 암기된 답을 회상하는 것이 아니라 실제로 수학을 하고 있다는 것을 증명합니다.

결론적으로, 이 논문은 Chain-of-Thought가 만능 치료제가 아님을 알려줍니다. 그것은 특화된 도구입니다. 그것은 AI의 단일 패스 두뇌로는 감당할 수 없는 너무 깊고 복잡한 문제를 해결할 수 있게 해주는 "대역폭 우회로" 역할을 합니다. 하지만 이미 얕거나 단순한 문제에 대해서는 이 도구가 불필요합니다. 연구자는 우리가 모든 질문에 대해 AI가 "생각"해야 한다고 가정해서는 안 된다고 결론짓습니다. 때로는 그냥 직접 답하게 하는 것이 낫고, 또 다른 때에는 연습장을 주는 것이 정답을 얻을 수 있는 유일한 방법입니다.

기술 요약: 사고의 사슬(Chain-of-Thought)이 도움이 되는 경우와 해가 되는 경우

문제 제기
사고의 사슬(Chain-of-Thought, 이하 CoT) 프롬프팅이 대규모 언어 모델(LLM)의 추론 능력을 보편적으로 향상시킨다는 것은 널리 알려진 가정이다. 그러나 이 가정에 대한 이론적 근거는 종종 메커니즘적 제약이라기보다 휴리스틱(heuristic)으로 취급되어 왔다. 본 논문은 Hdp 대역폭 한계(Chen et al., 2024)의 관점을 통해 CoT가 보편적인 강화 도구로서 유효한지 조사한다. 이 한계치는 $L$ 개의 레이어, $H$ 개의 어텐션 헤드, 헤드 차원 $d$ , 그리고 정밀도 $p$ 를 가진 디코더 전용 트랜스포머가 만약 대역폭 파라미터가 $Hdp \le n^{2-4L}$ (여기서 $n$ 은 프롬프트 길이)인 경우, $L$ -순차적 함수 합성(sequential function composition)을 해결할 수 없다고 상정한다.

비록 이 공식적인 한계치는 점근적(asymptotic)이며 연구된 모델들의 경우 천문학적인 컨텍스트 길이( $n^* \approx 10^{1034}$ )에서만 적용되지만, 이는 근본적인 구조적 병목 현상을 식별한다. 즉, 트랜스포머의 단일 순방향 패스(single-forward-pass) 용량을 초과하는 **직렬 계산(serial computation)**은 외부화되어야 한다. CoT는 정확히 이러한 외부화를 수행한다. 핵심 연구 질문은 이 이론적 병목 현상이 실제적인 컨텍스트 길이(수백에서 수천 토큰)에서 경험적으로 나타나는지, 그리고 CoT가 작업 복잡도와 관계없이 보편적인 이득을 제공하는지, 아니면 고심도(high-depth) 작업에 특화된 "대역폭 우회(bandwidth bypass)" 역할을 하는지 여부이다.

방법론
본 연구는 세 가지 인스트럭션 튜닝된 모델과 다섯 가지 표준 NLP 벤치마크를 대상으로 Chen et al. (2024)에서 도출된 질적 가설을 테스트하기 위해 사전 등록된 실험 설계를 채택하였다.

모델: 다양한 대역폭($Hdp$)을 가진 세 가지 디코더 전용 트랜스포머:
- Qwen-2.5-7B-Instruct ( $Hdp \approx 57k$ )
- Llama-3.1-8B-Instruct ( $Hdp \approx 65k$ )
- Qwen-2.5-32B-Instruct ( $Hdp \approx 82k$ )
벤치마크 및 심도 분류: 다섯 가지 벤치마크를 다음의 복잡도 클래스에 따라 매핑하였다:
- P-complete (고심도): $k$ -순차적 산술 합성을 요구하는 GSM8K 및 MATH.
- TC0 (저심도): 집합 불일치(set disjointness)나 희소 패리티(sparse parity)와 같은 상수 심도 회로를 요구할 것으로 가설이 세워진 MMLU 및 ARC-Challenge.
- Class L (중간 단계): 포인터 체이싱(pointer chasing)이나 순차적 함수 합성을 포함할 것으로 가설이 세워진 HumanEval.
실험 조건:
- No-CoT (단일 패스 대리 모델): 중간 추론 단계의 외부화를 방지하기 위해 엄격한 토큰 제한(대부분의 작업에 대해 32 토큰, HumanEval의 경우 256 토큰)을 적용한 직접 답변 프롬프트.
- CoT: 중간 단계를 출력 스트림에 기록할 수 있도록 2048 토큰 제한을 둔 표준 사고의 사슬 프롬프트.
지표: 정확도는 정밀 일치 추출(수학/NLP) 또는 기능 실행(HumanEval)을 통해 측정되었다. 통계적 유의성은 McNemar의 정확 검정과 Bonferroni 교정을 사용한 Spearman 순위 상관관계를 통해 평가되었다.

주요 결과
경험적 결과는 보편적인 CoT 이득이 아닌 "직렬 심도 기울기(serial-depth gradient)"를 지지한다:

고심도 회복 (P-complete): GSM8K와 MATH에서 CoT는 세 모델 모두에서 막대한 정확도 회복을 제공했다. "회복 격차"(CoT 정확도 - No-CoT 정확도)는 **+54 ~ +68 퍼센트 포인트(pp)**에 달했다. 예를 들어, Qwen-7B는 GSM8K에서 23.1%에서 91.1%로 향상되었다. 이는 단일 패스 용량을 초과하는 작업이 계산의 외부화를 통해 크게 이득을 얻는다는 것을 확인시켜 준다.
저심도 중립성 (TC0): CoT가 노이즈를 유발하여 얕은 작업에 해를 끼칠 수 있다는 가설과 달리, CoT는 MMLU 및 ARC-Challenge에서 대략적으로 중립적이었다. 모든 6개 모델-벤치마크 셀에서의 정확도 변화( $\Delta$ )는 0.0 ~ +4.6 pp 사이였으며, Bonferroni 교정 후에도 통계적으로 유의미한 부정적 효과는 나타나지 않았다. 저자는 ARC의 높은 No-CoT 베이스라인(최대 95%)이 사전 학습 오염을 반영하여 미세한 구조적 페널티를 가릴 수 있다고 언급했다.
중간 단계 전이 (Class L): HumanEval은 모델 크기에 따른 전이를 보여주었다. 가장 큰 모델(Qwen-32B)은 +23.2 pp의 이득을 보았고, 중간 크기 모델(Llama-8B)은 +9.1 pp의 이득을 보았으나, 가장 작은 모델(Qwen-7B)은 -28.7 pp의 손실을 입었다. 이는 중간 복잡도의 경우 CoT의 효용이 모델 용량에 달려 있음을 시사한다.
심도-기울기 상관관계: 할당된 작업 심도와 CoT 회복 격차 사이의 통합된 Spearman 상관계수는 $\rho = 0.661$ ( $p=0.007$ )을 기록했다. 또한, MATH 및 GSM8K 벤치마크 내에서 No-CoT 정확도는 항목당 순차적 심도( $k$ )가 증가함에 따라 단조 감소한 반면, CoT 정확도는 안정적으로 유지되어, 병목 현상이 실제로 직렬 심도임을 확인했다.
암기 제어: 표면적 암기를 방해한 변형 버전인 GSM-Symbolic에 대한 테스트 결과, Co-T 회복 격차는 표면적 암기가 무너진 상태에서도 지속되었다. 이는 해당 효과가 단순한 암기된 답안의 인출이 아니라 구조적 결과임을 나타낸다.

의의 및 주장
본 논문은 사고의 사슬이 보편적인 추론 강화 도구가 아니라 하나의 대역폭 우회(bandwidth bypass) 역할을 한다고 결론짓는다. Co-T의 주요 효용은 트랜스포머가 단일 순방향 패스 용량을 초과하는 직렬 심도를 요구하는 작업을 해결할 수 있도록 돕는 데 있다.

이론의 정교화: 본 연구는 비록 공식적인 점근적 한계치가 실제적인 컨텍스트 길이에서는 수학적으로 적용되지 않더라도, Hdp 한계의 메커니즘(직렬 심도 병목)을 검증한다.
단방향 효과: 저자는 CoT가 저복잡도(TC0) 작업에 능동적으로 해를 끼친다는 가설을 거부한다. 대신, 데이터는 작업이 이미 모델의 단일 패스 대역폭 내에 들어오는 경우, Co-T가 천장 효과(ceiling effects)나 데이터 오염 문제를 겪지 않는 한 단순히 중복적이라는 점을 시사한다.
구조적 한계: 연구 결과는 디코더 전용 트랜스포머가 단일 패스 내에서 수행할 수 있는 직렬 계산에 명확한 한계가 있음을 강화한다. 이 한계가 초과될 때 단계를 외부화하는 것(CoT)이 성능을 위해 필수적이지만, 한계에 미치지 못할 때는 CoT가 별다른 이점을 제공하지 않는다.

저자는 ARC와 MMLU 같은 벤치마크의 높은 베이스라인이 사전 학습 노출에 의해 혼란을 줄 수 있음을 언급하며, 단순한 작업에 대한 CoT의 "해악"에 관한 주장이 신중해야 함을 강조했다. 본 연구는 직렬 심도 병목 가설에 대한 경험적 검증으로서, CoT의 이득 범위를 고복잡도 및 직렬 의존적 추론 작업으로 좁히는 역할을 한다.

기술 요약: 사고의 사슬(Chain-of-Thought)이 도움이 되는 경우와 해가 되는 경우

유사한 논문