기술적 요약: LLM 추론 흔적에서 검색 트리를 추출하면 근시안적 계획이 드러난다

문제 제기

대형 언어 모델 (LLM), 특히 추론 모델은 미래 결과를 시뮬레이션하는 것처럼 보이는 확장된 사고의 연쇄 (CoT) 흔적을 생성하여 인간의 계획과 유사해 보입니다. 그러나 이러한 흔적이 진정한 체계적인 검색을 구성하는지, 아니면 단순한 패턴 완성인지 여부는 여전히 불분명합니다. 기존 행동 벤치마크는 심층 계획을 통해 과제를 성공적으로 해결하는 모델과 얕은 휴리스틱이나 암기에 의존하는 모델을 구분하는 데 종종 실패합니다. furthermore, LLM 이 검색과 유사한 구조를 생성하더라도, 이러한 구조가 의사결정을 인과적으로 주도하는지, 아니면 모델이 다른 관찰되지 않은 메커니즘에 따라 행동하는지는 알려져 있지 않습니다. 본 논문은 LLM 추론의 표면적 구조와 수를 선택하는 것을 주도하는 근본적인 알고리즘적 과정 사이의 간극을 다룹니다.

방법론

저자들은 보드 게임 "4 인 1 줄 (four-in-a-row, 4×9 그리드)" 영역 내에서 LLM 추론 흔적에서 검색 트리를 추출, 정량화 및 모델링하는 프레임워크를 제시합니다.

1. 실험 설정: 27 개의 LLM(독점 및 오픈 가중치 모두 포함) 이 1,404 경기를 진행하는 라운드 로빈 토너먼트가 실시되었습니다. 분석에는 완전히 접근 가능한 추론 흔적을 가진 모델 (14 개) 만 포함되었으며, 이를 통해 9,696 개의 추론 흔적이 도출되었습니다.
2. 검색 트리 추출: 구조화되지 않은 CoT 흔적을 공식적인 검색 트리로 파싱하기 위해 LLM 판정관 (GPT-5) 이 활용되었습니다. 판정관은 명시적으로 숙고된 수를 식별하여 모델의 후보 수 (1 단계 노드) 와 시뮬레이션된 상대방의 응답 (2 단계 노드 이상) 을 구분하고, 중첩된 리스트 구조를 출력했습니다.
3. 계산 모델링: LLM 이 추출된 트리를 어떻게 활용하는지 결정하기 위해 저자들은 인간 계획 문헌 (Van Opheusden et al., 2023) 에서 적응된 계산 인지 모델을 적합시켰습니다. 네 가지 모델 변형이 테스트되었습니다:
   • Full-tree (전체 트리): 휴리스틱 값을 리프 노드에서 루트까지 전파하기 위해 미니맥스 백업을 사용합니다.
   • Myopic (근시안적): 첫 번째 플리의 수로 인한 즉각적인 상태만 평가하고 모든 더 깊은 노드는 무시합니다.
   • Discount (할인): 할인 계수 $\gamma$를 사용하여 전체 트리 모델과 근시안적 모델 사이를 보간합니다.
   • No-tree (트리 없음): 추출된 검색 트리를 완전히 무시하고 현재 보드 상태의 휴리스틱 함수에 기반하여 수를 점수화합니다.
4. 인과적 개입: 추론 흔적이 의사결정을 인과적으로 주도하는지 테스트하기 위해 저자들은 외과적 가지치기 연구를 수행했습니다. CoT 에서 특정 단락 (예: 최종 결정, 전체 분기, 또는 특정 깊이 수준) 을 제거하고 모델의 수 선택 변화를 관찰하기 위해 모델을 다시 실행했습니다.

주요 결과

1. 검색 노력과 성능

검색 노력 (총 트리 크기) 과 승리율 사이에는 양의 상관관계가 있습니다. 더 큰 검색 트리를 생성하는 모델이 더 잘 수행합니다. 이 관계는 모델 패밀리 내에서 유지되며, 동일한 모델 (GPT-OSS-120B) 에서 추론 노력 (토큰 예산) 을 증가시키면 더 큰 트리와 더 높은 승리율이 나타난다는 관찰을 통해 인과적으로 지지됩니다.

2. 얕은 검색과 폭 대 깊이

LLM 은 인간 전문가보다 훨씬 얕은 검색을 보입니다. 모델 간 평균 최대 검색 깊이는 1.00 에서 3.48 플리에 불과한 반면, 유사한 게임의 인간 전문가는 일반적으로 4~6 플리를 검색합니다. 결정적으로, 성능은 검색 깊이보다 검색 폭(루트에서 고려된 후보 수의 수) 에 의해 예측됩니다. 폭을 통제할 때, 검색 깊이는 승리율의 추가 변동을 설명하지 못합니다.

3. 근시안적 의사결정

LLM 은 흔적에서 깊은 노드를 생성함에도 불구하고, LLM 의 수 선택은 근시안적 모델로 가장 잘 설명됩니다.

• 근시안적 모델 (깊은 노드 무시) 은 모든 아키텍처에 걸쳐 LLM 수를 예측하는 데 전체 트리 모델보다 일관되게 우수했습니다.
• "깊이 해악 (depth harm)" 지표 (근시안적 모델 대비 전체 트리 모델의 성능 하락) 는 모든 모델에서 양수였으며 검색 깊이가 증가함에 따라 증가했습니다. 이는 깊은 노드에서 값을 백업하는 것이 예측 정확도를 능동적으로 저해함을 나타냅니다.
• 할인 모델의 할인 계수 $\gamma$는 0 에 가깝게 수렴하여, LLM 이 의사결정을 할 때 깊은 선견에 거의 가중치를 두지 않음을 확인시켰습니다.

4. 추론 깊이의 인과적 역할

인과적 개입 연구는 수 선택이 주로 얕은 노드에 의해 주도된다는 것을 밝혔습니다:

• 최종 결정 단락을 제거하면 변화가 미미했습니다 (2.1%).
• 선택된 수에 해당하는 전체 분기를 제거하면 32.0% 의 변화율이 발생했습니다.
• 그러나 단락을 깊이별로 점진적으로 다시 추가할 때, 1 단계 단락 (즉각적인 결과) 만 복원하면 변화율이 기준선 (4.1%) 에 근접하게 감소했습니다. 더 깊은 단락 (2 단계 이상) 을 추가해도 변화율 감소에 추가적인 효과가 없었습니다.
• 이는 LLM 이 깊은 선견에 대해 쓰는 반면, 그들의 의사결정은 깊은 검색 내용이 아닌 후보 수의 즉각적인 평가에 의해 인과적으로 결정됨을 시사합니다.

의의 및 주장

본 논문은 LLM 과 인간 계획 사이의 근본적인 분리를 드러낸다고 주장합니다:

• 인간 전문성: 더 깊은 검색에 의해 주도됨; 성능은 미래로 더 멀리 시뮬레이션할 수 있는 능력에 따라 증가합니다.
• LLM 계획: 검색 트리의 표면적 구조를 생성하지만 근시안적 메커니즘에 따라 행동합니다. CoT 흔적의 깊은 노드는 최종 결정을 안내하는 데 활용되지 않습니다.

저자들은 LLM 계획에 관한 핵심 질문을 "그들이 계획할 수 있는가?"에서 "그들의 의사결정이 반영하는 계획 알고리즘의 종류는 무엇인가?"로 재정의해야 한다고 주장합니다. 그들은 모델이 깊은 노드에서 루트로 가치 정보를 효과적으로 전파할 수 없다면, 테스트 시간 계산 증가나 더 긴 추론 흔적에 의존하는 현재의 방법으로는 부족할 수 있다고 제안합니다. 이 발견은 깊은 선견이 생성되지만 의사결정 정책에 통합되지 않는 현재 LLM 아키텍처의 한계 (주의 메커니즘이나 깊이에서의 불확실성과 관련될 수 있음) 를 강조합니다. 본 연구는 LLM 계획의 구조를 해석할 수 있는 일반화 가능한 프레임워크를 제공하며, 추론 흔적을 숙고의 투명한 기록으로 취급하는 것에 대해 경고합니다.