기술적 요약: 과완성 추론 흔적 속 최소 핵심의 표현 기하학 규명

문제 제기

대형 언어 모델 (LLM) 은 복잡한 추론 문제를 해결하기 위해 점점 더 긴 연쇄 사고 (CoT) 흔적을 생성합니다. 그러나 생성된 추론 중 모델의 최종 예측을 유지하는 데 얼마나 많은 부분이 엄격하게 필요한지는 여전히 불분명합니다. 기존 연구는 더 나은 추론을 유도하거나 모델이 더 효율적으로 추론하도록 훈련하는 데 초점을 맞추고 있지만, 이미 생성된 흔적의 행동적 충분성을 분석하는 연구는 거의 없습니다.

본 논문은 생성된 추론 흔적이 종종 **과완성 (overcomplete)**이라고 주장합니다. 즉, 모델의 예측 행동을 유지하는 단계의 적절한 부분집합을 포함하면서도, 최종 출력에 영향을 미치지 않는 재진술, 의역, 스타일적 정당화, 중복 확인, 또는 대안적 경로와 같은 "제거 가능한 추론 질량"으로 둘러싸여 있다는 것입니다. 핵심 질문은 다음과 같습니다: 생성된 추론 흔적 중 실제로 필요한 부분은 얼마나 될까요?

방법론

정의와 형식화

저자들은 **최소 핵심 (Minimal Core)**을 추론 흔적 $z = (r_1, \dots, r_T)$에서 모델의 예측 행동을 유지하는 단계의 가장 작은 부분집합 $S \subseteq [T]$으로 형식화합니다.

• 답변 유지 충분성: 부분집합이 전체 흔적과 동일한 최상위 1 순위 (top-1) 답변을 산출할 때 충분합니다.
• 분포 유지 충분성: 부분집합이 허용 오차 $\epsilon$ 내에서 예측 분포를 유지하는 더 엄격한 조건입니다 (발산 $D$를 통해 측정).
• 지표:
  • 압축 비율 (CR): $|S^*|/T$, 유지된 단계의 비율.
  • 중복 질량 (RM): $1 - CR$, 제거 가능한 단계의 비율.
  • 단계 필요성 ($\Delta_t$): leave-one-out 손실 변화를 통해 측정. 단계 제거가 작업 손실 (예: 답변의 음의 로그 가능도) 을 크게 증가시킬 경우 해당 단계는 높은 필요성을 가집니다.
  • 필요성 집중도: 상위 $k$개 단계가 차지하는 총 필요성 질량의 비율.

추출 알고리즘

최소 핵심을 식별하기 위해 본 논문은 다음을 제안합니다:

1. 탐욕적 후방 제거 (Greedy Backward Elimination): 전체 흔적에서 시작하여, 충분성 조건을 유지하면서 검증기 점수, 신뢰도, 또는 손실 증가로 측정된 "해"가 가장 적은 단계를 반복적으로 제거합니다. 단일 단계 삭제가 더 이상 충분성을 유지하지 못할 때 종료되며, 이는 국소적으로 비축소 가능한 충분 부분집합을 산출합니다.
2. 필요성 기반 가지치기: 더 저렴하고 비적응적인 대안으로, 단계를 필요성에 따라 순위 매긴 후 낮은 필요성을 가진 단계부터 제거합니다.
3. 무작위 삭제 기준선: 제거 가능한 단계의 구조가 단순히 흔적 길이의 함수가 아님을 입증하는 데 사용됩니다.

이론적 보장

본 논문은 몇 가지 이론적 속성을 확립합니다:

• 존재성: 모든 유한한 충분 흔적에 대해 최소 핵심이 존재합니다.
• 국소적 비축소성: 탐욕적 후방 제거는 국소적으로 비축소 가능한 충분 부분집합을 보장합니다 (충분성을 위반하지 않고는 단일 단계를 제거할 수 없음).
• 인증서: 관찰된 충분 삭제는 과완성의 인증서 역할을 하여, 압축 비율에 대한 상한과 제거 가능 질량에 대한 하한을 제공합니다.

표현 기하학 분석

저자들은 전체 흔적, 최소 핵심, 그리고 제거된 단계의 임베딩 기하학을 다음을 사용하여 분석합니다:

• 압축성: 임베딩의 분산.
• 정확도 분리: 선형 프로브와 최근접 이웃 분류기가 올바른 흔적과 잘못된 흔적을 구별하는 능력.
• 내재 차원성: PCA 참여 비율을 통해 추정.
• 전송성: 한 모델 계열에서 추출된 핵심이 다른 모델의 맥락으로 사용될 때의 성능.

실험 설정

본 프레임워크는 여섯 가지 숙고적 추론 벤치마크에서 평가되었습니다:

• 산술: GSM8K
• 경쟁 수학: MATH500, AIME24, AMC23
• 전문 과학 추론: GPQA-Diamond
• 상식 멀티홉 QA: StrategyQA

테스트된 모델에는 오픈 가중치 모델 (DeepSeek-R1-Distill-Qwen-7B/32B, Qwen3-32B) 과 폐쇄 소스 GPT-5 가 포함되었습니다. 흔적은 저온 (low-temperature) CoT 프롬핑으로 생성되었습니다.

주요 결과

1. 상당한 과완성

모든 데이터셋과 모델에서 탐욕적 최소 핵심 추출은 원래 답변을 유지하면서 흔적의 상당 부분을 제거했습니다:

• 평균 제거: 약 **46%**의 단계가 제거 가능합니다.
• 유지: 원래 답변은 평균 **86%**의 사례에서 유지됩니다.
• 변동: 과완성은 GSM8K 와 StrategyQA 에서 가장 높습니다 (흔적에 종종 설명적 여유가 포함됨). AIME24 와 GPQA-Diamond 에서는 더 낮습니다 (유래가 더 취약함).

2. 집중된 예측 지지

예측 필요성은 매우 희소합니다:

• 상위 3 단계는 측정된 필요성 질량의 평균 **65%**를 차지합니다.
• 상위 5 단계는 **82%**를 차지합니다.
  이는 추론 유용성이 고르게 분포된 것이 아니라, 소수의 고필요성 단계에 집중되어 있음을 시사합니다.

3. 전송성과 기하학

최소 핵심은 전체 흔적에 비해 "더 깨끗한" 표현 기하학을 보입니다:

• 모델 간 전송: 최소 핵심은 모델 계열 간에 **85%**의 비대각선 답변 유지율로 전송되어, 동일한 길이의 무작위 부분집합보다 훨씬 우수한 성과를 냅니다.
• 정확도 분리: 최소 핵심 임베딩은 전체 흔적에 비해 올바른 흔적과 잘못된 흔적 간의 분리를 프로브 정확도 기준으로 11 포인트 향상시킵니다.
• 차원성: 최소 핵심은 추정된 내재 차원성을 34% 감소시켜, 표현 공간에서 더 압축된 영역을 차지함을 나타냅니다.
• 제거된 단계: 제거된 단계의 임베딩은 더 확산되어 있고 정확도 예측력이 낮아, 이들이 약한 작업 관련 신호를 전달함을 확인시켜 줍니다.

중요성과 주장

본 논문은 전체 추론 흔적이 종종 verbose 하고 과완성이며, 모델의 예측 행동에 기여하지 않는 제거 가능한 발판 (scaffolding) 을 포함한다고 주장합니다. 최소 핵심을 분리함으로써 저자들은 다음을 입증합니다:

1. 행동적 충분성: 언어 모델 예측의 유효한 지지는 희소하며 소수의 단계 집합에 집중되어 있습니다.
2. 기하학적 순수성: 최소 핵심은 전체 흔적보다 더 깨끗하고, 저차원적이며, 정확도 정보를 더 많이 담고 있는 추론 기하학을 드러냅니다.
3. 전송 가능한 구조: 핵심 추론 단계는 다양한 모델 계열에서 견고하므로, 모델 특유의 문구가 아닌 일반화 가능한 추론 패턴을 포착함을 시사합니다.

저자들은 명시적으로 한계를 지적합니다: 최소 핵심은 행동적이며 모델 상대적인 것이지, 완전한 인과적 설명이나 인간의 논리가 아닙니다. 탐욕적 추출은 전역적으로 최적이지 않고 국소적으로 최적입니다. 또한, 가능도 기반 지표는 오픈 가중치 모델이 필요하므로, 일부 분석은 폐쇄 소스 모델에 대해 행동적 평가로 제한됩니다.

결론적으로, 이 연구는 LLM 예측을 뒷받침하는 "유효한 지지"를 이해하기 위한 정량적 프레임워크를 제공하며, 긴 흔적은 가독성과 검증을 돕지만, 핵심 예측 메커니즘은 훨씬 작고 기하학적으로 구별되는 추론 단계의 부분집합에 의존함을 시사합니다.