Beyond Scalars: Evaluating and Understanding LLM Reasoning via Geometric Progress and Stability

이 논문은 LLM 의 추론 신뢰성을 평가하기 위해 확률적 스칼라 대신 '진전 (Progress)'과 '안정성 (Stability)'이라는 기하학적 개념을 도입한 TRACED 프레임워크를 제안하며, 이를 통해 할루시네이션과 올바른 추론을 구별하고 기계적 사고의 내부 역학을 해석할 수 있음을 보여줍니다.

핵심

이 논문은 **"LLM(거대 언어 모델) 이 정말로 생각하고 있는 건지, 아니면 그냥 헛소리를 지어내고 있는지를 어떻게 알 수 있을까?"**라는 질문에 대한 새로운 답을 제시합니다.

기존에는 AI 가 답을 낼 때 "이 확률로 맞을 거야"라고 숫자 (스칼라) 만 보고 판단했는데, 이 논문은 **"AI 의 생각 과정이 어떻게 움직이는지 (기하학적 궤적)"**를 분석하여 훨씬 더 정확하게 판단할 수 있다고 말합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🚗 비유: "산책하는 사람 vs 헤매는 사람"

AI 가 문제를 풀 때의 생각 과정 (Chain-of-Thought) 을 산책하는 사람이라고 상상해 보세요.

1. 기존의 방식 (숫자만 보는 것)

기존에는 "이 사람이 목적지에 도착할 확률이 80% 야"라고만 봤습니다. 하지만 그 사람이 정말 목적지로 가고 있는지, 아니면 제자리에서 빙글빙글 돌고 있는지는 알 수 없었습니다.

2. 새로운 방식 (TRACED): "걸음걸이와 방향" 분석

이 논문은 AI 의 생각 과정을 지도 위의 발자국으로 분석합니다. 여기서 두 가지 핵심 지표를 봅니다.

• 📍 진행도 (Progress = 이동 거리):
  • 올바른 생각: 목적지 (정답) 로 향해 꾸준히 앞으로 나아갑니다. 발걸음이 멀리 이동하죠.
  • 틀린 생각 (환각): 제자리에서 맴돌거나, 같은 말을 반복합니다. 이동 거리가 거의 없습니다.
• 🌀 안정성 (Stability = 궤적의 굽힘):
  • 올바른 생각: 직선처럼 매끄럽고 일관된 방향으로 갑니다. 꺾임이 거의 없죠.
  • 틀린 생각: "아니, 저게 아니야", "잠깐, 다시 생각해보자" 하며 좌우로 급격히 꺾이거나 제자리에서 흔들립니다. 궤적이 매우 구불구불하고 불안정합니다.

🔍 핵심 발견: "주저하는 고리" vs "확신의 축적"

논문의 가장 재미있는 부분은 이 두 가지 현상을 인간의 심리와 연결했다는 점입니다.

• 높은 궤적 굽힘 (구불구불한 길) = "주저하는 고리 (Hesitation Loop)"
  • AI 가 "아니야, 다시 생각해보자"라고 하며 **Exploration(탐색)**과 Reflection(반성) 사이를 오갈 때 발생합니다.
  • 마치 미로에서 길을 잃고 좌우를 두리번거리며 제자리걸음을 하는 것과 같습니다. 이동은 안 되는데 궤적만 구불구불합니다.
• 높은 이동 거리 (직진) = "확신의 축적 (Certainty Accumulation)"
  • AI 가 논리를 차곡차곡 쌓아 올리며 **"따라서 정답은 이거다"**라고 결론을 내릴 때 발생합니다.
  • 마치 목표물을 향해 탄도처럼 직진하는 것과 같습니다.

🛠️ 이 기술이 왜 중요할까요?

1. 실시간 감시 가능: 정답을 미리 알고 있는 사람 (교사나 검증 모델) 이 없어도, AI 가 생각하는 순간순간의 움직임만 봐도 "이건 헛소리야"라고 알아챌 수 있습니다.
2. 어떤 문제든 통용: 수학 문제 (엄격한 논리) 이든, 이야기 해석 (유연한 사고) 이든, 움직임의 패턴만 보면 다 알아챕니다.
3. 빠르고 가벼움: 무거운 추가 계산 없이, AI 가 이미 만들어낸 생각의 흔적 (데이터) 만으로 바로 판단할 수 있어 속도가 매우 빠릅니다.

💡 요약

이 논문은 "AI 가 정답을 맞췄는지 아닌지"를 결과만 보고 판단하는 게 아니라, "AI 가 어떻게 생각했는지 (움직임의 패턴)"를 보고 판단하자고 제안합니다.

• 올바른 생각: "직진하며 멀리 가는" 매끄러운 산책.
• 틀린 생각: "제자리에서 빙빙 도는" 구불구불한 헤매기.

이처럼 **기하학 (모양과 움직임)**을 이용해 AI 의 두뇌 속을 들여다봄으로써, 더 신뢰할 수 있는 AI 를 만드는 데 큰 도움을 줄 수 있는 방법론입니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 추론 능력을 평가하는 기존 방법론은 주로 스칼라 확률 (Scalar Probabilities) 에 의존합니다. 예를 들어, 마지막 토큰의 확률 (MSP), 퍼플렉시티 (Perplexity), 또는 엔트로피 (Entropy) 등을 사용합니다. 그러나 이러한 접근 방식에는 다음과 같은 근본적인 한계가 있습니다.

• 구조적 역동성 무시: 추론 과정은 단순한 점 (Point) 이 아니라 시간에 따른 시퀀스 (Sequence) 입니다. 스칼라 값은 추론 경로의 구조적 변화, 즉 사고의 흐름이 어떻게 진화하는지에 대한 중요한 시간적 역동성 (Temporal Dynamics) 을 무시합니다.
• 할루시네이션 감지 실패: 모델이 논리적으로 틀리더라도 확신에 찬 어조로 답변을 생성할 수 있어, 확률 기반 지표만으로는 '신뢰할 수 있는 추론'과 '확신에 찬 허위 사실 (Hallucination)'을 구분하기 어렵습니다.
• 외부 의존성: 기존 내부 평가 (Internal Assessment) 는 라벨이 없는 신호를 사용하지만, 외부 검증 (External Assessment) 은 정답 (Ground Truth) 이나 추가 검증 모델이 필요하여 실시간 추론 시 확장성이 떨어집니다.

2. 방법론: TRACED (Methodology)

저자들은 TRACED (Topological Reasoning Assessment via Curvature Evolution and Displacement Dynamics) 라는 새로운 프레임워크를 제안합니다. 이는 추론 과정을 기하학적 운동학 (Geometric Kinematics) 의 관점에서 분석하여 품질을 평가합니다.

2.1. 핵심 개념: 기하학적 분해

추론 과정을 잠재 공간 (Latent Space) 상의 궤적으로 간주하고, 이를 두 가지 기하학적 지표로 분해합니다.

1. 진전 (Progress) - 변위 (Displacement, $M_n$):
   • 정의: 추론 궤적의 순 변위 (Net Displacement) 를 측정합니다. 즉, 시작점 ($h_0$) 에서 끝점 ($h_T$) 까지 이동한 거리의 정규화된 값입니다.
   • 의미: 이는 **'확신 축적 (Certainty Accumulation)'**을 의미합니다. 높은 변위는 모델이 의미 있는 상태 변화를 통해 명확한 결론을 향해 진전하고 있음을 나타냅니다.
2. 안정성 (Stability) - 곡률 (Curvature, $K_n$):
   • 정의: 궤적의 곡률 (Curvature) 을 측정합니다. 이는 방향 변화의 급격함을 나타내며, 가속도 벡터와 속도 벡터의 관계를 통해 계산됩니다.
   • 의미: 이는 **'고민 루프 (Hesitation Loops)'**를 의미합니다. 높은 곡률은 모델이 방향을 자주 바꾸거나, 같은 생각을 반복하며 진전이 멈춘 상태 (Stalled Displacement) 를 나타냅니다.

2.2. 기하학적 위상적 분할 (Topological Divergence)

TRACED 은 정답과 오답의 추론 궤적이 기하학적으로 명확히 분리된다는 가설을 검증합니다.

• 정답 (Correct Reasoning): 높은 변위 (High Progress) + 낮은 곡률 (High Stability). 논리적 흐름이 직선적이고 매끄럽게 결론으로 향합니다.
• 오답/할루시네이션 (Incorrect Reasoning): 낮은 변위 (Low Progress) + 높은 곡률 (Unstable). 모델이 탐색과 반성 사이를 오가며 제자리걸음을 하거나 방향을 급격히 바꿉니다.

2.3. 구현 단계

1. 의미적 화이트닝 (Semantic Whitening): 원시 히든 상태의 이방성 (Anisotropy) 을 제거하기 위해 모델의 언임베딩 행렬 ($W_U$) 을 기반으로 유도된 메트릭 텐서를 사용하여 의미적 공간으로 변환합니다.
2. 추론 품질 공간 구축: 정답과 오답 데이터의 운동량 공분산 행렬 차이를 분석하여, 두 클래스를 가장 잘 구분하는 주성분 (Top-k Eigenvectors) 을 추출하여 저차원 서브스페이스를 만듭니다.
3. 베이지안 확률적 평가: 추출된 변위와 곡률 특징을 사용하여 가우시안 분포를 가정하고, 베이지안 최대 사후 확률 (MAP) 추정을 통해 추론의 신뢰도를 분류합니다.

3. 주요 기여 (Key Contributions)

1. 기하학적 분해 (Geometric Decomposition): 추론 품질을 평가하기 위해 이론적으로 근거된 기하학적 서명 (Displacement 와 Curvature) 을 도입했습니다. 이는 단순한 스칼라 확률을 넘어 추론의 구조적 특성을 포착합니다.
2. 잠재 운동학 평가 (Latent Kinematics Assessment): 기하학적 운동학 서명을 활용한 확률적 모델을 구축하여, 다양한 벤치마크에서 경쟁력 있는 성능과 뛰어난 견고성 (Robustness) 을 입증했습니다.
3. 기하학 - 인지 대응 (Geometric-Cognitive Correspondence): 추상적인 기하학적 특징을 인간의 인지 상태와 매핑했습니다.
   • 높은 곡률 $\rightarrow$ "Hesitation Loops" (고민/오류 반복)
   • 높은 변위 $\rightarrow$ "Certainty Accumulation" (확신 축적)
     이를 통해 기계적 사고의 내부 역학을 물리적 렌즈로 해석할 수 있게 되었습니다.

4. 실험 결과 (Results)

저자들은 4 개의 모델 (Instruction-tuned LLM 및 Large Reasoning Models 포함) 과 6 개의 벤치마크 (GSM8K, MATH, TheoremQA, GPQA, Social IQA, Understanding Fables) 에서 TRACED 를 평가했습니다.

• 성능: TRACED 는 기존 스칼라 기반 방법 (MSP, Perplexity) 은 물론, 지도 학습 기반 히든 상태 프로브 (LR Probe, SAPLMA) 및 다른 궤적 모델링 방법 (CoE, CoT-Kinetics) 보다 전반적으로 우수한 AUROC 및 AUPR 점수를 기록했습니다.
• 범용성: 수학 (Structured) 과 사회/이야기 (Open-Ended) 등 다양한 도메인에서 일관된 성능을 보였습니다. 특히, 복잡한 추론 단계가 많은 문제에서도 성능이 급격히 떨어지지 않는 견고함을 입증했습니다.
• 확장성: 소수의 참조 데이터 (약 400 개 샘플) 만으로도 기하학적 분포를 안정적으로 학습할 수 있어 데이터 효율성이 높습니다.
• 스케일링 법칙: 정답 추론은 변위가 시간 ($T$) 에 비례하여 선형적으로 증가하는 반면 ($D \propto T$), 오답 추론은 무작위 보행처럼 제곱근에 비례하여 증가하는 ($D \propto \sqrt{T}$) 것을 발견하여 이론적 근거를 강화했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 추론 평가 패러다임을 정량적 스칼라에서 기하학적 구조로 전환하는 중요한 시도를 제시합니다.

• 해석 가능성 향상: 모델이 왜 틀렸는지 (예: 방향 전환이 잦음, 진전이 없음) 를 기하학적 패턴을 통해 직관적으로 설명할 수 있게 되었습니다.
• 실용적 가치: 외부 검증 모델 없이도 모델 내부의 잠재 상태만으로도 추론의 신뢰성을 실시간으로 진단할 수 있어, 안전하고 신뢰할 수 있는 LLM 배포에 필수적인 기술로 평가됩니다.
• 인지 과학적 통찰: 기계의 추론 과정을 '기하학적 흐름'으로 해석함으로써, 인공지능의 사고 과정과 인간 인지 과정 사이의 유사성과 차이를 이해하는 새로운 통찰을 제공합니다.

요약하자면, TRACED 는 LLM 이 "생각하는 과정"을 단순한 확률 숫자가 아니라, 안정적이고 진전되는 궤적으로 이해함으로써, 더 정확하고 해석 가능한 추론 평가 시스템을 구축했습니다.