💬 NLP

ReasoningFlow: Discourse Structures for Understanding LLM Reasoning Traces

이 논문은 복잡하고 비선형적인 대규모 추론 모델(LRM) 트레이스를 미세한 방향성 비순환 그래프로 변환하여 그 담화 구조를 분석하는 프레임워크인 ReasoningFlow를 소개하며, 이를 통해 LRM이 서로 다른 모델 간에도 구조적으로 유사한 추론 패턴을 보인다는 점과 대부분의 오류 단계가 최종 답변에 영향을 미치지 않는다는 점을 밝혀낸다.

원저자: Jinu Lee, Shivam Agarwal, Amruta Parulekar, Siddarth Madala, Dilek Hakkani-Tur, Julia Hockenmaier

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jinu Lee, Shivam Agarwal, Amruta Parulekar, Siddarth Madala, Dilek Hakkani-Tur, Julia Hockenmaier

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 한 천재 수학자가 복잡한 퍼즐을 푸는 모습을 지켜보고 있다고 상상해 보십시오. 그들은 단순히 정답을 일직선으로 써 내려가는 것이 아닙니다. 대신 그들은 스스로에게 말을 겁니다. "잠깐, 이 숫자는 틀린 것 같은데," "다른 경로를 시도해 보자," "아, 알겠다, 여기서 실수를 했네, 다시 돌아가자," 그리고 "좋아, 이제 확실해."

오랫동안, 이러한 "사고 과정"(reasoning traces)을 이해하려는 컴퓨터들은 오직 직선 형태의 텍스트만을 보았습니다. 그들은 되돌아가기(backtracking), 자기 수정(self-corrections), 또는 막다른 길(dead ends)을 볼 수 없었습니다. 그저 엉망진창인 문단 하나로만 보았을 뿐입니다.

이 논문은 ReasoningFlow를 소개합니다. 이는 이러한 복잡한 생각들을 명확하고 시각적인 플로우차트(구체적으로는 유향 비순환 그래프, DAG)로 매핑하는 새로운 방법입니다. 이것은 마치 혼란스러운 의식의 흐름을 모든 역이 하나의 생각이고, 모든 선로가 한 생각이 어떻게 다른 생각으로 이어지는지를 보여주는 지하철 노선도로 바꾸는 것과 같습니다.

연구진이 발견한 내용을 쉽게 설명하면 다음과 같습니다:

1. 지도: 생각을 플로우차트로 바꾸기

연구진은 이 길고 구불구불한 추론 흔적들을 작은 조각(노드)들로 나누고, 이들이 어떻게 연결되는지 보여주는 선(에지)을 그려내는 시스템을 구축했습니다.

노드 (역): 그들은 8가지 유형의 "정류장"을 식별했습니다. 어떤 것은 계획(다음 할 일을 결정함), 어떤 것은 추론(수학이나 논리를 수행함), 어떤 것은 성찰(자신이 맞는지 확인함), 그리고 어떤 것은 가정( "만약 ~라면" 하는 시나리오를 시도함)을 위한 것입니다.
에지 (선로): 그들은 14가지 다른 유형의 선로를 그렸습니다. 어떤 선로는 논리적 단계를 앞으로 진행시키고("infer"), 어떤 선로는 계획을 실행하며("execute"), 어떤 선로는 "잠깐, 이 경로는 틀렸어"라고 깨닫고 다시 돌아가 다른 것을 시도하는 "되돌아가기(backtrack)"를 보여줍니다.

2. 발견: 모두의 지도는 비슷하다

연구진은 이 시스템을 다섯 가지 서로 다른 AI 모델(최신 "추론" 모델들과 오래된 모델들 포함)을 대상으로 수학, 과학, 논증 과제에서 테스트했습니다.

결과: 이 AI 모델들은 서로 다른 회사에서 만들어졌고 서로 다른 데이터로 학습되었음에도 불구하고, 그들의 "생각 지도"는 놀라울 정도로 유사했습니다. 이는 뉴욕 사람과 도쿄 사람이 서로 다른 언어를 사용하더라도 미로를 풀 때 비슷한 정신적 지도를 사용하는 것과 같습니다. 그들이 생각하는 방식의 구조는 표준화되고 있습니다.

3. "자기 수정"이라는 초능력

연구진이 발견한 가장 흥-미로운 점 중 하나는 이 AI 모델들이 실수를 처리하는 방식입니다.

국소적 검증 (Local Verification): 이 모델들은 전체 답이 맞는지 확인하기 위해 마지막까지 기다리는 대신, 진행하는 도중에 끊임없이 자신의 작업을 확인합니다. 그들은 즉시 작은 오류를 잡아내고 수정합니다.
"앗" 하는 순간: 논문은 AI가 "잠깐, 이건 틀린 것 같아"라고 말하며 마음을 바꿀 때, 그 변화가 대개 정답을 얻는 핵심 열쇠가 된다는 것을 발견했습니다. 모델은 실시간으로 오류로부터 자신을 능동적으로 "조종(steering)"하고 있는 것입니다.

4. "유령" 오류

이것은 아마도 가장 놀라운 발견일 것입니다.

신화: 사람들은 흔히 AI가 3단계에서 실수를 하면 최종 답도 반드시 틀릴 것이라고 생각했습니다.
현실: ReasoningFlow 지도는 **대부분의 오류가 "유령"**이라는 것을 보여주었습니다. AI는 실수를 할 수도 있지만, 그것을 깨닫고, 되돌아가서, 그 잘못된 경로를 완전히 무시할 수 있습니다. 최종 정답은 다른 일련의 단계들 위에 구축됩니다.
비유: 당신이 파티에 가기 위해 운전하고 있다고 상해 봅시다. 당신은 길을 잘못 들었지만, 이를 깨닫고 차를 돌려 올바른 길을 택했습니다. 당신은 제시간에 파티에 도착했습니다. 만약 누군가 당신의 GPS 기록만 본다면, 당신의 잘못된 회전을 보고 "당신은 실패했다!"라고 말할 것입니다. 하지만 ReasoningFlow 지도는 그 잘못된 회전이 최종 도착에 영향을 주지 않은 막다른 길이었음을 보여줍니다.

5. "블랙박스" vs "스크립트"

마지막으로, 연구진은 AI의 내부 "두뇌"(기계적 의존성)가 쓰는 글(담화 구조)과 어떻게 일치하는지 살펴보았습니다.

결과: 그들은 불일치를 발견했습니다. AI의 내부 수학이 "단계 A가 단계 B를 일으켰다"라고 말한다고 해서, 그것이 반드시 텍스트에 그 관계를 명확하게 반영한다는 뜻은 아닙니다. AI가 들려주는 "이야기"(텍스트)는 항상 내부의 "배선"(컴퓨터 내부의 작동 원리)과 완벽하게 일치하지는 않습니다. 이는 마술사의 스크립트(텍스트)가 마술 뒤에 숨겨진 비밀 기제(배선)를 완벽하게 설명하지 못하는 것과 같습니다.

요약

ReasoningFlow는 AI의 사고 과정을 보여주는 "지하철 노선도"를 보는 새로운 도구입니다. 이것은 다음을 보여줍니다:

AI 모델들은 서로 다른 브랜드 간에도 유사한 "사고 스타일"을 발전시키고 있습니다.
AI 모델들은 단순히 마지막에 확인하는 것이 아니라, 생각하는 도중에 자신의 실수를 잡아내는 데 매우 능숙합니다.
그들이 저지르는 대부분의 실수는 최종 답을 망치지 않는 일시적인 막다른 길입니다.
AI가 말하는 것(텍스트)은 항상 그것의 뇌 내부에서 일어나고 있는 일과 완벽하게 일치하지는 않습니다.

이는 연구자들이 단순히 정답을 맞혔는지 여부를 넘어, 이 모델들이 어떻게 문제를 해결하는지를 이해하도록 도와줍니다.

기술 요약: ReasoningFlow: LLM 추론 트레이스의 이해를 위한 담화 구조

문제 정의

대규모 추론 모델(LRM)은 백트래킹(backtracking), 자기 수정(self-correction), 반복적 검증(iterative verification)과 같은 비선형적 행동을 특징으로 하는 확장된 추론 트레이스를 생성합니다. 이러한 행동은 복잡한 문제 해결에 필수적이지만, 추론 과정의 평가와 모니터링을 어렵게 만듭니다. 기존의 평가 방법은 단계별 정확성에 의존하는 경우가 많은데, 이는 최종 정답이 이후의 자기 검증 덕분에 정답일지라도 중간의 오류가 있는 단계를 오류로 잘못 표시할 수 있습니다. 또한, 현재의 추론 구조 분석 프레임워크는 미세한 문장 수준의 담화 관계를 포착할 수 있는 표현력이 부족하거나, 어노테이션 스키마의 상호 검토자 일치도(inter-annotator agreement)를 검증하지 못하는 한계가 있습니다. 전통적인 담화 파싱 방법(예: 수사적 구조 이론, Rhetical Structure Theory)은 잘 조직된 텍스트를 위해 설계되었으므로, 자기회귀적(autoregressive) LLM 트레이스에서 발견되는 목표 지향적이고 좌에서 우로 흐르는 인과적 의존성을 수용하지 못합니다.

방법론

저자들은 LRM 추론 트레이스를 유향 비순환 그래프(DAG)로 변환하여 미세한 담화 구조를 어노테이션하기 위해 설계된 프레임워크인 ReasoningFlow를 소개합니다.

어노테이션 스키마

ReasoningFlow는 8가지 노드 유형과 14가지 엣지 유형으로 구성된 스키마를 정의합니다:

노드 유형: 스키마에는 세 가지 핵심 기능 유형인 추론(deduction, calculation), 계획(planning, 향후 내용 도입), 성찰(reflection, 정확성 평가 또는 확신 표현)이 포함됩니다. 또한 다섯 가지 특화된 추론 하위 유형인 사실(Fact), 재진술(Restatement), 가정(Assumption), 예시(Example), 결론(Conclusion)을 정의합니다. 노드는 연속적이고 중복되지 않는 구절(보통 문장 단위)이며, 서로 다른 기능적 역할을 가진 복합 문장은 분리됩니다.
엣지 유형: 엣지는 이전 단계에서 이후 단계로 흐르는 의미론적 관계를 나타냅니다. 이들은 네 가지 그룹으로 분류됩니다: 추론(Reason, 예: infer, execute, restate), 계획(Plan, 예: proceed, verify), 성찰(Reflect, 예: positive, uncertain, negative), 검증(Validate, 예: support, attack).

데이터셋 구축

수동 어노테이션: 스키마를 검증하기 위해 저자들은 수학, 물리학, 화학 도메인에 걸쳐 31개의 추론 트레이스(2.1k 단계)를 수동으로 어노테이션했습니다. 트레이스당 두 명의 검토자가 노드 분류 및 엣지 탐지/분류 모두에서 높은 상호 검토자 일치도(Krippendorff's $\alpha > 0.8$ )를 달 achievement했습니다.
자동 어노테이션: 검증된 스키마를 사용하여 세 가지 작업(AIME 2024(수학), GPQA-Diamond(과학), ArgKP(논증))에 대해 다섯 가지 모델(Qwen2.5-32B-Inst, QwQ-32B, DeepSeek-V3, DeepSeek-R1, GPT-oss-120B)이 생성한 1,260개의 트레이스(247.7k 단계)를 자동 어노테이션했습니다. 파이프라인은 세그멘테이션, 분류 및 엣지 탐지를 위해 LLM(Gemini-3-Flash 및 Gemini-3-Pro)을 활용하였으며, 품질 보장을 위해 일부 샘플에 대한 수동 검토를 거쳤습니다.

분석 프레임워크

저자들은 ReasoningFlow 그래프를 활용하여 다음을 분석했습니다:

트리플렛 분포(node-edge-node)에 대한 주성분 분석(PCA)을 통한 모델 및 도메인 간의 구조적 유사성.
로컬 검증, 자기 성찰 감성(sentiment), 가정 기반 추론(귀류법, DFS)과 같은 미세한 추론 행동.
오류 단계와 최종 정답 사이의 인과 관계.
기계적 인과 의존성(어텐션 마스킹을 통해 측정됨)과 언어 수준의 담화 구조 간의 정렬 상태.

주요 기여 및 결과

1. 모델 간 구조적 유사성

서로 다른 베이스 모델을 사용하고 잠재적으로 겹치지 않는 사후 학습(post-training) 데이터를 가졌음에도 불구하고, 서로 다른 LRM(QwQ, DeepSeek-R1, GPT-oss)은 구조적으로 유사한 추론 트레이스를 보입니다. 추론 모델들의 트리플렛 분포 간 젠슨-샤논 발산(Jensen-Shannon divergence)은 비추론 베이스 모델의 경우보다 현저히 낮으며, 이는 추론 능력이 공유된 구조적 패턴을 유도함을 시사합니다.

2. 미세한 추론 행동

ReasoningFlow는 더 거친 프레임워크에서는 포착되지 않는 다양한 행동을 드러냅니다:

로컬 검증(Local Verification): LRM은 단순히 최종 정답에 대한 전역적 검증을 수행하기보다, 트레이스 중간에 중간 단계를 수정하는 로컬 검증을 빈번하게 수행합니다. 수정된 내용은 원래의 오류가 있는 문장보다 최종 정답의 전제로 사용될 가능성이 훨씬 높습니다.
자기 성찰 감성(Self-Reflection Sentiment): 성찰 노드의 감성(긍정, 불확실, 부정)과 반영된 단계의 실제 품질(정확도) 사이에는 강한 상관관계가 있습니다. 긍정적 성찰은 높은 정확도(78.1%)와 상관관계가 있는 반면, 부정적 성찰은 낮은 정확도(45.6%)와 상관관계가 있습니다.
가정 처리(Assumption Handling): 이 프레임워크는 귀류법(proof-by-contradiction) 및 깊이 우선 탐색(DFS)을 위한 패턴을 식별하여, 의도적인 가설적 추론과 일반적인 오류를 구분합니다.

3. 오류 전파 및 충실도

핵심적인 발견은 LRM의 대부분의 오류 단계가 잘못된 최종 정답에 인과적으로 책임을 지지 않는다는 점입니다.

약 79.6%의 오류 노드는 최종 정답에 연결되지 않습니다(사용되지 않음).
약 6.0%의 오류는 최종 정답에 연결되어 있지만 정확한 결론으로 이어집니다(무시된 오류). 이는 모델이 오류를 성공적으로 복구하거나 무시했음을 나타냅니다.
오직 14.4%의 오류 노드만이 잘못된 최종 정답으로 인과적으로 전파됩니다.
이는 중간 오류를 기준으로 트레이스를 필터링하는 단계별 평가 방식이 지나치게 보수적일 수 있음을 시사합니다. 왜냐하면 많은 오류가 추론 과정 내에서 "사용되지 않거나(unused)" "무시(neglected)"되기 때문입니다.

4. 기계적 vs. 담화 불일치

본 논문은 기계적으로 측정된 인과 의존성(어텐션 마스킹을 통한 "Thought Anchors")이 언어 수준의 담화 관계를 충실하게 반영하지 못한다는 것을 발견했습니다. 어텐션 기반 인과 점수의 예측력은 단순히 가장 최근의 $K$ 개 노드를 선택하는 것보다 유의미하게 높지 않았으며, 이는 모델의 내부 인과 메커즘과 표면적 담화 구조 사이에 격차가 있음을 나타냅니다.

의의

이 논문은 ReasoningFlow를 LRM의 인과적 추론 절차에서 "언어적 부분"을 이해하기 위한 필수적인 도구로 자리매김합니다. 미세한 수준에서 검증된 어노테이션 스키마를 제공함으로써 다음과 같은 작업을 가능하게 합니다:

모니터링 가능성 개선: 로컬 검증 및 자기 성찰과 같은 특정 행동을 식별함으로써 모델의 내부 신념을 더 잘 모니터링할 수 있습니다.
정교한 평가: 대부분의 오류가 최종 정답으로 전파되지 않는다는 점을 입증함으로써, Best-of-N 샘플링이나 프로세스 보상 모델(Process Reward Models)에서 순수하게 단계별 오류를 필터링하는 방식의 효용성에 의문을 제기합니다.
기계적 및 의미적 격차 해소: 기계적 의존성과 담화 구조 간의 불일치를 강조함으로써, LRM을 더 충실하게(faithful) 만드는 데 있어 향-후 연구의 중요한 영역을 제시합니다.

저자들은 LRM의 추론 능력을 연구하기 위한 인간 해석 가능한 렌즈를 제공하며, 연구를 촉진하기 위해 데이터셋(1.3k 트레이스)과 코드를 공개합니다.