🤖 machine learning

Local Causal Attribution of Chain-of-Thought Reasoning

이 논문은 사고의 사슬(chain-of-thought) 추론의 개별 구성 요소에 대해 국소적 인과적 기여도를 수행하기 위해 구조적 인과 모델을 구축하는 블랙박스 알고리즘인 AttriCoT을 소개하며, 이는 모델 행동에 대한 우수한 충실성을 입증하고 서로 다른 모델 및 도메인 전반에 걸친 뚜렷한 사고 구조를 밝혀낸다.

원저자: Dennis Wei, Yannis Belkhiter, Erik Miehling, Radu Marinescu

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dennis Wei, Yannis Belkhiter, Erik Miehling, Radu Marinescu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델(super-smart AI와 같은)이 어려운 수학 문제나 논리 퍼즐을 풀고 있다고 상상해 보세요. 단순히 정답만 알려주는 대신, 단계별로 긴 "사고 과정(thought process)"을 먼저 작성합니다. 이것을 **연쇄 사고(Chain-of-Thought, CoT)**라고 부릅니다.

이 연쇄 사고를 탐정의 수첩이라고 생각해보세요. 탐정은 사건을 해결하기 전에 단서, 이론, 그리고 계산 과정을 적어 내려갑니다. 하지만 여기서 문제가 발생합니다. 탐정이 적어 내려간 내용 중 어떤 것은 논리적으로 들리긴 하지만, 실제로는 사건 해결에 전혀 도움이 되지 않을 수도 있습니다. 예를 들어, 엉뚱한 단서(red herring)에 대해 긴 이야기를 늘어놓거나, 결정적인 단서를 무시했을 수도 있습니다. 우리는 **도대체 수첩의 어떤 특정 기록이 최종 해답을 만들어낸 것인가?**라는 질문에 답하고 싶습니다.

이 논문은 이 질문에 답하기 위해 AttriCoT라는 새로운 도구를 소개합니다.

문제점: "가짜" 추론

현재로서는 AI가 작성한 텍스트가 정답을 맞히는 데 있어 '진짜' 이유인지 우리가 정말로 알지 못합니다. 때때로 AI는 운 좋게 정답을 맞힌 뒤, 이를 정당화하기 위해 길고 정교한 가짜 이야기를 지어내기도 합니다. 또 다른 경우에는 머릿속으로는 단계를 건너뛰면서 겉으로는 적어 내려놓기만 할 수도 있습니다.

과학자들은 다음과 같은 방법으로 이를 파악하려 노력해 왔습니다:

AI에게 직접 물어보기: "헤이, 네 사고 과정 중에서 어떤 부분이 가장 중요했니?" (이는 학생에게 자기 숙제를 스스로 채점하게 하는 것과 같습니다. 학생은 거짓말을 하거나 혼란스러워할 수 있습니다.)
부분을 삭제하고 결과 관찰하기: 만약 사고 과정에서 문장 하나를 지웠을 때, AI가 오답을 내놓게 될까요? 이는 좋은 아이디어이지만, 모든 문장에 대해 이 작업을 수행하는 것은 엄청난 컴퓨터 자원을 소모합니다. 마치 지붕을 받치고 있는 벽돌이 무엇인지 알아내기 위해 집을 벽돌 한 장씩 다시 짓는 것과 같습니다.

해결책: AttriCoT (The "Causal Detective")

저자들은 AI의 생각에 대한 포렌식 회계사 역할을 하는 AttriCoT라는 방법을 만들었습니다.

비유: 레시피 테스트
복잡한 케이크 레시피에서 어떤 재료가 실제로 케이크 맛을 좋게 만드는지 알아내려고 한다고 가정해 봅시다.

기존 방식: 재료 하나를 테스트할 때마다 케이크를 새로 굽습니다. 레시피에 재료가 50개라면, 케이트를 50번 굽습니다. 이는 느리고 비용이 많이 듭니다.
AttriCoT의 방식: 케이크를 한 번 굽습니다. 그 다음, 실제로 케이크를 매번 다시 굽지 않고도 설탕을 빼거나, 밀가루를 빼거나, 달걀을 뺐을 때 어떤 일이 벌어질지 시뮬레이션하는 특별한 수학적 기법을 사용합니다. 우리는 재료가 빠졌다고 가정했을 때 "맛 점수"(AI의 확신도)가 얼마나 떨어지는지를 측정합니다.

AttriCoT의 작동 원리 (3단계):

"만약에" 게임: 특정 연쇄 사고(AI의 수첩)를 가져와서 이를 "단위(unit)"(문장 또는 구절)라고 불리는 작은 조각들로 나눕니다. 그런 다음 다음과 같은 "만약에" 시나리오 목록을 만듭니다: "단위 1을 제거한다면?", "단위 2를 제거한다면?"
빠른 확인: 전체를 다시 굽는(AI를 처음부터 다시 실행하는) 대신, 특정 단위가 빠졌을 때 다음 단계에 대한 AI의 확신도가 얼마나 떨어지는지 확인하는 매우 빠르고 가벼운 체크를 수행합니다.
수학적 지도: 점들을 연결하기 위해 간단한 수학 공식(선형 모델)을 사용합니다. 예를 들어, "단계 3은 단계 7에 대해 80%의 책임을 가졌지만, 단계 2는 단계 7에 거의 아무런 영향을 주지 않았다"라고 말할 수 있습니다.

연구 결과

연구진은 5가지 유형의 퍼즐(수학, 논리, 과학)과 4가지 종류의 AI 모델을 대상으로 테스트를 진행했습니다.

더 높은 정확도: AttriCoT는 다른 방법들보다 진짜 중요한 단계를 찾는 데 훨씬 뛰어났습니다. "핵심" 단계를 제거했을 때 실제로 AI의 답이 틀리는지를 확인했을 때, AttriCoT의 예측이 가장 신뢰할 수 있었습니다.
효율성: AI를 수천 번 실행할 필요가 없었습니다. 단지 사고 과정의 단계 수만큼만 실행하면 되었습니다. 덕분에 길고 복잡한 추론 체인에도 사용할 수 있을 만큼 빠릅니다.
새로운 통찰: AttriCoT가 생성한 "점수"를 통해 흥el로운 패턴을 발견했습니다:
- 시작과 끝이 가장 중요하다: 맨 처음 생각(AI가 질문을 읽는 부분)과 마지막 생각(AI가 답을 재확인하는 부분)이 가장 큰 영향을 미치는 경향이 있습니다.
- 되돌아보기: 어려운 문제를 푸는 중간에, AI는 세부 사항을 잊지 않기 위해 원래의 질문을 다시 읽는 과정을 거치곤 합니다.
- 모델마다 다른 습관: 어떤 모델은 과정 내내 원래의 질문에 크게 의존하는 반면, 어떤 모델은 자신의 이전 단계들에 더 많이 의존합니다.

결론

이 논문은 AI를 고치거나 더 똑똑하게 만들겠다고 주장하는 것이 아닙니다. 대신, AI의 "블랙박스" 내부의 추론을 들여다볼 수 있는 손전등을 제공합니다. 이를 통해 우리는 AI의 사고 과정 중 어떤 부분이 실제로 정답으로 이어졌고, 어떤 부분이 단순한 노이즈였는지를 단계별로 확인할 수 있습니다. 이는 AI가 진정으로 추론을 하고 있는지, 아니면 그냥 진행하면서 말을 지어내고 있는 것인지를 이해하는 데 도움을 줍니다.

기술 요약: 사고 사슬(Chain-of-Thought) 추론의 국소적 인과적 귀속 (Local Causal Attribution)

문제 정의

대규모 추론 모델(LRM)의 성공은 모델이 긴 중간 단계들을 생성하는 사고 사슬(Chain-of-Thought, CoT) 추론에 크게 의존합니다. 그러나 이러한 언어화된 CoT가 모델의 기저에 있는 잠재적 추론 과정에 얼마나 충실한가(faithfulness)는 중요한 문제입니다. 연구에 따르면, CoT 텍스트는 때때로 입력값의 조작을 무시하거나, 특히 모델이 잘못된 힌트를 받았을 때 정교하지만 허구적인 정당화를 구축할 수 있습니다. 기존 연구들은 내부 표현 수준(화이트박스)이나 추론 궤적의 분포(리샘플링을 통해)를 통한 인과 구조를 탐구해 왔으나, 특정 CoT 트레이스 내의 인과 관계를 분석하기 위한 효율적이고 국소적인 방법론이 필요한 상황입니다. 기존의 블랙박스 방법들은 주로 답변 수준의 귀속에 집중하거나, 중간 단계가 후속 추론 단계에 미치는 영향을 고려하지 못하는 한계가 있습니다.

방법론: AttriCoT

저자들은 특정 CoT 트레이스 내에서 국소적 인과 귀속을 추정하기 위한 블랙박스 방법인 AttriCoT를 제안합니다. 이 접근 방식은 구조적 인과 모델(Structural Causal Model, SCM)에 기반하며, 추론 단위(reasoning units)의 수에 대해 선형적인 계산 복잡도로 작동합니다.

1. 구조적 인과 모델 공식화

이 방법은 CoT 트레이스와 그 입력을 일련의 "단위"( $x_1, \dots, x_S$ 는 입력; $y_1, \dots, y_T$ 는 출력 단계 및 최종 답변)로 취급합니다. 핵심 가정은 하나의 단위 $y_t$ 를 생성할 로그 확률이 이전 단위들의 존재 여부에 의존한다는 자기회귀적(auto-regressive) 성질입니다.

스칼라화(Scalarization): 단위 $y_t$ 는 조건부 로그 확률을 사용하여 스칼라화됩니다: $S_t(y_t) = \log P(y_t | x, y_{<t})$ .
선형 구조 방정식: 이전 단위들의 영향은 다음과 같은 선형 방정식으로 모델링됩니다:
$S_t(y_t) = \sum_{s=1}^S \alpha_{s,t} I(x_s) + \sum_{\tau=1}^{t-1} \beta_{\tau,t} I(y_\tau) + \gamma_t + u_t$
여기서 $I(\cdot)$ 는 지시 함수(존재하면 1, 제거되면 0)이며, 계수 $\alpha_{s,t}$ 와 $\beta_{\tau,t}$ 는 각각 입력과 이전 출력 단위의 인과적 중요도를 나타냅니다.

2. AttriCoT 알고리즘

알고리즘은 다음 세 단계를 통해 이러한 계수들을 추정합니다:

개입(Intervention): 이 방법은 시퀀스에서 특정 단위를 제거함으로써 개입을 수행합니다. 기본 전략은 "하나 빼기(Leave-One-Out, LOO)" 방식으로, 한 번에 하나의 단위만 제거합니다 ( $N = S + T$ 번의 개입). 강화된 변형인 "둘 빼기(Leave-Two-Out, AttriCoT-2x)"는 두 개의 단위를 제거하는 개입을 포함합니다.
측정(Measurement): 각 섭동(perturbed)된 시퀀스에 대해, 모델은 순방향 패스(forward pass)를 수행하여 남은 출력 단위들의 로그 확률을 계산합니다. 타겟 단위 $y_t$ 에 대한 로그 확률의 변화량은 회귀를 위한 타겟 값으로 사용됩니다.
회귀(Regression): 계수 $\alpha$ 와 $\beta$ 를 추정하기 위해 선형 회귀(선택적 L1 규제 포함)를 적합시킵니다. 이 과정은 $O(N)$ 번의 순방향 패스를 필요로 하며, 단위의 수에 대해 선형 복잡도를 유지합니다.

3. 평가 지표

귀속의 품질은 **섭동 곡선 아래 면적(Area Under the Perturbation Curve, AUPC)**으로 측정되는 **행동적 충실도(Behavioral Faithfulness)**를 통해 평가됩니다.

절차: 이전 단위들은 귀속 점수에 따라 순위가 매겨집니다. 상위 $k$ 개의 단위를 제거하고, 그 결과 발생하는 타겟 단위의 로그 확률 감소량을 측정합니다.
지표: AUPC는 $k$ 가 전체 이전 단위의 0에서 20%까지 변함에 따라 이러한 감소량을 집계합니다. AUPce가 높을수록 귀속 방법이 후속 단계의 생성을 결정짓는 데 인과적으로 중요한 단위를 정확하게 식별했음을 의미합니다.

주요 기여

AttriCoT 프레임워크: 구조적 인과 모델을 사용하여 CoT 단계를 이전 단위들에 귀속시키는 블랙박스 국소 설명 방법론을 제안하며, 이는 선형적인 순방향 패스 횟수( $O(S+T)$ )만을 요구합니다.
우수한 충실도: AttriCo로가 문장 단위 마스킹(Thought Anchors) 및 프롬프팅 기반 베이스라인을 포함한 대안적 방법들보다 모델 행동에 더 충실한 귀속을 생성한다는 실증적 증거를 제시합니다.
분석적 지표: 귀속 행렬로부터 유도된 지표들(예: 점수 밀도, 평균 영향력, 입력 비율)을 도입하여 모델과 도메인 전반에 걸친 추론의 구조적 차이를 밝혀냅니다.

실험 결과

이 방법은 5개의 데이터셋(GSM8K, MATH500, GPQA-Diamond, MMLU-Pro, ZebraLogic)과 4개의 추론 모델(DS-Llama-8B, DS-Qwen-14B, DS-Qwen3-8B, Qwen3-8B)에 대해 평가되었습니다.

성능: AttriCoT는 모든 모델과 데이터셋에서 일관되게 가장 높은 AUPC 점수를 달성했습니다. GSM8K의 경우, Thought Anchors 대비 15–30%, 프롬프팅 베이스라인 대비 **70–165%**의 개선을 보였습니다.
효율성: 리샘플링 기반 방법들과 달리, AttriCoT는 새로운 CoT 궤적을 생성하는 높은 계산 비용을 피하고 비생성적(non-generative) 순방향 패스에 의존합니다.
비교 분석:
- Thought Anchors: 경쟁력이 있으나, 토큰 분포에 대한 KL 발산(divergence)을 사용하는 Thought Anchors는 일반적으로 AttriCoT보다 낮은 성능을 보였습니다. 이는 해당 방법이 동일한 국소적 방식으로 생성된 단위의 로그 확률에 미치는 직접적인 영향을 측정하지 않기 때문으로 보입니다.
- 프롬프팅: 단위를 순위 매기도록 LLM에 요청하는 방식(인컨텍스트 러닝 포함)은 현저히 낮은 충실도 점수를 기록했습니다.
- 화이트박스 어텐션(White-box Attention): 어텐션 가중치에 개입하는 탐색적 화이트박스 방법은 유망한 결과를 보였으나, 인과적 개입 방법들을 능가하지는 못했습니다.

추론 구조 분석

귀속 행렬을 분석함으로써 저자들은 다음과 같은 뚜렷한 패턴을 관찰했습니다:

영향력 감쇠(Influence Decay): 중요도는 일반적으로 단계 사이의 거리가 멀어짐에 따라 빠르게 감소하지만, 긴 꼬리(long tail) 형태를 띠며 완만해집니다.
입력 의존성: "입력 비율(Input Ratio)" 지표는 모델이 트레이스의 시작 부분에서 입력 단위에 크게 의존함을 보여줍니다. 흥러운 점은, 이 의존성이 트레이스의 중후반부(약 50~80% 지점)에서 다시 증가한다는 것인데, 이는 모델이 답변을 검증하거나 확정하기 위해 입력 컨텍스트를 다시 참조함을 시사합니다.
모델 간 차이: 더 크거나 증류된 모델(예: DS-Llama-8B)은 비증류 모델에 비해 더 높은 점수 밀도와 다른 영향력 패턴을 보였으며, 이는 모델이 추론을 처리하는 방식의 구조적 차이를 나타냅니다.

의의 및 주장

본 논문은 CoT 트레이스를 인과적 객체로 취급하는 것이 투명성과 안전성을 위한 필수적인 프레임워크를 제공한다고 주장합니다. CoT를 사용자 정의 단위로 분해하고 구조 방정식을 적합시킴으로써, AttriCoT는 특정 추론 단계가 왜 생성되었는지, 그리고 중간 추론이 실제로 유의미한지를 이해할 수 있는 계산 효율적인 방법을 제공합니다.

저자들은 자신들의 작업이 내부 메커니즘이나 궤적 분포가 아닌 "국소적(local)" 수준의 인과 관계를 다루고 있음을 강조합니다. 결론적으로, 도출된 귀속 행렬은 초기 및 최종 단계의 특수한 영향력과 모델이 검증 과정에서 입력을 재방문하는 경향성과 같은 암시적인 패턴을 드러냅니다. 저자들은 선형 구조 방정식의 표현력 제한과 기본 LOO 개입의 단순성 등의 한계를 인정하며, 향ong의 연구 방향을 계산 비용이 저렴한 화이트박스 방법론 개발과 모델 제품군 및 문제 난이도에 따른 추론 구조의 의존성 조사로 설정하였습니다.