🤖 machine learning

Reasoning Errors Have a Region and a Direction in the Residual-Stream Trajectory of LLMs

이 논문은 잔차 스트림(residual-stream)의 움직임과 위치에 대한 제한된 뷰(거친 영역 및 미세한 방향)를 결합한 새로운 3-스트림 탐지기를 제ように하여, 상태 조건부 움직임 신호를 활용함으로써 기존의 변위 전용 및 단일 계층 프로빙 방법보다 뛰어난 성능을 보이며 대규모 언어 모델에서 타당한 추론과 결함이 있는 추론을 더 정확하게 구별하는 방법을 제안한다.

원저자: Hamed Damirchi, Ignacio Meza De la Jara, Damith Ranasinghe, Yuhang Liu, Javen Shi

게시일 2026-08-07

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Hamed Damirchi, Ignacio Meza De la Jara, Damith Ranasinghe, Yuhang Liu, Javen Shi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

생각하는 기계의 숨겨진 흔적

당신이 친구가 진실을 말하고 있는지, 아니면 즉석에서 이야기를 지어내고 있는지 파악하려고 노력하고 있다고 상상해 보십시오. 당신은 그들이 내뱉는 마지막 문장만을 들어서는 안 됩니다. 이야기가 어떻게 전개되는지를 관찰해야 합니다. 그들이 말을 더듬었나요? 까다로운 부분에 도달했을 때 목소리가 변했나요? 인공지능(AI), 특히 거대 언语言 모델(LLM)의 세계에서 과학자들은 이와 유사한 퍼즐에 직면해 있습니다. 이 모델들은 에세이를 쓰고, 수학 문제를 풀고, 상식 퀴즈에 답할 수 있는 초지능적인 이야기꾼과 같습니다. 하지만 때때로 이들은 완전히 틀렸음에도 불구하고 매우 자신만만하게 들리기도 합니다.

모델이 왜 맞거나 틀리는지를 이해하기 위해, 연구자들은 모델이 작동하는 동안 그 "두뇌" 내부를 들여다봅니다. 그들은 단순히 최종 결과물만을 보는 것이 아니라, **잔차 스트림(residual stream)**을 관찰합니다. 이것을 모델의 생각이 다음 층으로 전달되는 고속 컨베이어 벨트라고 생각해 보십시오. 모델이 문장을 처리함에 따라 이 벨트 위의 정보는 형태와 위치를 바꿉니다. 과학자들은 만약 최종적인 정보의 위치만을 본다면, 모델의 스타일이나 어휘에 속을 수 있다는 것을 발견했습니다. 하지만 정보가 한 층에서 다음 층으로 어떻게 이동하는지, 즉 그 **궤적(trajectory)**을 본다면, 타당한 논증과 결함이 있는 논증의 차이를 식별해 낼 수 있는 경우가 많습니다. 그러나 여기에는 함정이 있습니다. 이동만을 관찰하는 것은 그 이동이 '왜' 일어났는지 이해하는 데 필요한 맥락을 때때로 지워버릴 수 있다는 점입니다. 이 논문은 이 균형을 어떻게 맞출 것인가를 탐구합니다.

논문의 핵심 아이디어: "어디"와 "어떻게"를 추적하기

호주 머신러닝 연구소(Australian Institute for Machine Learning)와 애들레이드 대학교(Adelaide University)의 하메드 다미르치(Hamed Damirchi)와 그의 팀은, 모델의 추론을 판단하기 위해 오직 "이동"만을 관찰하는 것은 무용지로, 댄서들이 어디에서 시작했는지는 무시한 채 댄서들의 발자국만을 관찰하며 춤을 이해하려는 것과 같다는 사실을 발견했습니다.

단순히 발걸음을 관찰할 때의 문제점
기존의 방법들은 모델의 내부 상태가 층 사이에서 보이는 **변위(displacement, 이동)**를 측정함으로써 추론 오류를 감지하려고 시도했습니다. 등산객이 눈 위에 발자국을 남기는 상황을 상상해 보십시오. 만약 당신이 두 발자국 사이의 거리만을 본다면, 그들이 얼마나 멀리 걸었는지는 알 수 있지만, 그들이 절벽 끝을 걷고 있었는지 아니면 안전한 길을 걷고 있었는지는 알 수 없습니다. "발자국"(이동)은 등산객이 위험한 곳에서 시작했다는 사실을 숨길 수 있습니다. 본 논문은 이동을 관찰하는 것이 일부 "노이즈"(예를 들어 모델이 질문의 스타일을 단순히 복제하는 것)를 걸러내는 데 도움이 되지만, 모델의 현재 상태에 대한 유용한 맥락을 너무 많이 버린다고 주장합니다.

해결책: 세 개의 시선을 가진 탐정
이를 해결하기 위해, 연구팀은 모델의 사고 과정을 세 가지 다른 각도에서 동시에 관찰하는 세 개의 눈을 가진 카메라와 같은 새로운 탐지기를 구축했습니다.

모션 리더 (The "How", 방식): 이 스트림은 변위를 관찰합니다. 모델의 내부 표현이 한 층에서 다음 층으로 어떻게 변하는지를 추적합니다. 이는 갑작스러운 논리의 변화와 같은 추론의 작용을 포착하는 데 탁고합니다.
리전 리더 (The "Rough Where", 대략적인 위치): 이 스트림은 **거친 위치(coarse location)**를 봅니다. "이 아이디어가 두뇌의 사고 공간 중 어느 일반적인 이웃 구역에 자리 잡고 있는가?"라고 묻습니다. 이들은 **벡터 양자화(vector quantization)**라는 기술을 사용하는데, 이는 백만 가지의 서로 다른 파란색 음영을 단 128개의 뚜렷한 색상 바구니로 그룹화하는 것과 같습니다. 이들은 정확한 색조에는 신경 쓰지 않고, 단지 어떤 바구니에 속하는지만을 따집니다. 이는 세부 사항에 매몰되지 않으면서 생각이 위치한 대략적인 지도를 제공합니다.
디렉션 리더 (The "Fine Where", 정밀한 방향): 이 스트림은 정밀한 방향을 봅니다. "그 이웃 구역 내에서 생각이 정확히 어느 방향을 향하고 있는가?"라고 묻습니다. 이들은 생각의 크기(magnitude)는 제거하지만, 정밀한 방향성(orientation)은 유지합니다. 이는 생각이 단순히 "북쪽"을 향하는 것이 아니라 "북북동"을 향하고 있다는 것을 아는 것과 같습니다.

이 세 가지 관점을 결합함으로써, 탐지기는 최선의 결과를 얻습니다. 즉, 이동을 관찰하여 (스타일 트릭을 걸러내고) 동시에 충분한 맥락(리전과 디렉션)을 복원하여 그 이동이 실제로 무엇을 의미하는지 이해할 수 있게 합니다.

연구 결과

연구팀은 수학 문제, 과학 질문, 상식 퍼즐을 포함한 다양한 추론 벤치마크에서 이 새로운 "세 스트림(Three-Stream)" 탐지기를 테스트했습니다. 그들은 한 세트의 문제로 탐지기를 훈련시킨 후, 완전히 다른 미지의 문제들에 던져 넣어 일반화가 가능한지 확인했습니다.

결과: 큰 폭의 정확도 향상
결과는 인상적이었습니다. 오직 이동만을 관찰했던 이전의 최고 방법과 비교했을 때, 새로운 탐지기는 선택 정확도를 최대 12% 향상시켰습니다. 뇌의 단일 층만을 관찰하는 오래된 방법(정적 프로빙, static probing)과 비교했을 때는 정확도가 무려 **21%**나 향상되었습니다.

하지만 가장 놀라운 발견은 탐지기가 단순히 "추론" 이상의 것을 학습했다는 점입니다. 비록 추론 작업만으로 훈련되었음에도 불구하고, 이 탐지기는 한 번도 본 적 없는 **사실적 오류(factual errors)**를 포착하는 데 놀라울 정도로 뛰어난 능력을 보여주었습니다.

만약 모델이 사실을 조작하려고 시도한다면(예: 참인 문장에서 단어 하나를 바꿈), 탐지기는 이를 잡아냈습니다.
만약 모델이 증거와 모순되는 주장을 한다면, 탐지기는 이를 표시했습니다.

이는 탐지기가 단순히 "좋은 추론"의 패턴을 암기하는 것이 아니라, 올바른 정신 상태와 옳지 않은 정신 상태 사이의 근본적인 차이를 포착하는 법을 실제로 배우고 있음을 시사합니다. "리전(Region)"과 "디렉션(Direction)" 스트림은 상호 보완적인 신호를 제공했으며, 이는 서로가 놓친 유형의 오류들을 잡아냈음을 의미합니다.

이것이 중요한 이유

본 논문은 추론의 타당성이 **상태 조건부 이동(state-conditioned motion)**으로부터 가장 잘 읽힌다는 점을 시사합니다. 쉬운 말로 설명하자면: 어떤 생각이 옳은지 알기 위해서는, 그것이 어떻게 움직이는지 보고 동시에 그것이 어디서 시작하여 어디를 향하고 있는지 정확히 알아야 한다는 것입니다.

연구자들은 단순히 이동(변위)만을 보는 것은 너무 투박하며, 전체적인 가공되지 않은 상태(raw state)를 보는 것은 너무 노이즈가 많다(논리가 아닌 모델의 스타일에 반응함)는 것을 발견했습니다. 그들의 "세 스트림" 접근 방식은 최적의 지점을 찾아냈습니다. 이는 모델의 어휘나 포맷팅 트릭에 의해 방해받지 않으면서도, 이동을 이해하기 위한 충분한 맥락을 복원해 냈습니다.

결론적으로, 이 논문은 생각이란 단순히 정적인 점도, 단순한 움직임도 아니며, 특정한 시작점과 특정한 방향을 가진 하나의 '여정'임을 이해함으로써 더 나은 AI용 "거짓말 탐지기"를 구축할 수 있음을 보여줍니다. 세 가지 렌즈로 그 여정을 관찰함으로써, 우리는 AI가 명료하게 생각하고 있는지 아니-면 그저 이야기를 지어내고 있는지를 구별할 수 있습니다.

기술 요약: LLM의 잔차 스트림 궤적(Residual-Stream Trajectory)에서 추론 오류는 영역과 방향을 가진다

1. 문제 정의

대규모 언어 모델(LLM)이 검증 가능한 추론을 요구하는 작업에 점점 더 많이 배치됨에 따라, 타당한 추론과 결함이 있는 추론을 구별하는 것이 중요한 과제가 되었습니다. 전통적인 프로빙(probing) 방법은 종종 단일 레이어의 활성화 값으로부터 학습된 **정적 선형 분류기(static linear classifiers)**에 의존합니다. 그러나 이러한 방법들은 두 가지 주요 한계점을 가집니다:

레이블 상관 관계 신호(Label-Correlated Signals): 단일 레이어 프로브는 추론의 타당성보다는 데이터셋의 표면적인 규칙성(예: 어구, 형식, 토큰 정체성)을 이용하는 경우가 많습니다. 이는 문구 구성이나 주제가 다른 벤치마크로 넘어갔을 때 일반화 성능이 떨어지는 결과를 초래합니다.
궤적 기반 방법에서의 맥락 손실(Loss of Context in Trajectory Methods): 최근의 궤적 기반 방법(예: Truth as a Trajectory)은 레이어별 변위( $\Delta h = h_{\ell+1} - h_\ell$ )를 분석하여 안정적인 토큰 특정 정보를 억제합니다. 이러한 방식은 교차 벤치마크 일반화 능력을 향상시키지만, 변위(differencing) 과정에서 업데이트가 시작된 **상태(state)**를 유실하게 됩니다. 표현의 변화(representational change)가 갖는 의미는 그것이 발생하는 맥락(상태)에 따라 달라지기 때문에, 순수한 변위 신호만으로는 추론과 관련된 중요한 정보를 놓칠 수 있습니다.

식별된 핵심 문제는 **상태 복원 트레이드오프(state-restoration trade-off)**입니다. 즉, 전체 상태를 복원하면 레이블 상관 신호가 다시 도입되고, 변위를 통해 상태를 완전히 제거하면 움직임을 해석하는 데 필요한 맥락을 잃게 된다는 점입니다.

2. 방법론

저자들은 운동(motion)과 두 가지 제한된 관점의 위치(location)를 결래하여 이 트레이드오프를 해결하는 **3-스트림 디텍터(Three-Stream Detector)**를 제안합니다. 이 프레임워크는 모델에 질문과 후보 답안들이 주어지는 선택(selection) 설정에서 작동하며, 디텍터는 잔차 스트림 궤적을 기반으로 각 후보의 점수를 매깁니다.

세 가지 스트림

모션 리더 (Motion Reader - 변위):
- 이전의 궤적 기반 접근 방식을 따릅니다.
- 레이어별 변위를 계산합니다: $d_{t,\ell} = h_{t,\ell+1} - h_{t,\ell}$ .
- 토큰 특유의 지속적인 콘텐츠를 감쇄시켜 데이터셋 간의 신호 전이를 허용합니다.
- 양방향 LSTM을 통해 처리되어 모션 임베딩( $c_{mot}$ )을 생성합니다.
리전 리더 (Region Reader - 거친 위치):
- 세밀한 어구 정보는 재도입하지 않으면서 **거친 상태 위치(coarse state location)**를 복원합니다.
- 중간에서 후반부 레이어들의 고정된 윈도우로부터 정규화된 상태 방향( $u_{t,\ell} = h_{t,\ell} / \|h_{t,\ell}\|$ )을 가져옵/니다.
- 이 방향들을 투영하고 이를 크기가 $K$ 인 학습된 코드북(codebook)에 통과시킵니다.
- 연속적인 상태를 가장 가까운 코드북 항목으로 대체하는 벡터 양자화(Vector Quantization)를 수행하여 이산적인 리전 코드( $c_{reg}$ )를 출력합니다.
- 이는 상태 공간의 일반적인 영역만을 유지하는 "병목(bottleneck)" 역할을 합니다.
디렉션 리더 (Direction Reader - 미세한 위치):
- 크기와 무관한 토큰/레이어를 버리면서 **미세한 상태 구분(fine state distinctions)**을 복원합니다.
- 선택된 레이어와 답안 토큰들에 대한 정규화된 상태 방향( $u_{t,\ell}$ )을 보존합니다.
- 공유 MLP를 사용하여 방향을 표현으로 매핑하며, 이때 최종 토큰의 상태(답안이 안착하는 곳)와 중간 상태들의 평균(경로)을 결합합니다.
- 디렉션 임베딩( $c_{dir}$ )을 출력합니다.

퓨전 (Fusion)

세 가지 임베딩( $c_{mot}, c_{reg}, c_{dir}$ )을 결합(concatenate)한 후 MLP 헤드를 통과시켜 유효성 점수를 생성합니다. 모델은 정답 후보를 선택하기 위한 쌍체 목적 함수(pairwise objective)를 통해 엔드투엔드(end-to-end)로 학습됩니다.

3. 주요 기여

상태 복원 트레이드오프 식별: 본 논문은 궤적 기반의 차분(differencing)이 추론 관련 상태 정보를 버리는 반면, 전체 상태 복원은 레이블 상관 신호를 다시 도입한다는 점을 입증했습니다.
상호 보완적인 상태 리더: 저자들은 서로 다른 해상도로 상태 정보를 선택적으로 복원하는 리전 리더(벡터 양자화를 통한 방식)와 디렉션 리더(정규화된 다층 상태를 통한 방식)를 도입했습니다.
학습 분포를 넘어선 일반화:
- 본 방법은 단일 레이어 선형 프로브 대비 최대 21%, 변위 전용 최신 기술(SOTA) 대비 최대 12% 향상된 선택 정확도를 미학습 추론 벤치마크에서 보여주었습니다.
- 결정적으로, 추론 벤치마크로만 학습된 디텍터가 학습 과정에서 본 적 없는 사실적 오류(사실 검증 및 완성 작업)를 성공적으로 식별해 냈으며, 이는 학습된 신호가 특정 유형의 추론이 아닌 "정확성" 자체를 포착하고 있음을 시사합니다.
상호 보완적 신호: 절제 연구(Ablation studies)를 통해 모션, 리전, 디렉션이 상호 보완적인 정보를 제공함을 확인했습니다. 어느 하나의 스트림도 지배적이지 않으며, 이들의 결합이 최상의 성능을 냅니다.

4. 실험 결과

데이터셋: 추론 도너(donor) 데이터셋(ARC-Challenge, ARC-Easy, OpenBookQA, CommonsenseQA, Social IQa, HellaSwag)으로 학습을 수행했습니다. 평가는 다른 추론 벤치마크(MMLU, Story Cloze) 및 사실 관계 벤치마크(FACTOR-wiki, FACTOR-news, FACTOR-expert, VitaminC)에 대한 제로샷 전이(zero-shot transfer)를 포함했습니다.
성능:
- 추론 벤치마크에서 전체 3-스트림 모델은 모션 전용 베이스라인보다 7~~12%포인트, 선형 프로브보다 OOD(분포 외) 설정에서 10~~21%포인트 높은 성능을 보였습니다.
- 사실 관계 벤치마크에서 추론 학습된 디텍터는 모션 전용 모델과 선형 프로브 모두를 능가하며, 학습된 신호가 사실적 정확성으로 일반화됨을 입증했습니다.
절제 연구(Ablations):
- 모션 베이스라인에 리전 또는 디렉션 스트림을 추가할 때마다 성능이 향상되었습니다.
- 양자화된 리전 코드 자체만으로도 상당한 예측력을 유지했으며, 이는 거친 위치 정보가 정확성에 대한 강력한 신호임을 증명합니다.
- 이 방법은 다양한 모델 아키텍처(Llama-3.1-8B, Qwen2.5-14B, Qwen3-30B-A3B)에서 작동합니다.

5. 의의 및 주장

본 논문은 추론의 타당성이 정적인 상태나 탈맥락화된 궤적 단독보다, 상태가 조건화된 모션(state-conditioned motion)으로부터 더 잘 읽힌다고 주장합니다.

신호의 성격: 결과는 유효성 신호가 특정 "종류"의 추론(예: 수학적 vs 상식적)에 묶여 있는 것이 아니라, **정확성(correctness)**이라는 더 근본적인 속성임을 시사합니다. 디텍터는 특정 작업 도메인과 관계없이 올바른 궤적과 잘못된 궤적을 구별하는 법을 배웁니다.
해석 가능성: "계산이 어떻게 움직이는가"(motion)를 "그것이 어디에 위치하는가"(region/direction)와 분리함으로써, 이 방법은 모델의 내부 추론 과정을 더 견고하게 읽어낼 수 있는 수단을 제공합니다.
한축(Limitations): 저자들은 디텍터가 단일 답안을 판단하는 것이 아니라 선택 작업(후보들 중 하나를 고르는 것)에 국한된다는 점을 명시했습니다. 또한, 후보당 한 번의 순전파(forward pass)가 필요하며 학습을 위한 레이블이 있는 도너 벤치마크가 필요합니다. 성능은 모델이 잔차 스트림 내에서 정답과 오답을 구별할 수 있는 고유한 능력에 의해 제한됩니다.

요약하자면, 본 연구는 제한적이고 맥락을 인지하는 형태의 상태 뷰를 궤적 모션과 함께 복원하는 것이 표면적인 신호를 억제하는 것과 필요한 추론 맥락을 유지하는 것 사이의 트레이드오프를 해결하며, 이를 통해 추론 및 사실 관계 정확성에 대한 견고하고 일반화 가능한 디텍터를 구축할 수 있음을 입증하였습니다.