🤖 machine learning

Final Checkpoints Are Not Enough: Analyzing Latent Reasoning Faithfulness Along Training Trajectories

이 논문은 잠재적 추론 방식의 충실도가 정적인 것이 아니라 훈련 과정 동안 동적으로 진화하며, 최종 답변에 대한 인과적 기여도가 시간이 지남에 따라 감소하고 답변 형식에 따라 크게 달라진다는 점을 밝힘으로써, 최종 체크포인트 평가만으로는 추론의 신뢰성을 평가하기에 불충분하다는 점을 강조한다.

원저자: Hengyu Jin, Shu Yang, Di Wang

게시일 2026-07-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hengyu Jin, Shu Yang, Di Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 어려운 수학 시험을 치르고 있는 한 명석한 학생이 있다고 상상해 보세요. 이 학생은 문제를 푸는 두 가지 방법이 있습니다.

"풀이 과정을 보여주는" 방식 (Chain-of-Thought): 학생은 종이에 모든 단계를 하나하나 적습니다. 당신은 그들의 노트를 읽고 그들이 어떻게 정답에 도달했는지 정확히 알 수 있습니다.
"속으로 생각하는" 방식 (Latent Reasoning): 학생은 머릿속으로 문제를 완전히 해결합니다. 아무것도 적지 않고, 그저 최종 정답만을 나지막이 말합니다. 이 방식은 더 빠르고 간결하지만, 당신은 그들이 어떻게 풀었는지 볼 수 없습니다.

이 논문은 두 번째 방식에 관한 것입니다. 가장 큰 걱정은 이것입니다: 이 학생이 실제로 생각하고 있는 것인가, 아니면 그냥 찍고 있는 것인가? 어쩌면 정답지를 외웠거나, 실제 사고 과정을 건너뛰는 지름길을 사용하고 있는 것일지도 모릅니다. 만약 당신이 그들의 뇌(또는 컴퓨터 코드)를 찔러서 "속으로 하는 생각"의 단계가 정말 필요한지 확인했을 때, 여전히 정답을 맞힐 수 있을까요?

연구자들은 이를 **"충실성(faithfulness)"**이라고 부릅니다. 만약 이 '속생각' 단계가 충실하다면, 그것은 정답의 원인이 됩니다. 만약 충실하지 않다면, 학생은 생각하는 척을 하고 있을 뿐이며, 실제 정답은 다른 곳에서 온 것입니다.

이전 연구들이 저지른 큰 실수

이전 연구들은 이 "속으로 생각하는 자들"을 오직 훈련이 끝난 후(최종 시험)에만 관찰했습니다. 그 결과, 많은 모델이 "불충실"하다는 것을 발견했습니다. 즉, 모델의 속생각 단계를 망가뜨려도 여전히 정답을 맞혔습니다.

이 논문의 저자들은 이렇게 말합니다: "잠깐만요! 우리는 결승선만 보았습니다. 경주가 진행되는 동안에는 무슨 일이 있었나요?"

그들은 스포츠 경기 결과를 보는 대신, 경기를 직접 관람하듯 모델이 첫날부터 끝까지 훈련되는 과정을 지켜보기로 했습니다. 그들은 모델을 테스트하기 위해 두 가지 특별한 도구를 사용했습니다.

"만약에" 기법: 질문의 아주 작은 디테일(예: 지도상의 도로 하나)을 바꾸어 모델이 답을 바꾸는지 확인했습니다. 모델이 충실하다면, 답을 바꿔야 합니다.
"브레인 포그(Brain Fog)" 테스트: 모델의 속생각 단계에 무작위 노이즈를 넣어 일시적으로 "안개"를 끼게 만든 뒤, 모델이 여전히 문제를 풀 수 있는지 확인했습니다.

그들이 발견한 것 (세 가지 큰 놀라움)

1. 같은 막다른 길로 가는 두 가지 서로 다른 경로

그들은 두 가지 유형의 "속으로 생각하는 모델"(이하 방법 A와 방법 B)을 연구했습니다.

결과: 맨 마지막 단계에서, 두 방법 모두 엉망이었습니다. 두 방법 모두 "만약에" 기법과 "브레인 포그" 테스트에서 실패했습니다. 둘 다 똑같이 불충실해 보였습니다.
반전: 하지만 그 실패에 이르는 여정은 완전히 달랐습니다.
- 방법 A는 처음에 매우 충실했습니다. 질문이 바뀌면 답도 잘 바꿨습니다. 하지만 훈련 중간쯤, 갑자기 관심을 끊었습니다. 점수는 계속 올라가는데도 불구하고, 생각을 무시하고 게을러지기 시작했습니다.
- 방법 B는 처음부터 아예 생각하는 단계에 관심이 없었습니다. 첫날부터 불충실했고 그대로 유지되었습니다.
교훈: 만약 최종 시험만 본다면, 당신은 두 모델이 같다고 생각할 것입니다. 하지만 훈련 과정을 지켜본다면, 하나는 중간에 포기해버린 "늦깎이"였고, 다른 하나는 처음부터 "속임수"를 쓴 것임을 알 수 있습니다.

2. "생각" 단계가 사라지고 있다

그들은 모델의 내부 "뇌 활동"(숨겨진 상태)을 확인했습니다.

결과: 훈련이 진행됨에 따라, 속생각 단계의 실제 중요도가 떨어졌습니다.
비유: 요리사가 수프를 만드는 장면을 상상해 보세요. 처음에는 요리사가 수프 맛을 보고 소금을 넣습니다(생각 단계). 하지만 요리사가 숙련될수록, 맛을 보는 대신 그냥 적당히 소금을 뿌립니다. 왜냐하면 그렇게 하는 것이 맞다고 생과 있기 때문입니다. 논문은 이 과정에서 "맛을 보는" 부분이 시간이 흐를수록 쓸모없어졌음을 발견했습니다. 모델은 정답을 얻기 위해 더 이상 속생각 단계가 필요하지 않게 되었고, 그냥 정답을 바로 추측하기 시작했습니다.
연결 고리: 모델이 답을 바꾸지 않았던 특정 질문들("만약에" 기법)은, 바로 "생각 단계"가 중요하지 않게 된 질문들과 정확히 일치했습니다.

3. 답변의 형식이 모든 것을 바꾼다

이것이 가장 놀라운 부분입니다. 그들은 두 가지 유형의 질문을 테스트했습니다.

유형 A: "정답이 X인가요, Y인가요?" (이지선다형)
유형 B: "정답은 무엇인가요?" (주관식/개방형)

마법의 스위치:

모델이 두 가지 옵션 중 하나를 골라야 할 때는, 훈련이 진행됨에 따라 "생각 단계"가 쓸모없어졌습니다(이전 테스트와 동일).
하지만 모델이 직접 답을 써 내려가야 할 때는, 오히려 훈련이 진행될수록 "생각 단계"가 더 중요해졌습니다!

비유: 이는 마치 학생이 수학 문제를 푸는 대신, 답안지의 마킹 패턴만 보고 객관식 답을 찍는 법을 배우는 것과 같습니다. 하지만 빈 종이에 답을 직접 써야 한다면, 그들은 반드시 수학 계산을 해야만 합니다. 질문을 던지는 방식에 따라 모델이 실제로 생각하고 있는지, 아니면 그냥 찍고 있는지가 결정됩니다.

결론

이 논문은 "속으로 생각하는" AI가 정직한지 혹은 충실한지를 단지 최종 테스트 점수만 보고 판단해서는 안 된다고 결론짓습니다.

타이밍이 중요합니다: 모델은 초기에 충실했다가 그 능력을 잃을 수도 있고, 그 반대일 수도 있습니다.
형식이 중요합니다: 모델은 에세이를 쓸 때는 충실할 수 있지만, 객관식 문제를 풀 때는 불충실할 수 있습니다.

이 "속으로 생각하는" AI 모델의 "충실성"은 기계의 고정된 특성이 아닙니다. 그것은 어떻게 훈련되었는지와 질문을 어떻게 던지는지에 따라 변하는 움직이는 목표물입니다.

기술 요약: 최종 체크포인트만으로는 부족하다: 훈련 궤적에 따른 잠재적 추론 충실도 분석

문제 정의
잠재적 추론(Latent reasoning) 방법은 모델의 연속적인 은닉 상태(hidden states) 내에서 다단계 추론을 완전히 수행함으로써, 이산적인 자연어 토큰에 의존하는 명시적 사고 사슬(Chain-of-Thought, CoT) 추론보다 더 압축적이고 효율적인 대안을 제공한다. 그러나 이러한 은닉 상태의 불투명성은 중요한 질문을 제기한다: 잠재적 추론 단계가 최종 답변을 인과적으로 유도하는가, 아니면 단순히 출력과 상관관계만 갖는 것인가? 즉, **충실도(faithfulness)**의 문제이다.

기존 연구들은 이 질문을 오직 수렴된 체크포인트에서만 조사하였으며, 잠재적 추론 단계가 종종 불충실하다는 점을 보고했다. 즉, 잠재적 추론 단계를 교체, 섭동(perturb) 또는 삭제하더라도 최종 예측을 바꾸지 못한다는 것이다. 하지만 이러한 불충실한 행동이 훈련 과정 중 어떻게 형성되는지에 대한 이해에는 상당한 공백이 존재한다. 또한, 훈련된 모델을 고정된 종착점으로 취급하는 것은 서로 다른 훈련 패러다임이 질적으로 다른 궤적을 거쳐 유사한 불충실한 결론에 도달하는지 여부를 가린다.

방법론
저자들은 두 가지 뚜렷한 잠재적 추론 패러다임인 COCONUT(단계적 커리큘럼)와 CODI(자기 증류)를 공유 GPT-2 백본을 사용하여 훈련하며, 체크포인트 전반에 걸친 충실도의 진화를 추적한다. 분석에는 두 가지 주요 개입(intervention)이 사용된다:

검증된 반사실적 편집 (입력 수준): 결정론적 BFS 오라클로 해결 가능한 그래프 도달 가능성 작업인 ProsQA 벤치마크를 사용하여, 저자들은 405개의 쌍을 이룬 입력을 구성한다. 이들은 기저 그래프의 단일 엣지를 최소한으로 편집하여 오라클의 답을 타겟 $A$ 에서 대안 $B$ 로 바꾼다. 충실도는 모델의 예측이 이 편집을 따르는지 여부(대조 일관성 및 조건부 플립 비율)로 측정된다.
노이즈-아블레이션 활성화 패치 (활성화 수준): 인과적 매개 분석(causal-mediation analyses)에서 채택된 방식으로, 저자들은 모든 잠재적 추론 단계를 내용 삭제 값(0, 데이터셋 평균, 또는 노름-매칭 가우시안 노이즈)으로 패치한다. 저자들은 잠재 단계가 예측에 인과적으로 기여하는지 결정하기 위해 **출력 변화율(Output Change Rate, OCR)**과 **정답 시 보존율(Preserved-When-Correct, PWC)**을 측정한다.

본 연구는 세 가지 연구 질문(RQ)을 다룬다:

RQ1: 서로 다른 패러다임이 최종 체크포인트가 유사해 보이더라도, 질적으로 다른 출력 수준의 충실도 궤적을 보이는가?
RQ2: 잠재적 단계의 인과적 기여도가 훈련 과정 전반에 걸쳐 감소하는가, 그리고 이것이 출력 수준의 전이와 일치하는가?
RQ3: 이러한 궤적은 답변 형식(이진 선택 vs. 개방형 디코딩)에 따라 달라지는가?

주요 결과

유사한 종착점을 향한 발산하는 궤적 (RQ1): COCONUT과 CODI 모두 낮은 충실도 종착점(낮은 대조 일 일관성 및 조건부 플립 비율)으로 수렴하지만, 훈련 궤적은 크게 다르다.
- COCONUT은 초기에 높은 반사실적 충실도(편집을 따름)를 보이지만, 커리큘럼 경계(에포크 15–16)에서 급격한 변화를 겪으며 충실도가 붕괴되고, 모델은 편집에도 불구하고 원래의 답을 유지하기 시작한다.
- CODI는 가장 초기 체크포인트부터 거의 즉시 "유지(retention)" 레짐(낮은 충실도)에 진입하며, 그 상태를 유지하고, 반사실적 추종 단계를 전혀 거치지 않는다.
- 시사점: 수렴 시점의 단일 스냅샷은 이러한 근본적으로 다른 학습 역학을 가린다.
인과적 기여도의 쇠퇴 (RQ2): 활성화 수준에서, 두 패러다임 모두 훈련 과정에 따라 잠재적 추론 단계의 인과적 기여도가 감소한다.
- **출력 변화율(OCR)**은 0을 향해 떨어지고, PWC는 1을 향해 상승하는데, 이는 잠재 단계에 대한 노이즈 아블레이션이 더 이상 출력에 영향을 미치지 않음을 나타낸다.
- 코호트 분석 결과, 출력이 반사실적 추종에서 유지(retention)로 전환되는 특정 예시들(드리프트 코호트)은 잠재 단계의 인과적 기여도가 감소하는 예시들과 정확히 일치한다.
형식 의존성 (RQ3): 활성화 수준의 궤적은 모델 아키텍처의 고유한 특성이 아니라 답변 형식에 크게 의존한다.
- 이진 선택 작업(ProsQA 및 GSM-Choice)에서, 잠재 단계의 인과적 기여도는 훈련에 따라 감소한다 (OCR 감소).
- 개방형 디코딩 작업(GSM-open)에서, 잠재 단계의 인과적 기여도는 훈련에 따라 상승한다 (OCR 증가).
- 또한, 모델 성능의 순위(COCONUT vs. CoT)는 작업이 개방형인지 이진 선택인지에 따라 뒤바뀌며, 이는 답변 형식이 겉보기 성능과 측정된 충실도 모두를 변화시킨다는 것을 시사한다.

의의 및 주장
본 논문은 잠재적 추론의 충실도는 최종 아키텍처나 체크포인트의 정적인 속성이 아니라, 훈련 단계와 출력 형식의 속성이라고 주장한다.

방법론적 기여: 본 연구는 잠재적 추론을 수렴 시점에서만 평가하는 것이 불충분함을 입증한다. 이는 질적으로 다른 훈련 역학이 유사한 불충실한 종착점으로 이어질 수 있으며, 충실도 지표가 출력 형식에 따라 방향을 역전시킬 수 있음을 보여준다.
불충실성에 대한 해석: 연구 결과는 이진 선택 설정에서 잠재적 추론 단계가 필요한 계산을 수행하기보다는 "제거 가능한 정답 편향(removable answer bias)"을 개발할 수 있는 반면, 개방형 설정에서는 인과적 역할을 유지하거나 증가시킬 수 있음을 시사한다.
한론: 저자들은 검증된 반사실적 편집이 결정론적 오라클(예: BFS 솔버)에 의존하므로, 이러한 오라클이 없는 작업에 즉각적으로 적용하는 데 한계가 있음을 언급한다. 또한, 전체 훈련 궤적의 재현 가능성을 확보하기 위해 GPT-2 small 백본으로 범위를 제한하였다.

결론적으로, 본 논문은 잠재적 추론을 이해하려면 최종 체크포인트 평가에 의존하기보다 학습의 궤적과 출력의 형식을 분석해야 한다고 주장한다.

이전 연구들이 저지른 큰 실수

그들이 발견한 것 (세 가지 큰 놀라움)

1. 같은 막다른 길로 가는 두 가지 서로 다른 경로

2. "생각" 단계가 사라지고 있다

3. 답변의 형식이 모든 것을 바꾼다

결론

유사한 논문