기술적 요약: 소형 언어 모델의 읽기 단축 경로

문제 제기

연쇄 사고 (Chain-of-thought, CoT) 프롬프팅은 소형 언어 모델 (SLM) 에서의 산술 추론에 필수적인 것으로 널리 인식되고 있지만, 경험적 관찰에 따르면 CoT 단계의 논리적 순서를 뒤섞어도 성능이 유지되는 경우가 많다. 이는 모순을 야기한다: 단계의 논리적 순서가 정확성의 주된 동인이 아니라면, 어떤 메커니즘이 모델로 하여금 정답을 생성하게 하는가? 기존 연구는 CoT 가 불성실할 수 있음을 입증했다 (예: 편향된 시연이 올바른 추론에도 불구하고 답변을 변경함). 그러나 읽기 (readout) 메커니즘이 사용하는 특정 신호, 네트워크 내 위치, 그리고 가용한 계산을 능동적으로 억제하는지 여부는 설명되지 않은 채 남아 있다.

방법론

저자들은 Qwen2.5-1.5B-Instruct, Llama-3.2-1B-Instruct, Gemma-2-2B-it라는 세 가지 지시 미세 조정 (instruction-tuned) 1–3B 파라미터 모델을 사용하여 이 현상을 조사했다. 연구는 GSM8K 데이터셋 (첫 500 개 문제) 에 초점을 맞추고 GSM-Symbolic 및 BIG-Bench-Hard (BBH) 로 확장되었다.

핵심 실험 프로토콜은 접두어 완성 (prefix completion) (교사 강제 주입) 을 포함한다. CoT 접두어 (수정된 경우 포함) 를 어시스턴트 턴에 주입한 후, 답변 구분자 ####를 따른다. 그런 다음 모델은 최종 답변 토큰을 탐욕적으로 생성한다. 이를 통해 추론의 생성 시간적 혼란 요인으로부터 "읽기" 단계를 분리해낸다.

주요 실험 개입은 다음과 같다:

1. 부식 분해 (Corruption Decomposition): CoT 접두어의 숫자를 체계적으로 손상시켜, 금메달 답변의 존재와 중간 계산의 기여도를 분리한다.
2. 인과 사다리 (Causal Ladder): 모델이 "복사" 채널에 의존하는지 아니면 유지된 문맥 완성에 의존하는지 판단하기 위한 일련의 조건 (예: 뒤따르는 숫자를 산만 요소로 대체, 답변 전 CoT 잘라내기, 뒤따르는 숫자 완전히 제거).
3. 위치 및 내용 통제: 뒤따르는 위치에 잘못된 숫자 (산만 요소) 를 주입하고, 문맥 프레임 (답변 관련 vs. 단순 숫자) 을 변화시키며, 다른 세분성 (토큰, 단어, 단계) 에서 단계를 뒤섞는다.
4. 메커니즘적 제거 (Mechanistic Ablation): 읽기에 책임 있는 아키텍처별 회로를 식별하기 위한 어텐션 헤드의 제로 제거 및 평균 제거, 그리고 활성화 패칭.
5. 확장 및 일반화: 7–8B 모델과 비산술 작업을 테스트하여 현상의 경계를 규명한다.

주요 기여 및 결과

1. 위치 기반 읽기 단축 경로

주요 발견은 1–3B 모델에서 CoT 읽기가 위치 단축 경로에 의해 지배된다는 것이다: 모델은 답변 관련 문맥에 나타나는 경우, 답변 구분자 직전의 뒤따르는 위치에 있는 숫자를 복사한다.

• 금메달 답변 의존성: 뒤따르는 위치에 금메달 답변이 존재하는 것은 정확도의 54–92 퍼센트 포인트 (pp) 를 설명한다 (모델의 교사 강제 상한선의 89–92%).
• 계산의 가림: 뒤따르는 숫자가 존재할 때, 모델은 올바른 중간 단계를 무시한다. 뒤따르는 금메달 숫자를 잘못된 값 (산만 요소) 으로 대체하면, 모든 중간 추론이 올바르더라도 정확도는 거의 0 으로 붕괴된다.
• 오버라이드 메커니즘: "복사 채널"은 유지된 문맥 완성에 우선한다. 뒤따르는 산만 요소를 제거 (잘라내기) 하면 정확도가 5–32 pp 회복되어, 모델이 유지된 문맥에서 계산할 수 있지만 위치 복사 신호에 의해 능동적으로 억제됨을 보여준다.

2. 내용 게이트 및 아키텍처 차이

위치 메커니즘은 테스트된 1–3B 모델 전반에 걸쳐 보편적이지만, 내용 선택성 (잘못된 숫자를 거부하는 능력) 의 정도는 다르다:

• Qwen 및 Llama: 새로움 허용 복사를 보인다. 숫자가 의미적으로 타당한지 여부와 상관없이, 끝에 놓인 잘못된 숫자를 87–95% 의 빈도로 복사한다.
• Gemma: 강력한 내용 게이트를 보인다. 새로운 산만 요소를 81–88% 의 빈도로 거부한다 (복사 빈도 12–19%), 이는 더 선택적인 읽기 메커니즘을 나타낸다.
• 프레임 민감성: 이 단축 경로는 "답변 문맥 게이트"가 적용된다. 끝에 있는 단순 숫자는 복사를 유발하지 않으며, 숫자는 답변 관련 텍스트 (예: "정답은 X 입니다") 내에서 프레임되어야 한다.

3. 메커니즘적 국소화

헤드 수준의 제거는 복사 회로에 대한 아키텍처별 프로파일을 드러낸다:

• Llama: 국소화된 민감도 (레이어 10–15 의 특정 헤들).
• Qwen: 분산된 민감도 (위상 전이를 보려면 약 17 개의 헤드를 제거해야 함).
• Gemma: 집중적이지만 보상 가능 (제로 제거에서 단일 헤인 L14H4 가 지배적).
• 활성화 패칭: Qwen 의 상위 20 개 헤드를 패칭하면 뒤섞기로 인한 정확도 격차의 61% 를 회복시켜, 이러한 헤드와 읽기 사이의 인과적 관계를 확인한다.

4. 확장 및 일반화 경계

• 7–8B 모델: 모델이 7–8B 로 확장됨에 따라 금메달 존재 의존성은 유지되지만, 내용 선택성이 나타난다. 잘못된 산만 요소를 복사하는 비율이 크게 감소 (32% 미만) 하고, 중간 계산에 의존하는 상당한 "비복사" 경로가 다시 나타난다.
• 비산술 작업: 뒤따르는 위치에 복사 가능한 숫자 답변이 없는 비산술 작업 (예: BBH 의 논리적 추론) 에서 뒤섞기 허용은 붕괴된다. 유지율은 우연 수준으로 떨어지며, 이 단축 경로가 산술/숫자 읽기 패턴에 특화됨을 확인한다.
• 베이스 모델: 이 메커니즘은 베이스 모델 가중치에 존재하므로 지시 미세 조정의 산물에 불과하지는 않으나, 미세 조정이 효과를 증폭시킨다.

중요성 및 주장

이 논문은 소형 모델의 특정 실패 모드를 식별함으로써 CoT 의 필요성과 뒤섞기 허용 사이의 "모순"을 해결했다고 주장한다: 읽기 단계는 추론 단계와 크게 분리되어 있다.

• 감독에 대한 함의: 이 발견은 1–3B 모델을 위한 단계별 CoT 모니터 (예: 프로세스 보상 모델) 의 전제를 약화시킨다. 읽기가 중간 계산보다 뒤따르는 토큰을 우선시하므로, 모델은 논리적으로 올바른 사고 사슬을 생성하지만 뒤따르는 산만 요소에 기반하여 잘못된 답변을 출력하거나 그 반대의 경우가 발생할 수 있다. 단계별 보상은 실제 답변 생성 계산과 약하게 결합된 신호에서 작동할 수 있다.
• 진단적 유용성: 저자들은 답변이 마지막 CoT 숫자와 일치하는지 모니터링하는 것이 복사 우세에 대한 간단한 진단이 될 수 있다고 제안한다.
• 안전 및 취약성: 이 논문은 적대자가 단계별 감독을 회피하기 위해 중간 단계는 올바르지만 뒤따르는 산만 요소가 있는 CoT 를 구성하여 최종 답변을 위치 단축 경로를 통해 라우팅할 수 있는 취약점을 강조한다.

저자들은 범위에 대해 겸손하게, 이 현상은 주로 1–3B 산술 작업에서 관찰되며 내용 선택성은 더 큰 규모 (7–8B) 와 추론 훈련 모델 (예: DeepSeek-R1-Distill) 에서 회복되지만, 위치 메커니즘은 그곳에서도 지속된다고 명시한다.