🤖 machine learning

Repeated-Token Counting Reveals a Dissociation Between Representations and Outputs

본 논문은 대규모 언어 모델이 반복된 토큰을 세지 못하는 실패가 내부적으로 올바른 개수를 표현할 수 없는 능력 부족에서 비롯된 것이 아니라, 출력 생성 과정에서 고정된 잘못된 답변으로 정확한 표현을 덮어쓰는 특정 형식 유발 MLP 메커니즘에서 비롯됨을 보여준다.

원저자: Sohan Venkatesh

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sohan Venkatesh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 매우 똑똑하고 독서량이 풍부한 사서 (AI 모델) 가 있다고 가정해 봅시다. 이 사서에게 긴 목록에서 "사과"라는 단어가 몇 번 등장하는지 세어달라고 요청합니다. 당연히 정확하게 세어낼 것이라고 기대하지만, 대신 그들은 자신 있게 "사과가 8 개 있습니다"라고 말합니다. 하지만 분명히 10 개가 있습니다.

오랫동안 사람들은 이 사서가 단순히 셈을 잘하지 못한다고 생각했습니다. 사서의 뇌에 "세는 기능"이 내장되어 있지 않아서 숫자를 추적할 수 없다고 가정했습니다.

이 논문은 그 가정이 잘못되었다고 말합니다.

연구자들이 실제로 발견한 내용을 일상적인 비유를 사용해 간단히 설명해 보겠습니다.

1. 사서는 정답을 알고 있습니다

연구자들은 사서의 뇌 (모델의 내부 계층) 를 깊이 들여다보며 사고 과정의 모든 단계를 관찰했습니다. 그들은 올바른 숫자 (10) 가 첫 단계부터 마지막 단계까지 명확하고 완벽하게 기록되어 있음을 발견했습니다.

비유: 사서가 손에 화이트보드를 들고 복도를 걷고 있다고 상상해 보세요. 걷는 모든 단계에서 화이트보드에는 명확하게 "10"이라고 적혀 있습니다. 정보가 그곳에 선명하고 또렷이 존재합니다. 사서는 혼란스러운 것이 아닙니다. 그들은 실제로 정답을 알고 있습니다.

2. "오작동"하는 표지판 작성자

그렇다면 사서가 정답이 10 임을 알고 있음에도 불구하고 왜 "8"이라고 말할까요?

연구자들은 복도 중간에 특정 "오작동"이 있음을 발견했습니다. 사고 과정의 약 90% 지점에서, 목록의 형식 (공백으로 구분된 단어) 을 보고 화이트보드를 무시하기로 결정하는 특정 작업자 (MLP 블록이라고 불리는 컴퓨터 코드 부분) 가 있습니다.

비유: 사서가 "10"이라는 표지판을 들고 복도를 걷고 있다고 상상해 보세요. 갑자기 특정 작업자 (그를 '형식 프레드'라고 부르겠습니다) 가 튀어 나옵니다. 프레드는 목록이 공백으로 작성된 것 ("사과 사과 사과"와 같이) 을 봅니다. 그는 사전에 프로그래밍된 규칙을 가지고 있습니다. "만약 공백으로 구분된 단어 목록을 보게 되면, 표지판을 '8'이라고 바꾸어야 한다."
프레드는 화이트보드를 낚아채 "10"을 지우고 그 위에 "8"이라고 씁니다.
사서의 뇌는 여전히 그것이 10 임을 알고 있습니다 (원래 신호는 여전히 배경에 남아 있습니다). 하지만 최종 출력은 프레드가 덮어썼기 때문에 이제 "8"이 됩니다.

3. 단어의 문제가 아니라 형식의 문제입니다

이 오작동은 단어 ("사과"나 "고양이"와 같은) 에 대해서만 발생하며, 숫자 ("1"이나 "2"와 같은) 에 대해서는 발생하지 않습니다.

비유: 만약 사서에게 숫자 목록 ("1 1 1 1...") 을 주면, 형식 프레드는 관심을 갖지 않습니다. 그는 단어에만 반응합니다. 사서는 숫자를 완벽하게 셉니다. 하지만 만약 단어 목록을 주면 프레드가 발동됩니다.
또한, 공백 대신 쉼표로 형식을 변경하면 (예: "사과, 사과, 사과"), 프레드는 튀어 나오지 않습니다. "8" 규칙이 발동되지 않아 사서가 정확하게 답을 냅니다. 이는 문제가 셈 능력에 있는 것이 아니라, 목록이 어떻게 보이는지에 대한 특정 반응에 있음을 증명합니다.

4. "표현" 문제가 아닌 "라우팅" 문제입니다

이 논문은 두 가지 유형의 실패를 크게 구분합니다.

표현 실패: 사서가 셈을 하는 방법을 모릅니다. (이 논문은 이것이 아니라고 말합니다).
라우팅 실패: 사서는 셈을 하는 방법을 알지만, 신호가 입에 도달하기 전에 탈취됩니다. (이것이 일어나고 있는 일입니다).
비유: 라디오 방송국이 올바른 노래 (숫자 세기) 를 틀고 있는데, 부스 안의 DJ(MLP 블록) 가 음악이 스피커로 나가기 직전에 음악을 끊고 다른 노래 (잘못된 숫자) 를 틀기로 결정하는 것과 같습니다. 음악은 문제없습니다. 라우팅이 고장 난 것입니다.

5. 더 큰 모델은 다른 오작동을 가집니다

연구자들은 더 크고 똑똑한 모델들도 살펴보았습니다. 이러한 모델들은 보통 숫자를 정확하게 세지만, 사과 목록에 "바나나"를 슬쩍 넣으면 실패합니다.

오작동: 이러한 더 큰 모델들은 바나나를 봅니다. 그들의 주의 시스템이 그것을 감지합니다. 하지만 더 작은 모델들과 마찬가지로, 그 정보가 최종 답변을 바꾸도록 허용하지 못합니다. 그들은 이상치를 보지만 그 새로운 정보를 최종 출력으로 "라우팅"할 수 없습니다.

결론

이 논문은 이러한 AI 모델들이 "셈을 못 하는 것"이 아니라고 결론 내립니다. 그들은 실제로 내부적으로 숫자를 추적하는 데 매우 능숙합니다. 문제는 목록이 어떻게 작성되었는지 (공백 대 쉼표, 단어 대 숫자) 에 따라 뇌의 특정 부분이 발동되어 이미 존재하던 올바른 답변을 덮어쓰고 잘못된 답변을 최종 출력으로 강요한다는 점입니다.

이를 해결하기 위해 AI 에게 셈을 가르칠 필요는 없습니다 (이미 알고 있습니다). 우리는 올바른 답변이 밖으로 나가는 것을 막고 있는 "교통 경찰"(라우팅 메커니즘) 을 고쳐야 합니다.

기술 요약: 반복 토큰 카운팅은 표현과 출력 사이의 분리를 드러냄

문제 제기
대규모 언어 모델 (LLM) 은 광범위한 추론 벤치마크에서 강력한 성능을 보임에도 불구하고, 반복된 토큰을 세는 작업에서 체계적이고 재현 가능한 실패를 보입니다. 예를 들어, 열 개의 반복된 단어 (예: "apple") 를 세도록 요청받았을 때, 모델들은 종종 탐욕적 디코딩 (greedy decoding) 하에서 변이가 전혀 없는 자신감 있는 결정론적 오답 (예: "8" 또는 "14") 을 출력합니다. 이러한 실패에 대한 일반적인 귀인은 내부 카운팅 표현의 부재나 모델 상태 내에서 카운트를 추적하는 데 한계가 있다는 것입니다. 본 논문은 이러한 귀인을 도전하며, 실패의 원인이 표현에 있는 것이 아니라 출력으로의 정보 라우팅에 있다고 주장합니다.

방법론
저자들은 Llama-3.2(1B, 3B) 와 Qwen2.5(1.5B, 3B, 7B) 의 다섯 가지 지시 튜닝 디코더 전용 모델에 걸쳐 기계적 해석 가능성 (mechanistic interpretability) 기법을 활용합니다. 실험 설정은 세 가지 조건으로 구성됩니다:

P1 (기준선): 열 개의 동일한 토큰을 세기.
P2 (이상치): 아홉 개의 동일한 토큰과 하나의 침입자 (예: "banana") 를 세기.
P3 (대조군): 열 개의 고유한 토큰을 세기.

본 연구는 다음을 활용합니다:

선형 프로브 (Linear Probes): 각 레이어의 잔여 스트림 (residual stream) 에서 토큰 카운트를 디코딩하기 위해 Ridge 회귀 프로브를 훈련시켜, 출력이 틀렸을지라도 올바른 카운트가 선형적으로 디코딩 가능한지 테스트합니다.
로그잇 렌즈 (Logit Lens): 각 레이어에서 최종 레이어 정규화 (layernorm) 와 언임베딩 행렬을 통해 은닉 상태를 투영하여 모델이 언제 특정 숫자 토큰에 "결정"하는지 관찰합니다.
MLP 대 어텐션 분해: 잔여 스트림에서 특정 값을 쓰거나 지우는 구성 요소가 어텐션 하위 레이어인지 MLP 블록인지 결정하기 위해 각 구성 요소의 기여도를 분리합니다.
인과적 개입 (Causal Interventions): 특정 MLP 블록의 제로-절단 (zero-ablation) 을 수행하여 인과적 관여를 테스트합니다.
형식 및 토큰 변형: 공백 구분자와 쉼표 구분자를 테스트하고 단어 토큰을 숫자 토큰으로 대체하여 형식 민감도와 토큰 유형 특이성을 분석합니다.

주요 결과

표현 - 행동 분리:
선형 프로브는 모델이 잘못된 카운트를 출력하더라도, 첫 번째 트랜스포머 레이어부터 올바른 카운트가 거의 완벽한 정확도 ( $R^2 > 0.99$ ) 로 선형적으로 디코딩 가능함을 보여줍니다. 중요하게도, 카운트는 모델이 성공하는 조건 (고유 토큰) 보다 실패하는 조건 (반복 토큰) 에서 더 깔끔하게 인코딩됩니다. 이는 모델이 올바른 내부 표현을 보유하고 있지만 이를 표현하지 못한다는 것을 확인시켜 줍니다.
라우팅 실패 (MLP 덮어쓰기):
이 실패는 네트워크 깊이의 약 88~93% 지점에 위치한 특정 형식 유발 다층 퍼셉트론 (MLP) 블록에 의해 발생합니다 (예: Llama-1B 의 14 레이어, Llama-3B 의 22/26 레이어, Qwen-1.5B 의 22 레이어).
- 이 MLP 블록은 카운트를 올바르게 인코딩한 (또는 그에 가까운) 잔여 스트림 상태를 수신하지만, 이를 고정된 잘못된 정수 (예: "8" 또는 "14") 로 덮어씁니다.
- MLP 입력은 카운트 불변적이며, 실제 시퀀스 길이 ( $n=8$ 에서 $n=15$ 까지) 에 관계없이 발화합니다. 이는 계산 수행이 아니라 특정 형식 서명에 반응함을 나타냅니다.
- 이 MLP 블록의 인과적 절단은 올바른 답을 복원하지 않습니다. 대신 실패를 다른 잘못된 값 (예: "8"에서 "16"으로) 으로 이동시킵니다. 이는 사전 (prior) 이 여러 블록에 부분적으로 분포되어 있음을 시사합니다.
형식 및 토큰 특이성:
- 형식 민감도: 더 큰 모델 (Llama-3B, Qwen-3B) 에서 구분자를 공백에서 쉼표로 변경하면 MLP 트리거가 억제되어 올바른 카운트가 통과할 수 있습니다. 반면 더 작은 모델 (Llama-1B) 에서는 사전이 형식 불변적입니다.
- 토큰 유형: 사전은 반복된 알파벳 토큰 (단어) 에 대해서는 발화하지만, 반복된 숫자 토큰에 대해서는 발화하지 않습니다. 반복된 단어를 올바르게 세지 못하는 모델들도 반복된 숫자 (예: "1", "1", "1") 를 오류 없이 세므로, 이 실패는 "반복 단어 목록" 형식과 특정 잘못된 출력 간의 학습된 연관성이지 시퀀스 길이 추정의 일반적 무능력이 아님을 증명합니다.
이상치 탐지 대 카운팅:
P1 카운팅 작업을 해결하는 더 큰 모델들 (Qwen-3B, 7B) 은 여전히 P2 이상치 탐지 작업 (사과 9 개와 바나나 1 개를 세기) 에서 실패합니다. 기계적 분석에 따르면 어텐션 메커니즘은 이상치 (바나나가 높은 어텐션을 받음) 를 감지하지만, 이 신호가 카운트를 수정하기 위해 출력으로 라우팅되지 않습니다. 이는 탐지 신호는 존재하지만 행동적 수정으로 전환되지 않는 라우팅 실패의 두 번째 유형을 나타냅니다.

의의 및 주장
본 논문은 이러한 모델들의 카운팅 실패가 표현의 실패가 아닌 라우팅의 실패라고 주장합니다. 내부 회로는 카운트를 올바르게 인코딩하지만, 특정 "사전" 회로가 표면적 형식 단서 (반복된 단어 토큰) 에 기반하여 이 정보를 가로채고 덮어씁니다.

저자들은 표현 실패와 라우팅 실패를 혼동하는 것이 잘못된 개입 (예: 이미 존재하는 능력을 향상시키기 위한 재훈련) 으로 이어진다고 주장합니다. 대신 개입은 신호 억제를 담당하는 특정 회로를 표적해야 합니다. 본 연구는 유능한 모델의 행동적 실패는 종종 표현의 실패임을 보여주며, 성공적인 개입을 위해서는 특정 라우팅 경로를 식별하는 것이 필수적 전제 조건임을 입증합니다. 이 작업은 내부 진실과 행동적 출력이 완전히 분리될 수 있는 일반적인 현상을 확립하며, 두 가지를 구별하기 위해 기계적 분석이 필요함을 보여줍니다.