💬 NLP

From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks

본 논문은 LLM 이 문자 카운팅 과제의 정답을 내부적으로 표현할 수 있음에도 불구하고, 후기 층의 특정 구성 요소가 올바른 신호를 억제하는 '부정적 회로'를 통해 최종 출력에서 실패한다는 메커니즘을 규명함으로써, 심층 신경망의 상징적 추론 실패가 표현 부재가 아닌 계산 그래프 내의 구조적 간섭에 기인함을 보여줍니다.

원저자: Ayan Datta, Mounika Marreddy, Alexander Mehler, Zhixue Zhao, Radhika Mamidi

게시일 2026-04-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ayan Datta, Mounika Marreddy, Alexander Mehler, Zhixue Zhao, Radhika Mamidi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 최신 인공지능 (LLM) 이 왜 아주 간단한 일, 예를 들어 "사과 (apple) 에 'p'가 몇 개 들어있나요?" 같은 질문을 틀리는지에 대한 비밀을 파헤친 연구입니다.

사람들은 이 질문을 보자마자 "2 개"라고 바로 답할 수 있지만, 최신 AI 모델들은 종종 엉뚱한 답을 하거나 아예 무작위로 맞춥니다. 연구진은 이 현상을 **'초능력을 가진 천재가 왜 간단한 산수 문제를 못 풀까?'**라는 관점에서 분석했습니다.

핵심 내용을 쉽게 풀어서 설명해 드릴게요.

1. 놀라운 발견: 답을 알고 있는데, 입은 닫고 있네요

연구진이 AI 의 뇌 (내부 작동 원리) 를 들여다보니, AI 는 사실 정답을 알고 있었습니다.

비유: AI 가 사과의 'p'를 세어볼 때, 그 계산 과정은 완벽하게 이루어집니다. 마치 학생이 시험지를 풀 때 연필로 답을 계산해 적어두는 것과 같습니다.
문제: 하지만 그 계산된 답을 최종적으로 발표하는 단계 (입력된 문장 뒤에 단어를 이어 붙이는 단계) 에서, AI 는 그 정답을 의도적으로 지워버리거나 무시합니다.

2. 왜 그럴까요? '악의 회로'의 방해

AI 는 정답을 계산해냈지만, 그 정보를 전달하는 마지막 관문에서 방해받습니다. 연구진은 이를 **'부정적 회로 (Negative Circuits)'**라고 불렀습니다.

비유: AI 의 뇌를 거대한 공장이라고 상상해 보세요.
1. 초반 공정 (Early Layers): 원료 (단어) 가 들어오면, 공장의 초기 기계들이 'p'를 꼼꼼히 세어서 "2 개야!"라고 메모를 남깁니다. (이 정보는 잘 저장되어 있습니다.)
2. 중간 공정: 그 메모가 다음 기계로 넘어갑니다.
3. 마지막 공정 (Late Layers): 하지만 정답을 출력하기 직전, **마지막 기계들 (MLP 와 Attention 헤드)**이 이 메모를 보고 "아니야, 2 개라고 말하면 안 돼. 그냥 '1'이라고 하거나, 아무거나 말해!"라고 강제로 덮어씌웁니다.

이 마지막 기계들은 AI 가 훈련받으면서 습득한 **"편견"**을 가지고 있습니다. 자연어 데이터에서 'p'가 한 번 나오는 경우가 많기 때문에, AI 는 "대부분 1 개겠지?"라고 생각하게 되었고, 이 편견이 정답을 억지로 누르고 나오는 것입니다.

3. 모델이 커지고 똑똑해져도 해결되지 않아요

연구진은 모델의 크기를 20 억 개에서 90 억 개 파라미터로 늘리고, 인간처럼 대화하도록 훈련 (Instruction Tuning) 시켜도 이 문제가 해결되지 않는다는 것을 발견했습니다.

비유: 공장을 더 크게 짓고 (모델 확장), 관리자를 더 똑똑하게 고용해도 (인struct 튜닝), 마지막 출구에서 정답을 막는 '문지기'가 여전히 제멋대로 행동합니다.
오히려 더 큰 모델일수록 이 '문지기'의 힘이 더 강해져서, 정답이 나오더라도 그것을 무시하고 더 확률이 높은 (하지만 틀린) 답을 내뱉는 경향이 있습니다.

4. 결론: 문제는 '모르는 것'이 아니라 '선택하지 않는 것'

이 연구의 가장 중요한 메시지는 다음과 같습니다.

AI 가 문자 세기를 못 하는 이유는 정보를 저장할 능력이 부족해서가 아닙니다. (뇌에 정답이 있습니다.)
문제는 그 정답을 최종 선택할 때, AI 가 더 편한 (틀린) 답을 선택하도록 설계되어 있다는 점입니다.

한 줄 요약:

최신 AI 는 아주 똑똑해서 '사과에 p 가 2 개'라는 사실을 알고 있지만, 마지막 순간에 "아니야, 그냥 1 개라고 말해!"라고 자기 스스로를 속이며 틀린 답을 내놓는 것입니다. 이는 AI 의 설계 방식에 근본적인 결함이 있음을 보여주며, 앞으로는 AI 가 '알고 있는 것'을 '정말로 말하는 것'으로 연결할 수 있는 새로운 기술이 필요하다는 것을 시사합니다.

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 복잡한 벤치마크에서는 뛰어난 성능을 보이지만, 인간에게는 자명해 보이는 기본적인 기호적 작업 (예: "apple"이라는 단어에 'p'가 몇 개 들어있는가?) 에서는 체계적인 실패를 보입니다. 기존 연구들은 이러한 결함을 문서화했으나, 모델 내부에서 왜 이러한 오류가 발생하는지에 대한 메커니즘은 충분히 규명되지 않았습니다.

저자들은 LLM 이 단순히 정보를 표현 (represent) 하지 못해서 실패하는 것인지, 아니면 표현은 되지만 추론 과정에서 정보가 왜곡되거나 억제되어 실패하는 것인지 구분하기 위해 문자 카운팅 (Character Counting) 작업을 통제된 진단 도구로 활용했습니다.

2. 방법론 (Methodology)

저자들은 LLaMA 3.2, Qwen 2.5, Gemma 2 등 최신 모델 패밀리 (Base 및 Instruction-tuned 버전 포함) 를 대상으로 다음과 같은 기계적 해석 (Mechanistic Interpretability) 기법을 적용했습니다.

데이터셋 구성: WordNet 및 Wiktionary 에서 추출된 단어를 사용하여 특정 문자의 등장 횟수 (1, 2, 3 회 등) 를 예측하는 프롬프트를 생성했습니다.
프로빙 (Probing): 모델의 각 레이어 (Hidden States) 에서 특정 문자의 등장 횟수를 선형 분류기로 복원할 수 있는지 테스트하여, 정보가 모델 내부에 존재하는지 확인했습니다.
Logit Lens 분석: 중간 레이어의 은닉 상태를 언디코딩 (Unembedding) 행렬에 투영하여, 예측 확률 분포가 레이어를 거치며 어떻게 변하는지 추적했습니다. 특히 정답 토큰과 오답 토큰 간의 로그 확률 차이 ( $\Delta$ ) 와 확률 간격 ( $\Delta p$ ) 을 측정했습니다.
활성화 패칭 (Activation Patching): "깨끗한" 입력 (정답이 명확한 경우) 과 "손상된" 입력 (문자나 단어를 변경하여 정답이 달라지는 경우) 을 사용하여, 특정 레이어나 어텐션 헤드의 활성화 값을 교체하고 모델의 예측이 어떻게 회복되거나 악화되는지 인과적 분석을 수행했습니다.

3. 주요 발견 및 결과 (Key Findings & Results)

A. 초기 인코딩과 후기 억제의 분리

정보의 존재: 프로빙 실험 결과, 모델은 초기 및 중간 레이어에서 문자 수준의 정보를 매우 정확하게 인코딩하고 있음이 확인되었습니다. (레이어별 정확도 80% 이상). 즉, 모델은 정답을 '알고' 있습니다.
정보의 손실: 그러나 이 정보는 최종 예측 위치 (Prompt 의 마지막 토큰) 로 전달되는 과정에서 **심각하게 억제 (Suppression)**됩니다.
부정 회로 (Negative Circuits): 모델은 정답을 표현하는 신호를 약화시키고, 더 높은 확률을 갖지만 틀린 답 (예: 항상 '1'이라고 예측하거나 무작위 예측) 을 선택하는 소수의 후기 레이어 구성 요소에 의해 정보가 억제됩니다.

B. 억제 메커니즘의 구체적 위치

후기 레이어의 MLP 및 어텐션 헤드가 주범: Logit Lens 와 활성화 패칭 분석을 통해, 정답 억제는 주로 **마지막 1~2 레이어의 MLP (Multi-Layer Perceptron)**와 최종 레이어의 어텐션 헤드에서 발생함이 밝혀졌습니다.
- Qwen 모델: 마지막 레이어 MLP 와 어텐션 헤드가 정답 확률을 약 9~17% 정도 억제하며, 주로 "1"이라고 예측하는 편향된 전략을 강화합니다.
- LLaMA 모델: 마지막 레이어 MLP 가 정답 확률을 약 7.5% 억제하며, 거의 균일한 무작위 분포를 보입니다.
어텐션 헤드의 역할 부재: 문자 정보를 특정 헤드가 전문적으로 라우팅 (Routing) 하는 것이 아니라, 정보가 여러 헤드에 분산되어 있으며, 최종적으로 약한 집계로 인해 정보가 소실되거나 억제되는 경향이 있습니다.

C. 스케일링과 파인튜닝의 한계

스케일링 (Scaling) 무효: 파라미터 수를 2B 에서 9B 로 늘려도 (Qwen 7B, LLaMA 8B 등) 이러한 실패 패턴은 사라지지 않았습니다. 오히려 더 큰 모델일수록 초기 인코딩은 더 강력해지지만, 후기 억제 메커니즘은 유지되거나 강화되었습니다.
Instruction Tuning 무효: 지시형 (Instruction-tuned) 모델도 Base 모델과 유사한 억제 패턴을 보이며, 오히려 "1"과 "2" 사이를 오가는 단순한 휴리스틱 전략을 채택하여 정확도가 여전히 무작위 수준에 머무릅니다.

4. 핵심 기여 (Key Contributions)

실패 원인의 재정의: LLM 의 기호적 추론 실패는 표현 능력의 부재나 모델 크기의 부족 때문이 아니라, 모델의 계산 그래프 내부에서 발생하는 구조적 간섭 (Structured Interference) 때문임을 증명했습니다. 즉, 모델은 정답을 알고 있지만, 출력 단계에서 이를 억제하는 "부정 회로"가 작동합니다.
경쟁적 디코딩 (Competitive Decoding) 의 실증: LLM 의 순전파 (Forward Pass) 는 단순히 정답을 증폭하는 과정이 아니라, 정답과 오답 가설이 공존하다가 후기 레이어에서 오답이 정답을 억제 (Suppression) 하는 경쟁적 과정임을 보여줍니다.
설계 전략에 대한 시사점: 단순한 스케일링이나 추가 학습만으로는 이러한 근본적인 결함이 해결되지 않으며, 정보가 인코딩되는 것뿐만 아니라 출력 단계까지 신뢰성 있게 전달되도록 하는 새로운 아키텍처 설계 전략이 필요함을 시사합니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 단순한 기호 조작 (문자 카운팅) 에서조차 실패하는 근본적인 원인을 내부 메커니즘 수준에서 규명했습니다. 특히 "모델이 정답을 알고 있음에도 불구하고 (Early Encoding), 최종 출력 단계에서 억제된다 (Late Suppression)"는 발견은 LLM 의 신뢰성 (Robustness) 과 해석 가능성 (Interpretability) 연구에 중요한 통찰을 제공합니다. 이는 향후 LLM 이 복잡한 추론 과제를 수행할 때도 유사한 내부적 간섭이 발생할 수 있음을 경고하며, 단순한 성능 향상이 아닌 내부 정보 흐름의 안정성을 보장하는 새로운 학습 목표나 아키텍처 개선이 필요함을 강조합니다.