💬 NLP

Categorical Perception in Large Language Model Hidden States: Structural Warping at Digit-Count Boundaries

본 논문은 대규모 언어 모델의 은닉 상태가 아라비아 숫자의 자릿수 변화 경계 (10, 100 등) 에서 인지 심리학의 범주적 지각과 유사한 기하학적 왜곡을 보이며, 이는 의미적 지식 여부와 무관하게 토큰화 구조적 불연속성에 의해 발생함을 규명했습니다.

원저자: Jon-Paul Cacioli

게시일 2026-03-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jon-Paul Cacioli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🌍 핵심 비유: "숫자 마을의 국경선"

생각해 보세요. 숫자들이 사는 마을이 있다고 칩시다.

1~9까지는 '한 자리 숫자 마을'입니다.
10~99까지는 '두 자리 숫자 마을'입니다.
100~999는 '세 자리 숫자 마을'이죠.

이 논문은 인공지능이 이 마을들을 어떻게 인식하는지 조사했습니다. 특히 **9 에서 10 으로 넘어가는 순간 (한 자리에서 두 자리로 바뀌는 경계)**과 99 에서 100 으로 넘어가는 순간에 무슨 일이 일어나는지 집중했습니다.

🔍 발견한 놀라운 사실 3 가지

1. 인공지능도 '경계선'을 느끼고 있다 (기하학적 왜곡)

우리가 소리를 들을 때, 'ba'와 'pa' 사이에는 명확한 경계가 있어 소리가 갑자기 다르게 들리는 것처럼 (이를 '범주 지각'이라고 합니다), 인공지능도 숫자 경계선에서 마치 지형이 갑자기 꺾이는 것처럼 인식합니다.

비유: 9 와 10 은 숫자 값으로는 아주 가깝지만, 인공지능의 뇌 (은닉 상태) 에서는 마치 9 와 10 사이에 깊은 강이나 높은 산맥이 생긴 것처럼 인식됩니다.
결과: 6 가지 다른 인공지능 모델을 실험했는데, 모든 모델이 이 경계선에서 숫자들 사이의 거리를 평소보다 훨씬 더 넓게 인식했습니다. 마치 경계선에서 지구가 살짝 '뒤틀린' 것처럼요.

2. "모르는 척"하는 인공지능 vs "알고 있는" 인공지능 (가장 중요한 발견!)

이게 이 연구의 하이라이트입니다. 모든 인공지능이 똑같이 행동한 것은 아닙니다.

A 형 (Gemma, Qwen): 경계선을 인식할 뿐만 아니라, "저는 10 이 두 자리 숫자라는 걸 알아요!"라고 입으로 말 (답변) 할 수도 있습니다.
- 비유: 마을의 국경선을 알고 있는 현명한 안내원입니다.
B 형 (Llama, Mistral, Phi): 경계선에서 지형이 꺾이는 것은 똑같이 느끼는데, 질문하면 "모르겠어요"라고 대답하거나, 아예 구분하지 못합니다.
- 비유: 국경선에서 땅이 갑자기 울퉁불퉁해지는 것은 몸으로 느끼지만, 그 이유를 설명할 수 없는 무의식적인 감각을 가진 사람입니다.

결론: 인공지능은 의식적으로 분류할 수 없어도, 뇌의 내부 구조에서는 이미 '카테고리'를 나누고 있었다는 것입니다. 이는 인공지능의 '지식'과 '구조'가 다를 수 있음을 보여줍니다.

3. 왜 이런 일이 일어날까? (단순한 학습이 아니다)

연구진은 이것이 인공지능이 "숫자"를 배우면서 생긴 것일까, 아니면 단순히 입력 방식 (토큰화) 때문일까 궁금해했습니다.

실험 1 (온도): "뜨겁다/차갑다"라는 언어적 구분은 있지만, 숫자처럼 글자 수가 바뀌지 않는 경우 (예: 21 도와 23 도) 에는 이런 경계 효과가 전혀 나타나지 않았습니다.
실험 2 (가상 단어): 실제 숫자 대신 "글롭, 블릭켓" 같은 가짜 단어를 순서대로 배정해도 경계 효과가 아주 미미하게만 나타났습니다.
결론: 인공지능이 숫자의 '의미'를 배워서 그런 게 아니라, 숫자를 입력받을 때 글자 수가 갑자기 늘어나는 '구조적 충격' (예: 9 는 글자 1 개, 10 은 글자 2 개) 때문에 뇌의 지형이 왜곡된 것입니다. 마치 문이 갑자기 두 배로 넓어지는 것을 보고 놀란 것처럼요.

💡 이 연구가 우리에게 주는 교훈

인공지능의 '눈'과 '입'은 다를 수 있다: 인공지능이 어떤 것을 '알고 있다'고 판단할 때, 단순히 질문에 답하는지 (입) 만 보면 안 됩니다. 그 내부의 데이터 구조 (눈) 가 어떻게 변형되어 있는지 봐야 진짜 이해를 할 수 있습니다.
형식이 내용을 만든다: 인공지능이 복잡한 개념을 배우지 않아도, 단순히 입력되는 데이터의 형태 (글자 수, 토큰 수) 가 바뀌는 것만으로도 마치 인간처럼 '카테고리'를 나누는 지각이 생길 수 있습니다.
가장 잘 보이는 곳이 중요한 곳이 아니다: 인공지능의 뇌에서 숫자 경계가 가장 뚜렷하게 보이는 층 (레이어) 은, 실제로 그 정보를 처리하는 핵심 층이 아니었습니다. 마치 가장 선명한 사진을 찍은 카메라가 실제 사건을 목격하지는 않았을 수 있는 것처럼요.

📝 한 줄 요약

"인공지능은 숫자가 10 이 될 때, 글자 수가 늘어나는 '구조적 충격' 때문에 마치 인간처럼 숫자 세계의 경계를 느끼지만, 정작 그 사실을 말로 표현하지는 못할 수도 있다."

이 연구는 인공지능이 어떻게 세상을 '이해'하는지, 그리고 우리가 인공지능을 평가할 때 무엇을 봐야 하는지에 대한 새로운 시각을 제시합니다.

1. 연구 배경 및 문제 제기 (Problem)

범주적 지각 (Categorical Perception, CP): 심리학에서 오랫동안 연구되어 온 현상으로, 연속적인 물리적 자극이 이산적인 범주로 지각되며, 범주 경계 (boundary) 에서 변별력이 극대화되는 특징을 가집니다.
기존 이론의 한계: CP 의 원인에 대해 '획득된 CP (학습에 의한 왜곡)'와 '구조적 CP (입력 형식의 불연속성에 의한 왜곡)' 두 가지 설명이 대립해 왔으나, 생물학적 시스템에서는 표현 기하학 (representational geometry) 을 직접 관찰하기 어려워 두 가지를 명확히 구분하기 어렵습니다.
연구 목표: 대규모 언어 모델 (LLM) 은 내부 표현 (hidden states) 을 직접 관찰할 수 있으므로, CP 가 학습된 의미 범주 지식 없이도 입력 형식의 구조적 불연속성 (structural discontinuity) 만으로 발생할 수 있는지 검증하는 이상적인 테스트베드입니다. 본 연구는 아랍어 숫자 (Arabic numerals) 처리 시 LLM 의 숨겨진 상태 (hidden states) 에서 CP 의 전체 서명 (지각, 변별, 표현 왜곡) 이 나타나는지, 그리고 이것이 구조적 요인에 의해 유발되는지 규명하는 것을 목표로 합니다.

2. 방법론 (Methodology)

대상 모델: 5 가지 아키텍처 계열에 속하는 6 개의 LLM (Llama-3, Mistral, Gemma, Qwen, Phi-3.5, Llama-3 Base) 을 사용했습니다.
자극 (Stimuli):
- 주요 영역 (숫자): 10(한 자리 $\to$ 두 자리) 과 100(두 자리 $\to$ 세 자리) 의 자릿수 전환 경계를 중심으로 한 숫자 범위.
- 통제 조건 1 (비경계): 15, 150 등 경계가 없는 위치.
- 통제 조건 2 (온도): '뜨겁다/차갑다'의 언어적 범주 경계 (~22°C) 가 있으나 토크나이저 불연속성이 없는 온도 데이터.
- 통제 조건 3 (임의 토큰): 실제 숫자 없이 순서 정보 (ordinal information) 만을 가진 가상의 토큰 (nonce tokens).
실험 패러다임:
1. 표현 유사성 분석 (RSA, Paradigm A): 각 레이어의 숨겨진 상태 (hidden states) 에서 추출된 중심점 (centroids) 간의 거리를 측정하여, '연속 모델 (로그 거리)'과 'CP-가산 모델 (로그 거리 + 경계 보정)' 중 어떤 것이 실제 기하학을 더 잘 설명하는지 비교.
2. 식별 (Identification, Paradigm B0): 모델이 숫자를 범주화하여 분류할 수 있는지 확인.
3. 변별 (Discrimination, Paradigm B): "어떤 것이 더 큰가?"라는 강제 선택 과제를 통해 결정 신뢰도 (logit 차이) 를 측정.
4. 정밀도 기울기 (Precision Gradient, Paradigm C): 경계에서의 표현 공간 국소적 확장을 측정.
5. 인과적 개입 (Causal Intervention, Paradigm E): 활성화 패칭 (activation patching) 을 통해 특정 레이어의 범주 방향 (category direction) 을 조작하여 행동에 미치는 인과적 영향을 검증.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 구조적 CP 의 발견 (Structural CP)

표현 기하학의 왜곡: 모든 6 개 모델의 주요 레이어 (primary layers) 에서 CP-가산 모델이 순수 연속 모델보다 표현 기하학을 훨씬 더 잘 설명했습니다 (100% 의 레이어에서 우세).
구조적 불연속성의 역할:
- 숫자 영역: 10 과 100 의 경계에서 표현 거리가 급격히 증가하는 '경계 부스트 (boundary boost)'가 관찰되었습니다.
- 온도 영역: 언어적 범주 (뜨겁다/차갑다) 가 존재하지만 토크나이저 불연속성이 없는 경우, CP 효과는 관찰되지 않았습니다 (부정적 결과).
- 임의 토큰: 순서 정보만 있는 경우 약한 CP 효과가 있었으나, 실제 숫자의 토크나이저/자릿수 불연속성이 있을 때보다 효과가 3~100 배 작았습니다.
결론: LLM 에서 CP 기하학은 학습된 의미 지식이 아니라, 입력 형식의 구조적 불연속성 (토크나이저, 자릿수 변화) 만으로도 생성될 수 있음을 입증했습니다.

B. 기하학적 CP 와 행동적 식별의 분리 (Dissociation)

연구는 두 가지 질적으로 다른 CP 유형을 발견했습니다:

고전적 CP (Classic CP, Gemma, Qwen): 기하학적 왜곡이 발생하고, 모델이 경계에서 명시적으로 범주를 식별 (classification) 할 수 있습니다.
구조적 CP (Structural CP, Llama, Mistral, Phi, Base): 기하학적 왜곡 (표현 공간의 왜곡) 은 명확하게 존재하지만, 모델은 경계를 명시적으로 식별하거나 분류할 수 없습니다.
- 이는 표현 구조 (representational structure) 가 행동 능력 (behavioral competence) 보다 앞서거나 독립적으로 존재할 수 있음을 보여줍니다.

C. 인과적 개입 및 레이어별 특성 (Causal Intervention)

기하학 vs 기능성: CP 기하학이 가장 뚜렷하게 나타나는 레이어 (중후반부) 에서 활성화 패칭을 수행했을 때 행동 변화는 미미했습니다.
초기 레이어의 중요성: 반대로, 표현이 아직 형성 중인 초기 레이어에서 범주 방향을 조작하면 변별 신뢰도에 큰 인과적 영향을 미쳤습니다.
시사점: 가장 해석 가능한 (legible) 표현이 있는 레이어가 반드시 해당 계산을 수행하는 기능적 레이어가 아님을 보여줍니다.

D. 메커니즘: 가산적 왜곡 (Additive Warping)

경계 효과는 기존 거리의 비례적 스케일링 (곱셈적) 이 아니라, 일정한 크기의 부가적 이동 (가산적) 으로 작용함이 확인되었습니다. 이는 Fisher 정보 메트릭의 왜곡 이론과 일치합니다.

4. 연구의 의의 (Significance)

인지과학 및 AI 해석 가능성:
- CP 가 반드시 범주 학습 (category learning) 을 통해 획득되는 것이 아니라, 표현 형식의 제약 (format constraints) 만으로도 발생할 수 있음을 계산적 존재 증명 (computational existence proof) 으로 제시했습니다.
- LLM 연구는 표현 기하학을 직접 관찰할 수 있어, 인간 연구에서는 불가능했던 '구조적 CP'와 '획득된 CP'의 분리를 명확히 할 수 있음을 보였습니다.
방법론적 혁신:
- 심리물리학 (psychophysics) 기법 (RSA, 신호 감지 이론, 인과적 개입) 을 LLM 분석에 적용하여, 모델이 "무엇을 아는가"를 넘어 "지식이 어떻게 기하학적으로 인코딩되는가"를 정량화하는 새로운 프레임워크를 제시했습니다.
해석 가능성에 대한 경고:
- 가장 명확한 표현 기하학을 가진 레이어가 반드시 기능적으로 가장 중요한 레이어가 아닐 수 있음을 보여주었습니다. 이는 신경과학 및 AI 해석 가능성 연구에서 인과적 검증 (causal validation) 의 필요성을 강조합니다.

5. 결론

본 연구는 LLM 의 숨겨진 상태에서 구조적 입력 형식의 불연속성이 범주적 지각 (Categorical Perception) 의 기하학적 서명을 생성할 수 있음을 입증했습니다. 특히, 기하학적 왜곡은 보편적이지만 명시적 범주 식별은 아키텍처에 의존적이라는 분리는, 표현 구조가 행동 능력과 독립적으로 존재할 수 있음을 시사하며, AI 의 내부 표현을 이해하는 데 있어 구조적 요인과 학습 요소를 구분하는 새로운 관점을 제공합니다.