💬 NLP

Model Internal Sleuthing: Finding Lexical Identity and Inflectional Features in Modern Language Models

이 논문은 BERT 에서 Qwen2.5 까지 다양한 현대 언어 모델을 분석하여, 굴절 특징이 모델 전체에 걸쳐 선형적으로 해독 가능한 반면 어휘 정체성은 초기 층에서는 뚜렷하지만 깊어질수록 약화되고, 이는 어휘 정보 대신 예측을 위한 컴팩트한 표현을 위해 트레이드오프가 발생함을 보여줍니다.

원저자: Michael Li, Nishant Subramani

게시일 2026-04-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Michael Li, Nishant Subramani

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 거대한 인공지능 언어 모델 (LLM) 이 우리 인간의 언어를 어떻게 '이해'하고 '저장'하는지 그 비밀을 파헤친 탐정 이야기입니다. 연구자들은 25 개의 최신 AI 모델 (BERT, GPT-2, Llama, Qwen 등) 을 조사하며 두 가지 핵심 질문을 던졌습니다.

"AI 는 단어의 '뜻 (예: 걷다)'과 문법적 '형식 (예: 걷었다, 걷는 것)'을 어떻게 기억할까?"

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.

1. 탐정의 도구: "내부 카메라" (Probing)

연구자들은 AI 의 뇌 (모델) 를 직접 열어볼 수는 없었습니다. 대신, AI 가 문장을 처리할 때 각 단계마다 남기는 **'숨겨진 메모 (Hidden State)'**를 꺼내어 간단한 퀴즈를 내는 방식으로 실험했습니다.

퀴즈 1: "이 단어의 기본 뜻은 뭐야?" (예: '걸었다' → '걷다')
퀴즈 2: "이 단어의 문법 형태는 뭐야?" (예: '걸었다' → '과거형')

이때 두 가지 종류의 '해석기'를 사용했습니다.

직관적인 해석기 (선형): 복잡한 계산 없이 바로 답을 찾는 사람.
고급 분석가 (비선형): 복잡한 관계를 찾아내는 사람.

2. 핵심 발견 1: "뜻은 초창기, 문법은 끝까지"

가장 놀라운 발견은 AI 의 뇌에서 이 두 정보가 다른 길을 따라 이동한다는 것입니다.

단어의 뜻 (Lexical Identity) = "초반의 화려한 쇼"
- AI 가 문장의 처음 (입력 단계) 을 처리할 때, 단어의 뜻은 아주 선명하게 보입니다. 마치 초등학교 1 학년 때 친구들의 얼굴을 모두 외워둔 것처럼요.
- 하지만 AI 가 문장을 더 깊게 분석할수록 (층이 깊어질수록) 단어의 구체적인 뜻은 흐려집니다. AI 는 "이건 '걷다'라는 단어야"라고 기억하기보다, "이 문맥에서는 '움직임'을 의미하는 거야"라고 더 추상적으로 변형시키기 때문입니다.
- 비유: 처음엔 '아빠'라는 이름이 선명하지만, 이야기를 들어갈수록 '가족의 가장', '보호자' 같은 역할로 의미가 변하며 이름 자체는 덜 중요해집니다.
문법 형태 (Inflectional Features) = "끝까지 변하지 않는 나침반"
- 반면, '과거형', '복수형' 같은 문법 정보는 모델의 가장 깊은 층까지 선명하게 남아있습니다.
- AI 가 문장을 아무리 복잡하게 분석해도, "이건 과거형이야"라는 정보는 항상 선형적으로 (직관적으로) 읽혀집니다.
- 비유: 문장은 흐르는 강물처럼 변하지만, 문법이라는 **'나침반'**은 강물 속에서도 항상 똑바로 가리키고 있습니다. AI 는 문법 규칙을 잊지 않고 항상 유지합니다.

3. 핵심 발견 2: "압축된 지도와 튀는 숫자들"

연구자들은 AI 의 뇌 구조를 지도처럼 분석했습니다.

일부 모델 (GPT-2, Qwen 등): 중간 층에서 정보를 극단적으로 압축합니다. 마치 좁은 터널을 지나가는 것처럼, 대부분의 정보가 몇 개의 핵심 축으로 뭉쳐버립니다. 이때 터널 안에서는 AI 의 '의도'를 바꾸기 (Steering) 가 매우 어렵습니다.
다른 모델 (Llama, BERT 등): 정보를 부드럽게 압축합니다. 터널이 아니라 넓은 계곡처럼 정보가 자연스럽게 흐르며, 중간에 정보를 조작하기가 훨씬 수월합니다.
흥미로운 점: 터널처럼 압축된 모델에서도 문법 정보는 여전히 잘 읽혔지만, 단어의 뜻은 압축 과정에서 많이 사라졌습니다.

4. 핵심 발견 3: "훈련 초기에 문법을 먼저 익힌다"

AI 가 처음 학습을 시작할 때 (Pretraining) 어떤 순서로 배우는지 살펴봤습니다.

문법: 학습 초기 단계에서 이미 완벽하게 익혀집니다. 마치 아이가 말을 배우기 전에 먼저 '문법 규칙'을 무의식적으로 체득하는 것처럼요.
뜻: 단어의 뜻은 학습이 깊어질수록 계속 변하고 진화합니다. 처음엔 표면적인 뜻만 기억하다가, 학습이 진행될수록 문맥에 따른 미묘한 뉘앙스를 배우며 형태가 바뀝니다.

5. 결론: AI 는 어떻게 언어를 처리할까?

이 논문의 결론은 매우 명확합니다.

"AI 는 단어의 구체적인 '얼굴 (뜻)'은 문맥에 맞춰 유연하게 변형시키지만, 문법이라는 '뼈대'는 끝까지 단단하게 지킨다."

AI 는 단어 하나하나를 고착된 사물처럼 저장하는 것이 아니라, 문맥에 따라 의미를 재구성하는 유연한 시스템을 구축합니다. 하지만 그 유연함 속에서도 문법이라는 규칙은 흔들리지 않는 나침반처럼 작동하여, AI 가 올바른 문장을 생성할 수 있게 돕습니다.

한 줄 요약:
AI 의 뇌는 단어의 뜻은 '흐르는 물'처럼 변하게 하고, 문법은 '단단한 바위'처럼 남게 하여 효율적으로 언어를 처리합니다.

이 논문은 현대의 대규모 언어 모델 (LLM) 이 언어 정보를 어떻게 내부적으로 인코딩하는지에 대한 체계적인 분석을 제공합니다. 특히, 기존 연구가 주로 초기 모델 (BERT, GPT-2) 에 집중했던 것과 달리, 다양한 아키텍처와 규모를 가진 25 개의 최신 트랜스포머 모델 (BERT Base 에서 Qwen2.5-7B, Llama-3.1 8B 등) 을 대상으로 **어휘 정체성 (Lexical Identity)**과 **접사적 특징 (Inflectional Features)**이 모델의 어떤 계층 (layer) 에 어떻게 표현되는지 규명했습니다.

아래는 논문의 주요 내용을 기술적으로 요약한 것입니다.

1. 연구 문제 (Problem)

대규모 트랜스포머 기반 언어 모델은 현대 NLP 의 핵심이지만, 이들이 언어 정보를 내부적으로 어떻게 표현하는지에 대한 이해는 여전히 제한적입니다. 기존 연구들은 BERT 나 GPT-2 와 같은 1 세대 모델에서 계층적 조직 (하위 계층은 표면적 특징, 상위 계층은 의미 등) 을 발견했으나, 아키텍처 (인코더 전용, 디코더 전용, 인코더 - 디코더), 사전 학습 목표, 데이터 규모, 파인튜닝 방식 등이 급격히 변화한 최신 모델들에서는 이러한 패턴이 어떻게 변형되는지 명확하지 않았습니다.

핵심 질문: 최신 LLM 들은 단어의 어휘적 정체성 (예: 'walk'와 'walked'의 공통된 어근) 과 문법적 접사 정보 (예: 과거형, 복수형) 를 모델의 어느 계층에, 어떻게 인코딩하는가?
다국어 일반화: 이러한 패턴이 영어뿐만 아니라 중국어, 독일어, 프랑스어, 러시아어, 터키어 등 6 가지 다양한 언어 유형 (morphological typology) 에서도 유효한가?

2. 방법론 (Methodology)

저자들은 프로빙 (Probing) 기법을 사용하여 모델의 내부 표현을 분석했습니다.

데이터 및 모델:
- 모델: 25 개의 사전 학습된 트랜스포머 모델 (인코더 전용, 디코더 전용, 인코더 - 디코더 포함).
- 언어: 영어, 중국어, 독일어, 프랑스어, 러시아어, 터키어 (Universal Dependencies 코퍼스 기반).
- 데이터: GUM, GSD, SynTagRus, IMST 등 다양한 코퍼스에서 추출된 문장.
프로빙 아키텍처:
- 각 계층의 잔여 스트림 (residual stream) 활성화 값을 추출하여 두 가지 분류기를 훈련했습니다.
  1. 선형 회귀 (Linear Regression): 정보가 선형적으로 분리 가능한지 측정.
  2. 비선형 MLP (Multi-Layer Perceptron): 비선형 결정 경계를 통해 더 복잡한 패턴을 포착할 수 있는지 측정.
평가 지표:
- 선택성 (Selectivity): 실제 태스크 정확도에서 무작위 레이블 (Control task) 에 대한 정확도를 뺀 값. 이는 모델이 단순 암기가 아닌 실제 언어 구조를 추출했는지 판단.
- 선형 분리성 격차 (Linear Separability Gap): 비선형 프로브와 선형 프로브의 선택성 차이. 양수이면 비선형성이 필요함을, 음수이면 선형 프로브가 더 효과적이거나 비선형 프로브가 가짜 상관관계를 학습했음을 의미.
추가 분석:
- 기하학적 분석: PCA 를 이용한 유효 차원 (Effective Dimensionality) 측정.
- ** steering (조작) 실험:** 활성화 벡터를 조작하여 문법적 속성 (예: 단수 $\to$ 복수) 을 변경할 수 있는지 확인.
- 학습 동역학: 사전 학습 과정 중 체크포인트를 분석하여 정보가 언제 안정화되는지 추적.

3. 주요 결과 (Key Results)

A. 어휘 정체성 vs. 접사적 특징의 계층적 분포

어휘 정체성 (Lexical Identity):
- 초기 계층에서 매우 강력하게 표현되지만, 모델이 깊어질수록 선형적으로 접근하기 어려워지고 비선형적으로 변형됩니다.
- 선형 프로브의 정확도는 깊이에 따라 감소하는 경향을 보이며, 특히 터키어와 같은 복잡한 어미 언어에서 감소폭이 큽니다.
- 이는 모델이 깊은 계층으로 갈수록 단어의 표면적 정체성보다는 문맥적 의미와 추상적 표현을 우선시함을 시사합니다.
접사적 특징 (Inflectional Features):
- 모든 계층에서 선형적으로 매우 잘 접근 가능합니다. 정확도가 0.9~1.0 수준으로 일정하게 유지됩니다.
- 이는 모델이 문법적 정보 (접사) 를 모델 전체에 걸쳐 안정적이고 선형적으로 인코딩하고 있음을 의미합니다.
- **선택성 (Selectivity)**도 모든 계층에서 양의 값을 유지하여, 이 정보가 단순한 통계적 상관관계가 아닌 구조화된 언어 지식임을 입증합니다.

B. 모델 아키텍처와 기하학적 특성

차원 축소 (Dimensionality Compression):
- GPT-2, Qwen2.5, Pythia 등 일부 모델은 **중간 계층에서 급격한 차원 축소 (collapse)**를 보입니다. 이는 PCA 로 설명되는 분산이 매우 적은 수의 성분으로 급격히 줄어드는 현상입니다.
- 이러한 급격한 축소는 중간 계층에서 매우 큰 값의 아웃라이어 (outlier) 활성화와 연관되어 있으며, 이 계층에서의 steering (조작) 효과성이 감소하는 경향이 있습니다.
- 반면, BERT, Gemma, Llama 등은 점진적인 압축을 보여 더 안정적인 표현 기하학을 가집니다.
잔여 스트림 vs. 어텐션 헤드:
- **잔여 스트림 (Residual Stream)**이 어텐션 헤드 출력보다 언어 정보 (어휘 및 접사) 를 더 잘 보존합니다. 특히 중간 계층에서 어텐션 기반 프로브의 정확도가 급격히 떨어지는 반면, 잔여 스트림은 높은 정확도를 유지합니다.

C. 학습 동역학 (Pretraining Dynamics)

접사적 특징: 사전 학습의 초기 단계에서 이미 높은 정확도와 선택성을 보이며 빠르게 안정화됩니다.
어휘 정체성: 초기에는 높은 정확도를 보이지만, 학습이 진행됨에 따라 (특히 깊은 계층에서) 정확도가 감소하는 반면, 선택성은 서서히 증가합니다. 이는 모델이 학습이 진행될수록 단순한 표면적 어휘 매핑을 넘어 더 추상적이고 문맥 의존적인 표현으로 진화함을 보여줍니다.

D. 다국어 일반화

6 개 언어 전반에서 동일한 패턴 (접사는 선형/안정적, 어휘는 초기/비선형화) 이 관찰되었습니다.
다만, 터키어와 같이 접사적 복잡도가 높은 언어에서는 어휘 정체성 정확도의 감소가 가장 극심하게 나타났습니다.

4. 기여 및 의의 (Contributions & Significance)

현대 LLM 에 대한 포괄적 분석: 초기 모델 중심의 기존 연구에서 벗어나, 다양한 아키텍처와 규모의 최신 모델 25 개를 대상으로 한 최초의 체계적인 비교 분석을 수행했습니다.
표현의 이중성 규명: 모델이 **문법적 정보 (접사)**는 모델 전체에 걸쳐 선형적이고 안정적으로 유지하는 반면, 어휘적 정체성은 문맥적 추상화를 위해 깊이에 따라 비선형적으로 변형된다는 명확한 패턴을 발견했습니다. 이는 모델이 "의미"와 "형태"를 어떻게 분리하여 처리하는지에 대한 통찰을 제공합니다.
기하학적 통찰: 중간 계층의 급격한 차원 축소 현상과 아웃라이어 활성화가 모델의 제어 가능성 (steerability) 에 미치는 영향을 규명했습니다.
실용적 함의:
- 모델 해석 및 디버깅: 문법적 오류 수정이나 특정 문법 속성 제어가 필요한 경우, 모델의 깊은 계층보다는 중간 계층의 잔여 스트림을 조작하는 것이 효과적일 수 있음을 시사합니다.
- 모델 설계: 효율적인 표현 학습을 위해 접사 정보는 선형 서브스페이스에, 어휘 정보는 더 복잡한 비선형 공간에 배치하는 것이 자연스러운 학습 경로임을 보여줍니다.

5. 결론

이 연구는 트랜스포머 모델이 언어를 학습하는 과정에서 접사적 특징은 모델 전체에 걸쳐 견고하고 선형적으로 유지되지만, 어휘적 정체성은 문맥적 통합을 위해 초기 계층에서 강하게 표현되다가 깊은 계층으로 갈수록 비선형적으로 변형된다는 것을 발견했습니다. 이는 모델이 단순한 단어 매핑을 넘어, 문법적 구조를 보존하면서 추상적인 의미 표현을 학습하는 효율적인 내부 메커니즘을 가지고 있음을 시사합니다.