💬 NLP

Tracing the complexity profiles of different linguistic phenomena through the intrinsic dimension of LLM representations

이 논문은 LLM 표현의 고유 차원(Intrinsic Dimension)이 언어적 복잡성(통사적 구조, 중의성 등)을 반영하는 유효한 지표임을 밝히며, 서로 다른 언어 현상에 따라 차원 변화의 양상이 다르게 나타남을 입증했습니다.

원저자: Marco Baroni, Emily Cheng, Iria de-Dios-Flores, Francesca Franzon

게시일 2026-04-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Marco Baroni, Emily Cheng, Iria de-Dios-Flores, Francesca Franzon

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 핵심 개념: "AI의 머릿속 지도 (Intrinsic Dimension)"

우리가 아주 복잡한 퍼즐을 맞춘다고 상상해 보세요. 단순한 색종이 조각을 맞출 때는 머릿속이 단순하지만, 수만 개의 조각이 얽힌 정교한 입체 퍼즐을 맞출 때는 머릿속이 훨씬 더 바쁘고 복잡해지겠죠?

이 논문은 AI의 각 층(Layer)을 **'AI의 사고 단계'**라고 봅니다. AI가 문장을 읽을 때, 문장이 복잡할수록 AI의 머릿속 공간(데이터가 펼쳐지는 차원, 즉 Intrinsic Dimension)은 더 넓고 복잡하게 확장됩니다. 연구진은 이 '머릿속 공간의 넓이'를 측정해서 AI가 문장의 어떤 부분을 어렵게 느끼는지 알아냈습니다.

🎢 세 가지 복잡함 테스트 (AI의 시험지)

연구진은 AI에게 세 가지 종류의 '어려운 문장'을 던져주었습니다.

1. "단순 나열 vs 꼬리에 꼬리를 무는 말" (Coordination vs. Subordination)

단순 나열: "철수는 밥을 먹고, 영희는 잠을 자고, 민수는 공부를 한다." (기차 칸을 옆으로 쭉 이어 붙인 것과 같아요. 쉽죠!)
꼬리에 꼬리를 무는 말: "철수가 밥을 먹는다는 사실이, 영희가 잠을 잔다는 사실을 증명한다는 점이..." (기차 칸을 안으로 계속 집어넣는 거예요. 머리가 아파지기 시작합니다.)
결과: AI는 '꼬리에 꼬리를 무는 문장'을 만날 때 머릿속 공간을 훨씬 더 크게 넓혔습니다. 즉, **"아, 이건 진짜 복잡한 구조구나!"**라고 인지한 거죠.

2. "직진 코스 vs 미로 코스" (Right-branching vs. Center-embedding)

직진 코스: "그 소년이 [기다리고 있는] 정원을 보았다." (정보가 뒤로 쭉 빠져나가서 따라가기 쉬워요.)
미로 코스: "그 소년은 [정원이 기다리고 있는] 것을 보았다." (중간에 갑자기 정보가 끼어들어서, 앞뒤 관계를 맞추느라 머릿속이 꼬입니다.)
결과: AI는 미로 코스 같은 문장을 처리할 때, 문장의 초반 단계부터 머릿속을 복잡하게 쓰기 시작했습니다.

3. "명확한 길 vs 갈림길" (Unambiguous vs. Ambiguous)

명확한 길: "아기 옷을 입은 엄마가 왔다." (엄마가 옷을 입었는지 아기가 입었는지 문맥상 명확하죠.)
갈림길: "아기 옷을 입은 엄마의 친구가 왔다." (옷을 누가 입었는지 헷갈릴 수 있어요.)
결과: AI는 갈림길(모호함)을 만났을 때, 정답을 확신하지 못하고 머릿속 공간을 계속 넓게 유지하며 '불안정한 상태'를 보였습니다.

💡 이 연구가 왜 중요한가요? (결론)

이 논문의 결론은 아주 흥미롭습니다.

AI도 인간처럼 공부한다: 서로 다른 종류의 AI 모델(Llama, Gemma 등)들을 조사해봤더니, 놀랍게도 모두 비슷한 단계에서 비슷한 방식으로 문장의 복잡함을 처리하고 있었습니다. 마치 서로 다른 학교의 학생들이 똑같은 수학 문제를 풀 때 비슷한 방식으로 고민하는 것과 같습니다.
AI의 '사고 단계'를 알 수 있다: AI의 머릿속 공간이 갑자기 확 넓어지는 지점이 있는데, 그 지점이 바로 AI가 **"이제 단순한 단어 읽기를 넘어, 문장의 진짜 구조를 파악하기 시작하는 단계"**라는 것을 알아냈습니다.
AI의 지도를 그릴 수 있다: 이 방법을 사용하면 AI가 문장의 어떤 부분을 이해하지 못하는지, 어느 단계에서 헷갈려 하는지를 '수치'로 정확히 짚어낼 수 있습니다.

한 줄 요약:

"AI의 머릿속 공간이 얼마나 넓어지는지를 측정하면, AI가 문장의 복잡한 구조를 인간처럼 이해하고 있는지, 어느 부분에서 쩔쩔매고 있는지 알 수 있다!"

[기술 요약] LLM 표현의 고유 차원(Intrinsic Dimension)을 통한 언어적 현상의 복잡성 프로파일 추적

1. 연구 배경 및 문제 제기 (Problem)

대규모 언어 모델(LLM)의 놀라운 언어 능력에도 불구하고, 모델의 내부 레이어에서 언어 처리가 구체적으로 어떻게 진행되는지에 대한 이해는 여전히 부족합니다. 기존 연구들은 모델의 평균적인 동작이나 매우 거친 수준의 데이터 유형 차이에만 주목해 왔습니다.

본 연구는 **"언어적 복잡성(Linguistic Complexity)의 차이가 LLM 내부 표현의 기하학적 구조(Geometry)에 어떻게 반영되는가?"**라는 질문을 던집니다. 특히, 심리언어학에서 확립된 구체적인 복잡성 대조군(예: 병렬 구조 vs 종속 구조, 중심 삽입 vs 우측 분지 등)이 모델의 레이어별 고유 차원(Intrinsic Dimension, ID) 변화를 통해 포착될 수 있는지 검증하고자 합니다.

2. 연구 방법론 (Methodology)

핵심 개념: 고유 차원 (Intrinsic Dimension, ID)

데이터가 고차원 공간(Ambient Dimension)에 존재하더라도, 실제로는 훨씬 낮은 차원의 매니폴드(Manifold) 위에 놓여 있다는 '매니폴드 가설'에 기반합니다. 데이터가 모델에게 복잡할수록, 이를 표현하기 위해 필요한 자유도(Degrees of freedom)가 높아지므로 ID가 높게 측정됩니다.

실험 설계

대상 모델: Gemma-2-9b, Llama-3-8B, OLMo-2-13B, Mistral-7B, Pythia-12B, Qwen-2.5-14B 등 6종의 다양한 LLM.
언어적 복잡성 대조군 (Minimal Pairs):
- Coordination vs. Subordination: 평면적 구조(and)와 계층적/재귀적 구조(that)의 차이 (형식적 복잡성).
- Right-branching vs. Center-embedding: 선형적 확장과 주어-동사 사이 삽입 구조의 차이 (기능적/처리 복잡성).
- Unambiguous vs. Ambiguous Attachment: 의미적으로 명확한 부착과 모호한 부착의 차이 (의미-통사 인터페이스 복잡성).
측정 지표:
- TwoNN Estimator: 데이터의 ID를 추정하는 기하학적 방법.
- Information Imbalance ( $\Delta$ ): 두 표현 공간 사이의 국소적 유사성 및 정보 불균형 측정.
- Layer Pruning: 특정 레이어를 제거했을 때의 예측 정확도 변화를 통해 해당 레이어의 중요도(인과적 역할) 확인.

3. 주요 연구 결과 (Key Results)

(1) ID 프로파일을 통한 복잡성 포착

모든 모델에서 언어적 복잡성이 높을수록 더 높은 ID 프로파일을 보였습니다.

종속 구조(Subordination): 병렬 구조보다 높은 ID를 보이며, 이는 모델이 계층적 구조를 처리할 때 더 복잡한 특징을 사용함을 시사합니다.
중심 삽입(Center-embedding): 우측 분지 구조보다 높은 ID를 보이며, 특히 모델의 중간 레이어(Generic ID peak 구간)에서 이 차이가 뚜렷합니다.
모호성(Ambiguity): 모호한 문장은 명확한 문장보다 전반적으로 높은 ID를 유지하며, 이는 모호성 해소를 위해 여러 해석을 유지하는 과정에서의 불안정성을 반영합니다.

(2) 처리 단계의 일관성

Generic ID Peak: 일반적인 자연어 데이터에서 나타나는 ID의 정점(Peak) 구간은 모델이 심층적인 언어 처리를 수행하는 단계와 일치합니다.
복잡성별 차이점: 종속 구조는 이 Peak 구간에서 차이가 벌어지는 반면, 중심 삽입 구조는 Peak 이전 단계에서 이미 차이가 나타납니다. 이는 **형식적 복잡성(구조)**과 **기능적 복잡성(처리 부하)**이 모델 내부에서 서로 다른 단계에 처리됨을 의미합니다.

(3) 추가 검증 (Similarity & Pruning)

Representational Similarity: 종속 구조의 표현이 병렬 구조의 표현을 더 잘 예측하는 비대칭적 정보 불균형( $\Delta$ )이 관찰되었습니다.
Pruning 효과: Generic ID Peak 구간의 레이어를 제거했을 때, 종속 구조 문장의 예측 정확도가 급격히 떨어지는 'Dip' 현상이 발견되었습니다. 이는 해당 레이어들이 복잡한 계층 구조를 구축하는 데 결정적인 역할을 한다는 인과적 증거입니다.

4. 연구의 의의 및 결론 (Significance)

ID의 유용성 입증: 고유 차원(ID)이 LLM 내부에서 언어적 복잡성을 측정할 수 있는 강력하고 유용한 지표(Marker)임을 증명했습니다.
모델 간 보편성 발견: 서로 다른 아키텍처를 가진 LLM들이 언어를 처리할 때 유사한 ID 프로파일을 보인다는 점을 통해, 충분히 강력한 시스템은 언어 처리에 있어 유사한 기하학적 전략으로 수렴함을 시사합니다.
심리언어학적 통찰 제공: LLM의 내부 동작을 통해 인간의 언어 처리 메커니즘(형식적 vs 기능적 복잡성)을 이해하는 데 도움을 줄 수 있는 새로운 도구를 제시했습니다.
해석 가능성(Interpretability) 기여: 모델의 특정 레이어가 어떤 유형의 언어적 복잡성을 담당하는지 정밀하게 추적할 수 있는 방법론적 토대를 마련했습니다.