💬 NLP

Hypothesis-Driven Feature Manifold Analysis in LLMs via Supervised Multi-Dimensional Scaling

이 논문은 경쟁하는 특징 다양체 가설을 평가하기 위한 모델 독립적 방법인 '지도 다차원 척도법 (SMDS)'을 제안하고, 이를 시계추론에 적용하여 언어 모델이 개념을 원, 선, 군집 등 다양한 기하학적 구조로 인코딩하며 맥락에 따라 역동적으로 재구성된다는 것을 규명했습니다.

원저자: Federico Tiblias, Irina Bigoulaeva, Jingcheng Niu, Simone Balloccu, Iryna Gurevych

게시일 2026-04-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Federico Tiblias, Irina Bigoulaeva, Jingcheng Niu, Simone Balloccu, Iryna Gurevych

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🕵️‍♂️ 핵심 비유: "모델의 뇌 속 지도 (Feature Manifold)"

거대 언어 모델은 방대한 양의 데이터를 학습하면서, 단어와 개념을 숫자 (벡터) 의 형태로 기억합니다. 이 논문은 이 숫자들이 단순히 무작위로 흩어져 있는 게 아니라, 특정한 모양 (기하학적 구조) 을 가진 '지도'나 '공간'을 형성하고 있다는 가설을 검증했습니다.

예를 들어, '일요일, 월요일... 토요일' 같은 요일은 순환하는 구조이므로, 모델의 뇌속에서는 **원형 (Circle)**으로 배치되어 있을 가능성이 높습니다. 반면, '1 월, 2 월, 3 월'처럼 순서가 중요한 것은 **선형 (Line)**으로, '사과, 바나나, 오렌지'처럼 카테고리가 나뉜 것은 **군집 (Cluster)**으로 배치되어 있을 수 있습니다.

🔍 연구의 문제점: "기존 나침반은 부족했다"

기존 연구자들은 모델의 뇌를 볼 때, **PCA(주성분분석)**나 LDA(선형 판별분석) 같은 도구들을 사용했습니다.

비유: 마치 "우리는 이 지도가 반드시 직선이어야 한다"라고 가정하고 나침반을 들고 다니는 것과 같습니다. 만약 실제로 그 지도가 원형이나 구형이라면, 기존 도구들은 그 모양을 제대로 보여주지 못하거나 왜곡해서 보여줍니다.

🛠️ 새로운 도구: "SMDS (지도 맞춤 제작기)"

저자들은 이 문제를 해결하기 위해 **SMDS(지도 기반 다차원 척도법)**라는 새로운 도구를 개발했습니다.

비유: SMDS 는 "이 개념이 원형일 수도 있고, 선형일 수도 있어. 우리가 가정한 모양에 가장 잘 맞는 지도를 찾아보자!"라고 말합니다.
작동 원리: 연구자들은 "시간은 원형이어야 해"라고 가정을 세우고, 모델의 내부 숫자들이 그 가설과 얼마나 잘 맞는지 점수 (Stress) 를 매깁니다. 점수가 높을수록 모델이 실제로 그 모양으로 정보를 저장하고 있다는 뜻입니다.

📊 주요 발견 3 가지 (시간 추론을 통해)

이 도구를 이용해 모델이 '시간'을 어떻게 처리하는지 실험한 결과, 놀라운 세 가지 사실을 발견했습니다.

1. 🧱 모든 모델이 같은 건축 양식을 쓴다 (F1)

발견: Qwen, Llama, Gemma 등 서로 다른 모델과 크기를 막론하고, 같은 개념은 같은 모양으로 저장되어 있었습니다.
비유: "한국인, 미국인, 독일인이 모두 '사과'를 그릴 때, 모양은 비슷하지만 색감은 다를 수 있어. 하지만 '사과'라는 개념을 그리는 기본적인 도형 (원형, 선형 등) 은 전 세계 모델이 똑같이 사용하고 있어."
의미: 모델의 크기가 커지든 작아지든, 지식을 저장하는 방식은 매우 일관적이고 체계적입니다.

2. 🎭 상황에 따라 모양이 변한다 (F2)

발견: 같은 '날짜' 정보라도, 질문의 종류에 따라 모델 내부에서 그리는 모양이 달라졌습니다.
- "오늘이 무슨 요일인지 물어보면?" → 원형 (순환 구조)
- "가장 추운 달은 언제인지 물어보면?" → 군집 (여름/겨울로 나뉨)
비유: "모델은 마치 변장하는 연기자 같아요. '요일'을 물어보면 원형 무대를, '계절'을 물어보면 무리를 지은 군집 무대로 상황을 바꿔가며 정보를 정리합니다."

3. 🧠 추론의 핵심 엔진이다 (F3)

발견: 이 '지도 (Manifold)'가 단순히 저장된 게 아니라, 실제로 추론을 할 때 쓰이고 있음이 증명되었습니다.
실험: 모델의 뇌속에서 이 '지도'가 그려진 부분을 인위적으로 망가뜨려 (소음 추가) 봤습니다. 그랬더니 모델의 추론 능력이 급격히 떨어졌습니다. 하지만 무작위 부분을 망가뜨렸을 때는 별 영향이 없었습니다.
비유: "자동차의 엔진을 건드리면 차가 멈추지만, 뒷좌석의 장식을 건드리면 차는 여전히 달립니다. 모델의 '지도'는 바로 그 엔진 역할을 하고 있었습니다."

🌍 시간 밖의 확장: "지리 지도도 똑같다"

연구자들은 이 방법이 시간뿐만 아니라 **지리 (도시 위치)**에도 적용된다는 것을 확인했습니다.

비유: "모델은 '서울, 도쿄, 베이징' 같은 도시들을 저장할 때, 우리가 아는 지구본 (구형) 모양으로 배치하고 있었습니다."
이는 모델이 단순히 단어를 외우는 게 아니라, 실제 세계의 기하학적 구조를 이해하고 있다는 강력한 증거입니다.

💡 결론: "모양이 중요하다 (Shape Happens)"

이 논문의 핵심 메시지는 **"LLM 은 무작위로 숫자를 쌓아올리는 게 아니라, 지식을 이해하기 쉬운 '기하학적 모양'으로 정리해서 저장한다"**는 것입니다.

의미: 우리가 모델이 왜 틀린 답을 내는지, 혹은 어떻게 더 똑똑하게 만들 수 있는지 이해하려면, 그 내부의 **'지도 모양'**을 파악하는 것이 핵심입니다.
미래: 이제 우리는 모델의 뇌속 지도를 더 잘 읽을 수 있게 되었으니, 모델의 실수를 고치거나 (Alignment), 편향을 줄이는 (Bias) 데 훨씬 더 효과적으로 개입할 수 있을 것입니다.

한 줄 요약:

"거대 언어 모델은 지식을 무작위로 저장하지 않고, 원, 선, 구 같은 기하학적 지도로 정리해 두는데, 이 지도가 모델이 세상을 이해하고 추론하는 핵심 엔진입니다."

이 논문은 **"가설 기반 특징 매니폴드 분석 (Hypothesis-Driven Feature Manifold Analysis)"**을 통해 대규모 언어 모델 (LLM) 의 잠재 공간 (latent space) 에서 개념이 어떻게 구조화되어 있는지, 그리고 이러한 구조가 추론 (reasoning) 에 어떻게 기여하는지를 규명하는 연구입니다. 저자들은 기존 방법론의 한계를 극복하기 위해 새로운 차원 축소 기법인 **지도 다차원 척도법 (Supervised Multi-Dimensional Scaling, SMDS)**을 제안하고, 이를 시간적 추론 (temporal reasoning) 과 공간적 추론 (spatial reasoning) 태스크에 적용하여 실험했습니다.

다음은 논문의 상세한 기술적 요약입니다.

1. 연구 배경 및 문제 정의 (Problem)

선형 표현 가설 (Linear Representation Hypothesis): 최근 연구들은 LLM 이 잠재 공간에서 개념을 방향성 (directions) 이나 조직화된 다차원 매니폴드 (manifolds) 로 인코딩한다는 것을 보여줍니다. 예를 들어, 요일이나 월은 원형 (circular) 구조를, 숫자는 선형 또는 로그 스케일 구조를 이룹니다.
기존 방법론의 한계: 기존 특징 매니폴드 분석은 PCA, LDA, PLS 와 같은 차원 축소 기법에 의존했습니다.
- 이러한 방법들은 데이터의 고정된 구조적 가정 (예: 최대 분산 방향, 클래스 분리 등) 에 의존하므로, 사용자가 정의한 임의의 기하학적 가설 (예: 원형, 로그 선형, 군집 등) 을 비교하거나 검증하는 데 한계가 있습니다.
- 특정 기하학적 구조가 실제로 존재하는지, 그리고 그것이 모델의 추론에 어떤 역할을 하는지에 대한 인과적 증거는 부족했습니다.
핵심 질문: LLM 은 추론 과정에서 이러한 매니폴드를 어떻게 활용하는가? 다양한 모델과 태스크에서 매니폴드의 구조는 일관된가?

2. 제안 방법: SMDS (Supervised Multi-Dimensional Scaling)

저자들은 임의의 기하학적 가설을 정의하고, 모델의 은닉 상태 (hidden states) 가 이 가설과 얼마나 잘 부합하는지를 정량적으로 평가할 수 있는 SMDS를 제안했습니다.

핵심 아이디어:
1. 가설 정의: 사용자가 정의한 라벨 $y$ (예: 날짜, 시간, 지리적 좌표) 에 기반하여 이상적인 기하학적 거리 $d(y_i, y_j)$ 를 계산합니다 (예: 원형 구조라면 호의 길이, 선형 구조라면 유클리드 거리).
2. 선형 투사 학습: 모델의 고차원 은닉 상태 $X$ $X$ 를 저차원 공간으로 투사하는 선형 매핑 $W$ $W$ 를 학습합니다. 이때, 투사된 점들 간의 거리가 이상적인 거리 $d(y_i, y_j)$ $d (y_{i}, y_{j})$ 와 최대한 일치하도록 손실 함수를 최소화합니다.
  - 손실 함수: $L = \sum_{i<j} (\|W(x_i - x_j)\|^2 - d(y_i, y_j)^2)^2$
3. 적합도 평가 (Goodness-of-fit): 학습된 투사 $W$ 의 품질을 Stress 지표로 평가합니다. Stress 가 낮을수록 모델의 표현이 정의된 기하학적 구조와 잘 일치함을 의미합니다.
기존 방법과의 차별점:
- 지도 학습 (Supervised): 라벨 정보를 명시적으로 사용하여 특정 기하학적 구조를 타겟팅합니다.
- 모델 선택 (Model Selection): 여러 가지 기하학적 가설 (선형, 원형, 로그 선형, 군집 등) 에 대해 SMDS 를 수행하고 Stress 를 비교하여 가장 적합한 매니폴드를 통계적으로 식별합니다.

3. 실험 설정 (Experimental Setup)

데이터: 시간적 추론 능력을 평가하기 위해 5 가지 합성 데이터셋 (날짜, 기간, 중요 사건, 주기적 사건, 하루 시간) 과 그 변형 (계절, 온도 기반 질문 등) 을 생성했습니다.
모델: Qwen2.5, Llama-3.2, Gemma-2 등 다양한 아키텍처와 크기 (2B, 3B, 8B, 70B) 의 모델 사용.
분석 지점: 문장 내의 시간 표현 끝 토큰 (te), 프롬프트 끝 토큰 (lp), 생성된 답변 토큰 (a) 에서의 은닉 상태를 분석했습니다.

4. 주요 결과 및 발견 (Key Findings)

연구는 세 가지 주요 발견 (F1, F2, F3) 을 도출했습니다.

F1: 모델 간 일관된 직관적 매니폴드 구조

구조의 보편성: 서로 다른 모델 아키텍처와 크기 (3B~70B) 에서 동일한 개념 (예: 날짜, 시간) 은 일관된 기하학적 구조를 보입니다.
- 원형 (Circular): 요일, 월, 하루 시간 등 순환적인 개념.
- 선형/로그 선형 (Linear/Log-linear): 기간 (duration) 은 로그 스케일로 압축되어 표현됨 (Weber-Fechner 법칙과 유사).
- 군집 (Cluster): 계절, 온도 등 범주형 개념.
의미: LLM 은 동일한 지식을 인코딩하는 데 선호되는 기하학적 구조가 존재하며, 이는 모델 크기와 무관하게 수렴합니다.

F2: 컨텍스트와 태스크에 따른 동적 적응

태스크 의존성: 동일한 입력 문맥이라도 마지막 질문 (continuation cue) 이 다르면 매니폴드 구조가 변합니다.
- 예: "가장 오래된 사람은?" (순서 비교) vs "여름에 태어난 사람은?" (계절 분류).
- 모델은 태스크 요구사항에 따라 매니폴드를 선형, 원형, 또는 군집 구조로 동적으로 재구성합니다.
정보 흐름: 시간 표현이 입력된 초기 토큰 (te) 에서 생성된 답변 토큰 (a) 으로 정보가 전파되면서 매니폴드 구조가 유지되거나 변형되는 것을 관찰했습니다.

F3: 추론을 위한 능동적 활용 (인과적 증거)

노이즈 교란 실험: SMDS 로 식별된 매니폴드 하위 공간에 가우시안 노이즈를 주입했을 때, 모델의 추론 성능이 급격히 저하되었습니다. 반면, 무작위 하위 공간에 노이즈를 주입하거나 전체 잠재 공간에 노이즈를 주입했을 때보다 훨씬 효과적으로 성능을 떨어뜨렸습니다.
- 이는 모델이 추론을 위해 해당 매니폴드 구조를 능동적으로 사용하고 있음을 시사합니다.
품질과 성능의 상관관계: 매니폴드의 적합도 (Stress) 가 높을수록 (구조가 명확할수록) 모델의 추론 정확도가 높았습니다. 이는 잘 조직화된 표현이 추론 성능에 필수적임을 의미합니다.

확장성: 공간적 추론

SMDS 를 도시의 위도/경도 데이터에 적용한 결과, LLM 이 지리적 위치를 구면 (spherical) 구조로 표현함을 발견했습니다. 이는 SMDS 가 시간적 특징을 넘어 다차원 및 다른 도메인의 특징 분석에도 적용 가능함을 보여줍니다.

5. 의의 및 기여 (Significance)

새로운 분석 도구 (SMDS): 기존 차원 축소 기법의 한계를 넘어, 연구자가 정의한 특정 기하학적 가설을 검증할 수 있는 정량적이고 모델 중립적인 (model-agnostic) 프레임워크를 제공했습니다.
추론 메커니즘 규명: LLM 이 추론을 수행할 때 단순히 토큰 확률을 계산하는 것을 넘어, 잠재 공간에서 구조화된 표현 (매니폴드) 을 변형하고 활용한다는 '개체 기반 추론 (entity-based reasoning)' 가설을 지지하는 강력한 증거를 제시했습니다.
- 1 단계: 개체 속성을 매니폴드 상의 일관된 위치에 표현.
- 2 단계: 질문/태스크에 따라 매니폴드 변환.
- 3 단계: 변환된 표현을 기반으로 출력 선택.
모델 해석 가능성 향상: LLM 의 내부 작동 원리를 기하학적 관점에서 이해함으로써, 모델의 편향 (bias) 식별, 오류 수정, 그리고 추론 능력 향상을 위한 새로운 방향을 제시합니다.

결론

이 논문은 SMDS를 통해 LLM 이 복잡한 추론 태스크를 수행할 때 잠재 공간에 구조화된 기하학적 매니폴드를 형성하고 이를 동적으로 활용한다는 것을 입증했습니다. 이는 기계적 해석 가능성 (mechanistic interpretability) 분야에서 중요한 진전으로, LLM 이 어떻게 지식을 조직화하고 추론하는지에 대한 이해를 심화시킵니다.