💬 NLP

Linear Representations of Hierarchical Concepts in Language Models

이 논문은 언어 모델이 계층적 개념을 도메인별 저차원 부분 공간에 위치하면서도 도메인 간에 매우 유사한 선형 표현으로 인코딩하여, 다양한 도메인과 레이어에서 해석 가능한 선형 변환을 통해 계층 관계를 효과적으로 복원할 수 있음을 규명합니다.

원저자: Masaki Sakata, Benjamin Heinzerling, Takumi Ito, Sho Yokoi, Kentaro Inui

게시일 2026-04-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Masaki Sakata, Benjamin Heinzerling, Takumi Ito, Sho Yokoi, Kentaro Inui

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"대규모 언어 모델 (LLM) 이 머릿속에서 어떻게 '계층적인 개념'을 저장하고 있는지"**를 탐구한 연구입니다.

쉽게 말해, AI 가 "서울은 동아시아에 속하고, 동아시아는 아시아에 속한다"는 식의 **상하 관계 (계층)**를 어떻게 이해하고 있는지, 그리고 그 정보가 AI 의 뇌 (내부 표현) 에서 어떤 형태로 존재하는지 찾아낸 이야기입니다.

이 복잡한 연구를 일상적인 비유로 풀어보겠습니다.

1. 연구의 핵심 질문: AI 는 '가나다순'으로 정리해 놓았을까?

우리는 AI 가 정보를 단순히 나열해 두는 게 아니라, **나무처럼 가지가 뻗어 있는 구조 (계층)**로 정리해 두리라고 추측해 왔습니다. 예를 들어, '동물'이라는 큰 가지 아래에 '포유류', 그 아래에 '고양이'가 있는 식이죠.

하지만 이전 연구들은 AI 의 '최종 답변을 내는 부분' (단어 예측 층) 만을 봤기 때문에, AI 가 중간에 정보를 어떻게 처리하는지, 그리고 여러 단어로 이루어진 복잡한 개념 (예: '바비 루스'라는 사람) 을 어떻게 다루는지 알 수 없었습니다.

이 논문은 **AI 의 '중간 뇌' (은닉층)**를 샅샅이 뒤져서 계층 구조가 어떻게 저장되어 있는지 확인했습니다.

2. 주요 발견 1: AI 는 '선형적인 나침반'을 가지고 있다

연구진은 AI 의 내부에서 계층 관계를 찾아내는 **선형 변환 (Linear Transformation)**이라는 도구를 개발했습니다. 이를 **'선형 계층 인코딩 (LHE)'**이라고 부릅니다.

비유: AI 의 뇌를 거대한 도서관이라고 상상해 보세요.
- 과거 연구는 도서관의 '책장 끝' (최종 답변) 만 봤습니다.
- 이 연구는 도서관의 중간 복도를 샅샅이 뒤졌습니다.
- 그 결과, AI 는 "서울"이라는 책이 "동아시아"라는 책으로 가는 **정해진 길 (나침반 방향)**을 가지고 있다는 것을 발견했습니다.
- 이 나침반을 이용하면, AI 가 "서울은 어디에 속해?"라고 생각할 때, 그 정보가 선형적으로 (직선적으로) 정리되어 있다는 것을 증명할 수 있었습니다.

3. 주요 발견 2: 정보는 '작은 방'에 모여 있다 (저차원 서브스페이스)

AI 의 뇌는 수만 개의 차원 (매우 복잡한 공간) 으로 이루어져 있는데, 계층 정보는 그중 **매우 작은 방 (약 150~250 개의 차원)**에 모여 있었습니다.

비유: AI 의 뇌는 거대한 고층 빌딩입니다.
- 계층 정보는 이 빌딩의 수천 개 층 중 150~250 층 사이의 특정 층에만 집중되어 있습니다.
- 나머지 층은 다른 일을 하고 있지만, '상하 관계'를 다룰 때는 이 특정 층만 활발히 움직인다는 뜻입니다.

4. 주요 발견 3: 분야마다 '별도의 방'이 있지만, '구조'는 비슷하다

흥미로운 점은 이 '작은 방'이 주제 (도메인) 마다 다르다는 것입니다.

**지리 (국가/도시)**에 대한 계층 정보는 '지리 전용 방'에,
**인물 (선수/과학자)**에 대한 계층 정보는 '인물 전용 방'에 저장됩니다.
하지만 이 서로 다른 방들 안의 **가구 배치 (구조)**는 놀랍도록 비슷합니다.
비유:
- '지리'와 '인물'이라는 두 개의 서로 다른 아파트가 있다고 칩시다.
- '지리 아파트'의 150 층과 '인물 아파트'의 150 층은 완전히 다른 방입니다. (지리 정보를 인물 정보로 바로 옮길 수는 없습니다.)
- 하지만 두 아파트의 150 층을 자세히 보면, 방의 구조와 가구 배치가 거의 똑같습니다.
- 즉, AI 는 "어떤 주제든 계층을 다룰 때는 같은 방식 (구조) 으로 정보를 정리한다"는 공통된 규칙을 가지고 있다는 뜻입니다.

5. 실험 결과: AI 의 생각을 '조종'할 수 있다

연구진은 이 발견을 이용해 AI 의 생각을 실제로 바꿀 수 있었습니다.

비유: AI 가 "서울은 동아시아에 속한다"고 생각할 때, 연구진이 **계산된 나침반 (벡터)**을 이용해 "동아시아"라는 개념을 지우고 "유럽"이라는 개념을 집어넣었습니다.
그랬더니 AI 가 **"아, 그럼 서울은 유럽에 속하는구나!"**라고 오답을 내뱉었습니다.
이는 계층 정보가 AI 의 단순한 기억이 아니라, 실제로 AI 가 다음 단어를 예측하는 데 핵심적인 역할을 하고 있음을 의미합니다.

6. 결론: AI 는 매우 논리적이고 해석 가능한 방식으로 세상을 이해한다

이 논문은 AI 가 무작위로 정보를 쌓아 올린 것이 아니라, **매우 체계적이고 해석 가능한 방식 (선형적 구조)**으로 계층 지식을 저장하고 있음을 증명했습니다.

한 줄 요약: AI 는 거대한 뇌 속에서 계층 정보를 작은 방에 정해진 구조로 정리해 두었으며, 우리는 그 구조를 찾아내어 AI 의 생각을 조종할 수 있습니다.

이 연구는 AI 가 어떻게 '이해'하는지 그 내부 작동 원리를 밝히는 중요한 한 걸음이며, 향후 AI 를 더 투명하고 안전하게 만드는 데 기여할 것으로 기대됩니다.

1. 연구 배경 및 문제 정의 (Problem)

기존 연구들은 언어 모델이 색상, 지리적 위치, 시간 등의 개념을 기하학적으로 표현한다는 것을 입증했습니다. 특히 Park et et al. (2025) 은 계층적 개념이 모델의 언디임베딩 (unembedding) 레이어에서 직교하는 부분 공간으로 표현됨을 보였습니다. 그러나 기존 연구에는 두 가지 주요 한계가 있었습니다:

레이어 제한: 분석이 최종 출력 레이어 (언디임베딩) 에만 국한되어, 모델이 중간 레이어에서 계층 관계를 어떻게 처리하고 계산하는지 파악하지 못함.
토큰 제한: 단일 토큰 (단어) 에만 적용 가능하여, "Babe Ruth ⊂ 야구 선수"와 같은 **멀티토큰 엔티티 (multi-token entities)**나 복잡한 클래스 이름을 다루지 못함.

이 논문은 이러한 격차를 메우기 위해 중간 레이어의 표현과 다양한 도메인의 멀티토큰 엔티티를 포함하는 계층 구조를 분석합니다.

2. 방법론: 선형 계층 인코딩 (Linear Hierarchical Encoding, LHE)

저자들은 선형 관계 개념 (Linear Relational Concepts, LRC) 프레임워크를 확장하여 LHE를 제안했습니다.

데이터 구성: 위치, 인물, 조직, 생물, 연구 주제 등 5 가지 도메인에 걸쳐 다양한 멀티토큰 엔티티를 포함하는 계층적 데이터셋을 구축했습니다.
선형 변환 학습:
- 계층의 각 깊이 (depth) 와 도메인별로 별도의 선형 변환을 학습합니다.
- 주어진 하위 개념 (Child, 예: "Osaka") 의 표현을 상위 개념 (Parent, 예: "Japan") 의 표현으로 매핑하는 선형 함수 $R_r(s) = W_r s + b_r$ 를 학습합니다.
- 이때, $W_r$ 은 주어진 관계 $r$ 에 대한 자코비안 (Jacobian) 의 평균으로 추정되며, 역변환을 통해 개념 벡터 (Concept Vector) 를 추출합니다.
평가 지표:
- 정확도 (Accuracy): 학습된 선형 변환을 통해 하위 노드가 올바른 상위 노드로 분류되는지 확인 (내적 점수 기반).
- 인과성 (Causality): 학습된 개념 벡터를 중간 레이어의 숨겨진 상태 (hidden state) 에 더하거나 빼서 (Intervention), 모델의 다음 토큰 예측이 의도한 대로 변하는지 확인합니다. 이는 추출된 특징이 단순한 상관관계가 아닌 인과적 역할을 하는지 증명합니다.

3. 주요 결과 (Key Results)

4 개의 언어 모델 (Llama 3.2 3B, Llama 3.1 8B, Qwen3 8B, Qwen3 14B) 을 대상으로 한 실험 결과는 다음과 같습니다.

선형 복원 가능성: 모든 도메인에서 부모 - 자식 관계는 모델의 중간 레이어 표현에서 선형적으로 복원이 가능합니다. LHE 는 SVM 이나 단순 입력 평균화 (Input Averaging) 같은 베이스라인보다 정확도와 인과성 모두에서 월등히 높은 성능을 보였습니다.
인과적 개입 성공: 학습된 선형 변환에서 유도된 방향 벡터를 사용하여 모델의 숨겨진 상태를 조작하면, 모델의 예측을 신뢰성 있게 변경할 수 있었습니다 (예: "파리는 프랑스의 일부"에서 "독일의 일부"로 예측 변경).
저차원 부분 공간 (Low-dimensional Subspace): 계층적 정보는 전체 표현 공간의 일부를 차지하는 **상대적으로 저차원 (약 150~250 차원)**의 부분 공간에 인코딩되어 있음이 발견되었습니다.
도메인 특이성 (Domain Specificity): 계층 정보를 인코딩하는 부분 공간은 도메인 (위치, 인물 등) 에 따라 다릅니다. 즉, 위치 도메인과 인물 도메인에서 계층 관계를 처리하는 신경망의 활성화 패턴은 서로 다른 부분 공간에 존재합니다.
구조적 유사성 (Structural Similarity): 비록 부분 공간은 도메인마다 다르지만, **계층적 표현의 구조 (Shape)**는 도메인 간에 매우 유사합니다. 위상 데이터 분석 (TDA) 을 통해 계층적 도메인들 간의 표현 구조가 비계층적 도메인들보다 서로 더 유사하게 군집화됨을 확인했습니다.

4. 주요 기여 (Key Contributions)

새로운 분석 프레임워크 (LHE): 중간 레이어와 멀티토큰 엔티티를 모두 다루는 계층적 개념 분석을 위한 체계적인 방법론을 제시했습니다.
계층적 인코딩의 특성 규명:
- 계층 정보가 저차원 부분 공간에 집중되어 있음을 발견.
- 이 부분 공간이 도메인 특이적이지만, 그 구조적 형태는 도메인 간에 보편적임을 증명.
인과적 검증: 단순한 관찰을 넘어, 인위적인 개입 (Intervention) 을 통해 추출된 특징이 모델의 실제 예측 행동에 인과적으로 기여함을 실험적으로 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 언어 모델이 추상적인 계층적 개념을 매우 해석 가능한 선형 표현 (Interpretable Linear Representations) 형태로 내부에 저장하고 있음을 보여줍니다. 특히, 모델이 도메인마다 다른 부분 공간을 사용하면서도 계층 구조의 기하학적 형태는 공유한다는 발견은, 언어 모델이 복잡한 지식 구조를 어떻게 효율적으로 조직화하고 있는지 이해하는 데 중요한 통찰을 제공합니다.

이는 향후 모델의 내부 지식 구조를 해석하거나, 계층적 추론 능력을 개선하는 데 활용될 수 있는 기초를 마련했다는 점에서 의미가 큽니다.