Each language version is independently generated for its own context, not a direct translation.

StructLens: 언어 모델의 '숨겨진 지도'를 보는 새로운 렌즈

이 논문은 거대한 인공지능 (언어 모델) 이 어떻게 생각을 처리하는지 이해하기 위해, 기존에 없던 새로운 분석 도구인 **'StructLens(구조 렌즈)'**를 소개합니다.

기존의 연구들은 AI 가 단어를 하나씩 처리하는 '국소적인' 관계만 보거나, 각 층 (Layer) 이 서로 얼마나 비슷한지 '벡터 거리'만 재는 데 그쳤습니다. 하지만 이 논문은 **"AI 내부에서 단어들이 어떻게 연결되어 거대한 구조를 이루는가?"**라는 질문에 답하기 위해, **최대 신장 트리 (Maximum Spanning Tree, MST)**라는 수학적 개념을 도입했습니다.

이 복잡한 개념을 쉽게 이해할 수 있도록 세 가지 비유로 설명해 드리겠습니다.

1. 기존 방법 vs StructLens: "단어 나열" vs "가족 관계도"

기존 방법 (Cosine Similarity): "나열된 명함"
기존 연구자들은 AI 의 각 층 (Layer) 을 통과할 때, 같은 위치에 있는 단어들의 의미만 비교했습니다. 마치 "1 번 명함의 1 번 사람과 2 번 명함의 1 번 사람을 비교한다"는 식입니다.

한계: 이는 개별 단어의 의미는 알 수 있어도, 문장 전체의 흐름이나 구조가 어떻게 변하는지는 알 수 없습니다. 마치 책의 각 페이지에 있는 단어만 비교해서 책의 줄거리를 이해하려는 것과 같습니다.

StructLens: "가족 관계도 (나무) 그리기"
StructLens 는 AI 가 문장을 처리할 때, 단어들이 서로 어떻게 연결되는지를 봅니다.

비유: 문장을 읽을 때, AI 는 단어들을 나열하는 게 아니라, '어떤 단어가 어떤 단어를 설명하는지' 연결합니다. (예: '사과'는 '빨간'과 연결되고, '빨간'은 '사과'와 연결됨).
StructLens 는 이 연결들을 바탕으로 **최대 신장 트리 (MST)**라는 '가장 효율적인 연결도'를 그립니다. 마치 문장 전체를 하나의 가족 관계도처럼 그려, 누가 부모고 누가 자녀인지, 전체 가계가 어떻게 이어지는지를 한눈에 보여주는 것입니다.

2. 발견한 놀라운 사실: "구조의 섬 (Islands)"

이 렌즈로 AI 를 들여다보니, 기존 방법으로는 보이지 않던 **'구조의 섬'**들이 발견되었습니다.

비유: AI 의 층 (Layer) 을 32 층짜리 빌딩이라고 상상해 보세요.
- 기존 방법: 층 1 과 층 2, 층 2 와 층 3 이 서로 비슷하다고만 보였습니다. (모든 층이 비슷하게 보임).
- StructLens: 층 1~~3 은 '입구 로비', 층 4~~17 은 '사무실 구역', 층 18~32 는 '최종 결정실'처럼 **서로 다른 목적을 가진 '구조적 구역 (Islands)'**으로 나뉘어 있음을 발견했습니다.
- 의미: AI 는 문장을 처리할 때, 단순히 단어를 변환하는 게 아니라, **구체적인 단계 (단어 연결 -> 문장 구조 파악 -> 최종 의미 도출)**를 거쳐서 처리한다는 것을 증명했습니다.

3. 실용적인 효과: "불필요한 층 잘라내기 (Layer Pruning)"

이 발견은 AI 를 더 가볍게 만드는 데 큰 도움이 됩니다.

비유: AI 를 32 층짜리 빌딩으로 다시 생각해 보세요.
- 기존 방식: "이 층과 저 층이 비슷하니까 이 층을 없애자"라고 임의로 층을 잘라냈습니다. 하지만 중요한 '사무실 구역'을 실수로 잘라내 성능이 떨어지기도 했습니다.
- StructLens 방식: "아, 이 층들은 '구조적 섬'이 다르네. 이 층들은 서로 다른 일을 하니까 함부로 잘라선 안 되고, 비슷한 구조를 가진 층끼리만 정리하자"라고 구조를 이해하고 불필요한 층을 제거했습니다.
- 결과: 구조를 고려하여 층을 잘라내니, AI 의 크기는 줄었지만 성능은 훨씬 잘 유지되었습니다. (기존 방법보다 더 효율적인 압축이 가능해졌습니다.)

요약: 왜 이 연구가 중요한가요?

새로운 시선: AI 를 단순히 숫자의 집합이 아니라, 구조를 가진 살아있는 시스템으로 바라보게 했습니다.
내부 과정 해독: AI 가 문장을 이해하는 과정이 '단순 반복'이 아니라, 단계별 구조 변화를 거친다는 것을 증명했습니다.
실제 활용: 이 분석을 통해 AI 의 불필요한 부분을 찾아내어, 더 빠르고 가벼운 AI를 만드는 데 성공했습니다.

결론적으로, StructLens는 AI 의 '두뇌' 속에 숨겨진 지도를 그려주는 나침반과 같습니다. 이 지도를 통해 우리는 AI 가 어떻게 생각하고, 어떻게 최적화해야 하는지 훨씬 더 명확하게 이해할 수 있게 되었습니다.

Each language version is independently generated for its own context, not a direct translation.

1. 연구 배경 및 문제 제기 (Problem)

언어의 구조적 특성: 언어는 언어 습득과 변화를 설명하는 내재적 구조를 가지고 있습니다. 따라서 언어를 계산적으로 모델링하는 언어 모델 (LM) 역시 내부적으로 구조적 특성을 나타낼 것으로 예상됩니다.
기존 연구의 한계:
- 기존 해석 가능성 (Interpretability) 연구는 주로 레이어 내 또는 모듈 (예: Multi-Head Attention) 내의 로컬한 토큰 간 관계에 집중했습니다.
- 레이어 간 (Inter-layer) 분석은 주로 코사인 유사도 (Cosine Similarity) 와 같은 토큰 대 토큰 (token-to-token) 비교에 의존합니다. 이는 대응되는 위치의 토큰만 비교하므로, 특정 레이어 내에서 형성된 전체적인 구조적 패턴 (Global Structural Pattern) 을 포착하는 데 한계가 있습니다.
핵심 질문: 언어 모델의 내부 표현이 어떻게 전역적인 구조를 형성하며, 레이어 간에 어떻게 진화하는지를 구조적 관점에서 분석할 수 있는 방법은 무엇인가?

2. 제안 방법론: StructLens (Methodology)

저자들은 StructLens라는 새로운 분석 프레임워크를 제안합니다. 이는 자연어 처리 (NLP) 의 의존 구문 분석 (Dependency Parsing) 에 영감을 받아, 레이어 내 토큰 간의 관계를 기반으로 최대 신장 트리 (Maximum Spanning Tree, MST) 를 구성하는 방식입니다.

2.1. MST 구성 (StructLens Construction)

입력: 각 레이어 $\ell$ 의 출력인 잔류 스트림 (Residual Stream) $H^{(\ell)}$ 에서 각 토큰의 의미 표현 (Semantic Representation) 을 사용합니다.
그래프 생성: 입력 토큰 시퀀스를 노드로 하는 완전 연결 방향 그래프 $G$ 를 생성합니다.
가중치 계산: 엣지 가중치는 토큰 간의 L2 거리 (L2 distance) 를 기반으로 계산된 유사도 함수 $g(\cdot)$ $g (\cdot)$ 를 사용합니다.
- $g(h_i, h_j) = \frac{1}{1 + \|h_i - h_j\|}$ (단, $i < j$ , 즉 앞선 토큰이 뒤따르는 토큰을 참조하도록 제한).
- 수치적 안정성을 위해 거리의 역수를 유사도로 사용합니다.
트리 추출: 그래프 $G$ 에서 총 엣지 가중치의 합이 최대가 되는 단일 루트 트리인 최대 신장 트리 (MST) 를 구성합니다. 이는 Tarjan 알고리즘 등을 사용하여 $O(n^2)$ 복잡도로 계산됩니다.

2.2. 레이어 간 유사도 측정 (Inter-Layer Similarity Metrics)

기존 코사인 유사도 (Cos-Base) 와 비교하기 위해 구조를 고려한 3 가지 새로운 유사도 지표를 제안합니다.

Cos-Struct: MST 의 하위 트리 (Subtree) 를 재귀적으로 평균화하여 하나의 대표 벡터로 만든 후, 두 레이어의 대표 벡터 간 코사인 유사도를 계산합니다.
Tree-Edit: 두 MST 간의 트리 편집 거리 (Tree Edit Distance) 를 계산하여 유사도 (음수 값) 로 변환합니다. (삽입, 삭제, 레이블 변경 연산 포함).
Edge-Edit: 두 MST 의 엣지 집합 차이를 기반으로 계산합니다. 서브트리 이동으로 인한 비용 왜곡을 방지하여 더 안정적으로 구조적 유사성을 측정합니다.

3. 주요 실험 결과 (Key Results)

3.1. 레이어 간 유사도 패턴 ("Islands" 현상)

Edge-Edit를 사용한 분석 결과, 레이어 간 유사도 행렬에서 대각선을 따라 고밀도 군집 (Islands) 이 형성되는 것을 발견했습니다.
이는 모델이 특정 레이어 구간 내에서 구조적으로 유사한 처리 단계를 거친다는 것을 의미하며, 기존 코사인 유사도나 CKA(CKA) 와는 뚜렷이 다른 패턴을 보입니다.
이러한 "Islands"는 모델 크기 (Llama3.1 8B, 70B, Qwen2.5 7B, 72B) 와 관계없이 일관되게 관찰되었습니다.

3.2. 하위 트리 (Subtree) 분석

연속적 토큰 군집화: 중간 레이어 (약 0~50%) 에서 모델은 인접한 토큰들을 의미 공간에서 가깝게 배치하여 연속적인 하위 트리 (Contiguous Subtrees) 를 형성하는 경향이 강해집니다.
구조적 진화: 하위 레이어에서는 토큰이 분산되어 있다가, 중간 레이어에서 구조화되고, 고위 레이어에서 다시 해체되거나 다른 패턴으로 재구성됩니다.
빈번한 하위 트리 (Frequent Subtrees): 특정 레이어 구간에서 반복적으로 나타나는 하위 트리 패턴을 발견했으며, 이는 모델이 문법적/의미적 구조를 점진적으로 구축하고 있음을 시사합니다.

3.3. 체크포인트 분석 (Pre-training Evolution)

Olmo2 7B 모델의 학습 과정 (Checkpoints) 을 분석한 결과, 초기 단계에서는 고위 레이어에 큰 "Islands"가 존재했으나, 학습이 진행될수록 레이어 간 구조적 협력이 강화되며 Islands 가 더 명확하게 형성되는 것을 확인했습니다.
이는 구조적 특성이 훈련의 후반부 단계에서 등장하며, 기존 손실 함수나 옵티마이저 메트릭으로는 관찰되지 않는 내부 진화를 보여줍니다.

3.4. 레이어 가지치기 (Layer Pruning) 적용

목적: 구조적 유사도를 기반으로 불필요한 레이어를 제거하여 모델 효율성을 높이는 것.
결과:
- 기존 코사인 유사도 (CosBase) 기반 가지치기보다 구조 인식 지표 (Tree-Edit, Edge-Edit) 기반 가지치기가 MMLU, CMMLU, 요약 (Summarization) 작업에서 더 높은 정확도 (Accuracy) 와 더 낮은 퍼플렉시티 (PPL) 를 기록했습니다.
- 특히 TreeBI (Tree-Edit 기반) 와 EdgeBI (Edge-Edit 기반) 는 모델의 구조적 중요도를 더 정확하게 반영하여, 성능 저하 없이 레이어를 효과적으로 제거했습니다.

4. 핵심 기여 (Key Contributions)

StructLens 프레임워크 제안: 언어 모델의 내부 구조를 전역적 관점에서 분석하기 위해 MST 를 활용한 새로운 분석 도구를 개발했습니다.
새로운 유사도 메트릭: 토큰 간 위치 대응에 국한되지 않는 구조적 유사도 (Tree-Edit, Edge-Edit) 를 정의하고, 이것이 레이어 간 관계를 더 잘 설명함을 입증했습니다.
구조적 진화 발견: 학습 과정과 추론 과정에서 모델이 "Islands"라고 불리는 구조적 단계를 거치며, 중간 레이어에서 토큰을 군집화하는 동적 구조를 발견했습니다.
실용적 최적화: 구조적 분석이 레이어 가지치기 (Pruning) 와 같은 모델 최적화 작업에서 기존 방법보다 우수한 성능을 발휘함을 실증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 언어 모델이 단순히 토큰의 통계적 확률을 학습하는 것을 넘어, 내부적으로 구조화된 표현 (Structural Representations) 을 형성하고 이를 통해 복잡한 언어 작업을 수행함을 보여줍니다.

이론적 의의: 언어 모델의 해석 가능성 연구에 '구조적 관점 (Structural Perspective)'을 도입하여, 레이어 간 상호작용을 더 깊이 이해할 수 있는 길을 열었습니다.
실용적 의의: 구조적 유사도를 기반으로 한 레이어 가지치기는 모델의 크기를 줄이면서도 성능을 유지하는 데 효과적이므로, 경량화 및 효율적인 추론 시스템 구축에 중요한 통찰을 제공합니다.

결론적으로, StructLens는 언어 모델의 "블랙박스" 내부 구조를 해석하고 최적화하는 데 있어 기존 토큰 단위 분석을 넘어선 강력한 도구임을 입증했습니다.

StructLens: A Structural Lens for Language Models via Maximum Spanning Trees