Do Language Models Encode Semantic Relations? Probing and Sparse Feature Analysis

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 이 내부적으로 지식을 어떻게 표현하고 구조화하는지 이해하는 것은 NLP 의 이론적 발전과 실용적 응용에 필수적입니다. 기존 연구는 개별 개념 (concept) 이나 사실적 지식의 인코딩에 집중해 왔으나, **개념 간의 의미 관계 (Semantic Relations)**가 모델 내부에서 어떻게 표현되는지에 대한 연구는 상대적으로 부족합니다.

• 핵심 질문: LLM 은 유의어 (synonymy), 반의어 (antonymy), 상위어 (hypernymy), 하위어 (hyponymy) 와 같은 4 가지 의미 관계를 명확하게 인코딩하는가?
• 문제점: 기존 연구들은 LLM 이 관계 구조를 정확히 예측하거나 인코딩하는 데 어려움을 겪고 있음을 시사합니다. 특히, 분포적 유사성 (distributional similarity) 이 의미적 반대 (반의어) 와 유사성 (유의어) 을 구분하지 못하는 '역설'이 존재하며, 계층적 관계의 방향성 (상위/하위) 이 어떻게 표현되는지 불분명합니다.
• 목표: 선형 프로빙 (Linear Probing), 희소 오토인코더 (SAE), 활성화 패칭 (Activation Patching) 등을 결합하여 의미 관계 신호가 모델의 어느 층 (layer) 과 구성 요소 (component) 에 위치하며, 인과적으로 조작 가능한지 규명하는 것.

2. 연구 방법론 (Methodology)

저자는 규모가 다른 3 개의 모델 (Pythia-70M, GPT-2-124M, Llama 3.1-8B) 을 대상으로 실험을 수행했습니다.

2.1. 데이터셋 구성

• WordNet을 기반으로 구축된 데이터셋을 사용했습니다.
• 4 가지 의미 관계 (유의어, 반의어, 상위어, 하위어) 와 무관계 (Random) 쌍을 포함하며, 각 관계당 1,000 쌍을 추출했습니다.
• 각 단어 쌍에 3 가지 중립적인 문맥 프롬프트 ("A 와 B 는 관련이 있다", "A 와 B 를 함께 고려하라" 등) 를 추가하여 총 15,000 개의 인스턴스를 생성했습니다.

2.2. 선형 프로빙 (Linear Probing)

• 모델의 각 트랜스포머 블록에서 Attention 출력, MLP 출력, Post-residual 스트림의 3 가지 활성화 흐름을 추출했습니다.
• 각 층 (layer) 에서 다항 로지스틱 회귀 (Multinomial Logistic Regression) 프로브를 훈련시켜 관계 분류 정확도를 측정했습니다.
• 지표: 평균 정확도, 피크 정확도, 피크 층 (Peak Depth), 질량 중심 (Center of Mass, CoM) 을 계산하여 관계 신호의 분포를 분석했습니다.

2.3. 희소 특징 분석 및 활성화 패칭 (SAE & Activation Patching)

• SAE (Sparse Autoencoders): 모델 활성화에서 해리된 (disentangled) 특징을 추출하기 위해 사전 훈련된 SAE 를 사용했습니다.
• 인과성 검증 (Causal Intervention):
  • 필요성 (Necessity): 특정 관계가 존재하는 입력에서 상위 k 개의 SAE 특징을 제거 (Ablation) 하여 관계 신호가 얼마나 감소하는지 측정.
  • 충분성 (Sufficiency): 무관계 (Neutral) 입력에 상위 k 개의 SAE 특징을 주입 (Injection) 하여 관계 신호가 생성되는지 측정.
• 지표: 시맨틱 로그 차 (Semantic Logit Difference, $LD_{sem}$) 와 행동 변화율 (Flip-rate, Drop-rate) 을 사용하여 인과적 영향을 정량화했습니다.

3. 주요 결과 (Key Results)

3.1. 프로빙 결과: 규모와 난이도

• 규모 효과: 모델 크기가 커질수록 (Pythia → GPT-2 → Llama 3.1) 모든 관계의 분류 정확도가 향상되었습니다.
• 일관된 난이도 순위: 모든 모델에서 반의어 (가장 쉬움) > 하위어 > 상위어 > 유의어 (가장 어려움) 순으로 분류 난이도가 일관되었습니다.
• 위치 (Localization): 의미 관계 신호는 특정 층에 집중되지 않고 **중간 층 (Mid-layers)**에 분산되어 나타났으며, 피크 층의 위치는 관계와 모델에 따라 불안정했습니다.
• 구성 요소: 전체 블록 출력 (Post-residual) 이 가장 강한 신호를 가지며, MLP 가 Attention 보다 약간 더 많은 정보를 담고 있는 것으로 나타났습니다.

3.2. 관계별 특성 분석

• 반의어 vs 유의어:
  • 단순 코사인 유사도 (Cosine Similarity) 는 유의어와 반의어를 구분하지 못해 분포적 유사성의 한계를 보였습니다.
  • 그러나 선형 프로빙은 반의어를 매우 정확하게 구분했으며, 이는 관계 정보가 전체 벡터의 유사도가 아닌 특정 내부 활성화 패턴에 인코딩되어 있음을 시사합니다.
• 상위어 vs 하위어 (방향성 비대칭):
  • 단어 순서를 뒤집었을 때 (예: "동물 → 개" vs "개 → 동물"), **하위어 (Hyponymy)**의 정확도가 크게 하락한 반면, **상위어 (Hypernymy)**는 상대적으로 안정적이었습니다.
  • 이는 모델이 계층적 관계를 비대칭적으로 인코딩하며, 일반화 (상위어) 는 쉽게 학습되지만 구체화 (하위어) 는 방향성에 민감하게 의존함을 보여줍니다.

3.3. SAE 기반 인과성 분석

• 모델 규모 의존성: Llama 3.1 에서는 SAE 가이드 패칭이 관계 신호를 강력하고 안정적으로 조작 (증강/약화) 할 수 있었으나, 작은 모델 (Pythia, GPT-2) 에서는 효과가 약하거나 불안정했습니다.
• 비대칭적 인과성:
  • 상위어: 높은 충분성 (Sufficiency) 이지만 낮은 필요성 (Necessity). 즉, 많은 특징이 중복적으로 인코딩되어 있어 일부 특징을 제거해도 신호가 유지됨 (Robust).
  • 하위어: 높은 필요성과 충분성. 소수의 컴팩트한 특징에 의존하므로 제거 시 신호가 쉽게 붕괴됨 (Fragile).
  • 이 결과는 단어 순서 실험에서 관찰된 비대칭성과 기계적 수준에서 일치합니다.

4. 주요 기여 (Contributions)

1. 체계적 비교: 70M 에서 8B 파라미터까지의 다양한 규모 모델에서 4 가지 의미 관계의 인코딩 방식을 체계적으로 비교 분석했습니다.
2. 통합 프레임워크: 선형 프로빙과 희소 오토인코더 (SAE) 를 결합하여 관계별 활성화 특징을 식별하고, 이를 통해 프로브 수준의 인과적 영향 (Necessity/Sufficiency) 을 평가하는 새로운 프레임워크를 제시했습니다.
3. 신호 분포 및 인과성 발견:
   • 관계 정보가 중간 층에 분산되어 있으며, MLP 가 Attention 보다 더 중요한 역할을 함을 발견했습니다.
   • 계층적 관계에서 상위어는 중복적/강건하게, 하위어는 컴팩트/취약하게 인코딩되는 비대칭적 특성을 규명했습니다.
   • SAE 기반 패칭을 통해 Llama 3.1 에서만 신뢰할 수 있는 인과적 조작이 가능함을 증명했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 의미 관계를 단순한 표면적 연관성이 아닌, 구조화되고 역할에 민감한 (role-sensitive) 특징으로 인코딩한다는 것을 입증했습니다.

• 이론적 의의: 의미 관계가 모델의 특정 층이나 구성 요소에 명확히 국한되지 않고 분산되어 있음을 보여주며, 기존 '블랙박스' 평가에서 한 걸음 더 나아가 내부 메커니즘을 해석하는 데 기여합니다.
• 실용적 의의: 온톨로지 완성, 텍스트 함의 (Entailment), 분류 체계 인식 등 관계 지식이 필요한 작업에서, 어떤 특징이 어떤 관계를 인코딩하는지 이해하면 더 효율적인 파인튜닝이나 모델 제어 (Steering) 전략을 수립할 수 있습니다.
• 한계: 현재 결과는 프로브 (Probe) 수준의 인과성에 국한되어 있으며, 토큰 생성 (Next-token prediction) 수준의 직접적인 인과성은 아직 검증되지 않았습니다. 또한, WordNet 기반의 영어 중심 데이터셋 사용은 일반화 가능성에 제한을 둡니다.

결론적으로, 이 논문은 LLM 이 의미 관계를 어떻게 '생각'하는지에 대한 기계적 해석을 제공하며, 모델의 내부 표현을 조작하여 특정 관계 능력을 강화하거나 약화시킬 수 있는 가능성을 제시합니다.