Semantic Structure of Feature Space in Large Language Models

Kozlowski 와 Boutyline 의 논문 "대규모 언어 모델의 특징 공간 내 의미 구조"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

최근 연구는 대규모 언어 모델 (LLM) 내의 특정 의미적 특징 (예: 기만, 거절, 아첨) 이 숨은 상태 (hidden states) 의 선형 방향으로 인코딩된다는 점을 입증했습니다. 그러나 기존 접근법은 이러한 특징들을 고립된 상태로 취급합니다. 이 관점은 특징들이 직교 (독립) 한다고 가정합니다. 하지만 심리학 연구 (특히 '의미적 미분' 전통) 는 인간의 의미적 연상이 매우 높은 상관관계를 가지며, 저차원 부분 공간 (예: 평가, 힘, 활동) 으로 축소될 수 있음을 시사합니다.

이 논문은 중요한 간극을 다룹니다: LLM 의 의미적 특징 간의 기하학적 관계가 인간의 심리적 연상을 반영하는가? 구체적으로, LLM 특징 공간이 독립적인 축으로 구성되었는지, 아니면 인간의 문화적 및 인지적 구조를 반영하는 유의미한 비직교성 (얽힘) 을 보이는지 조사합니다.

2. 방법론

이 연구는 Llama 3 모델 (3B 및 70B) 과 Qwen3 모델을 대상으로 설문 데이터, 활성화 분석, 개입 실험을 결합한 다단계 방법론을 사용합니다.

A. 데이터 구축

• 인간 기준: 1,750 명의 응답자가 360 개의 단어를 32 개의 의미 척도 (예: 아름답다-추하다, 부드럽다-딱딱하다) 로 평가한 설문 데이터입니다. 이 데이터셋은 인간 의미 연상에 대한 기준 (ground truth) 으로 작용합니다.
• LLM 특징 벡터 (단어): 360 개 단어 각각에 대해 LLM 의 숨은 상태에서 특징 벡터를 추출했습니다.
  • 프로토콜: 단어당 네 가지 프롬프트를 사용했습니다 (예: "{단어} 에 대해 말해줘", "{단어} 를 정의해줘").
  • 추출: 특정 레이어 (3B 의 경우 레이어 8, 70B 의 경우 레이어 40) 에서 활성화 값을 수집하여 토큰과 프롬프트 간 평균을 내어 단어당 하나의 견고한 벡터를 생성했습니다.
• LLM 의미 축: 대조 쌍 설계를 사용하여 32 개의 의미 축을 구성했습니다.
  • 각 척도 (예: 좋다-나쁘다) 에 대해 10 개의 반의어 쌍을 선택했습니다.
  • 각 반의어에 대한 특징 벡터를 생성하고, 축 벡터는 긍정적 반의어 벡터와 부정적 반의어 벡터 간의 평균 차이로 계산했습니다:
    $$\vec{f}_{axis} = \frac{1}{10} \sum_{j=1}^{10} (\vec{v}_{pos_j} - \vec{v}_{neg_j})$$

B. 분석 기법

1. 투영 상관관계: 단어 특징 벡터를 의미 축에 투영하고, 이러한 투영을 인간 설문 평가와 상관관계 분석했습니다.
2. 기하학적 정렬: 축 자체가 직교하지 않는지 테스트하기 위해 의미 축 간의 코사인 유사도를 계산했습니다. 이러한 기하학적 유사성은 인간 설문 데이터에서 발견된 쌍별 상관관계와 상관관계 분석되었습니다.
3. 차원 축소: 두 공간의 분산이 저차원 부분 공간 (특히 첫 번째 3 개 성분) 에 의해 포착되는지 확인하기 위해 설문 데이터와 LLM 의미 축 모두에 **주성분 분석 (PCA)**을 적용했습니다. LLM 과 인간 데이터의 부분 공간을 정렬하기 위해 **정준 상관 분석 (CCA)**을 사용했습니다.
4. 조작 개입: 실용적 함의를 테스트하기 위해 저자는 "조작 (steering)" 개입을 수행했습니다.
   • 메커니즘: 모델이 단어를 평가하도록 요청하는 프롬프트의 순전파 (forward pass) 동안 잔류 스트림에 스케일링된 의미 축 벡터 ($\alpha \hat{f}$) 를 추가했습니다.
   • 측정: 목표 외 척도에서 모델이 특정 반의어를 선택할 확률의 변화 (넘어오름 효과, spillover effect) 를 측정했습니다.
   • 가설: 축들이 기하학적으로 정렬되어 있다면, 한 축을 따라 조작하는 것은 다른 축에 대한 예측 가능한 넘어오름 효과를 일으켜야 하며, 그 크기는 축 간의 코사인 유사도에 비례해야 합니다.

3. 주요 기여

1. 인간과 유사한 기하학의 검증: LLM 특징 공간의 기하학적 구조가 무작위이거나 순수하게 직교하는 것이 아니라, 인간의 심리적 의미 연상을 밀접하게 반영함을 입증했습니다.
2. 비직교성 특징: LLM 의 의미 축들이 유의미하게 비직교적임을 증명했습니다. 모델 내 두 축 간의 코사인 유사도는 인간 설문에서 해당 척도 간의 상관관계를 예측합니다.
3. 저차원 부분 공간: 인간 데이터와 마찬가지로 LLM 의미 특징의 상당한 분산이 저차원 부분 공간 (약 3 차원) 내에 있음을 보였습니다. 이는 고전 심리학에서 발견된 '평가 - 힘 - 활동' 구조를 재현합니다.
4. 예측 가능한 조작 넘어오름: 기하학적 정렬과 모델 행동 간의 인과 관계를 확립했습니다. 한 의미 축을 따라 모델을 조작하면 다른 축에 예측 가능한 "넘어오름" 효과가 발생하며, 그 크기는 축 간의 코사인 유사도에 의해 결정됩니다.

4. 주요 결과

• 투영 상관관계: LLM 의미 축에 대한 단어 벡터의 투영과 해당 단어에 대한 인간 평가 간에 강한 양의 상관관계 ($r > 0.3$에서 $r > 0.8$) 가 존재합니다. 이는 작은 모델 (3B) 과 큰 모델 (70B) 모두에서 유효합니다.
• 축 상관관계: LLM 의미 축 간의 코사인 유사도는 인간 설문에서 해당 척도 간의 상관관계를 매우 잘 예측합니다 ($r \approx 0.8$). 이는 모델의 내부 기하학이 인간의 문화적 연상을 인코딩하고 있음을 확인시켜 줍니다.
• PCA 정렬:
  • 인간 설문 데이터는 효과적으로 3 차원으로 축소되었습니다.
  • LLM 의미 축 또한 첫 세 주성분이 분산의 대부분을 설명함을 보였습니다 (3B 의 경우 >45%, 70B 의 경우 >33%).
  • CCA는 LLM 의 3D 부분 공간과 인간 설문 간의 높은 상관관계를 밝혀냈으며, 이는 모델들이 인간과 구조적으로 유사한 방식으로 이러한 개념에 대해 "생각"함을 시사합니다.
• 조작 넘어오름:
  • 특정 속성 (예: 아름답다) 으로 단어를 조작하면 모델은 기하학적으로 유사한 속성 (예: 부드럽다) 에서 해당 단어를 더 높게 평가했습니다.
  • 두 축 간의 코사인 유사도와 넘어오름 효과의 크기 간에 강한 선형 관계 ($r \approx 0.65 - 0.68$) 가 있습니다.
  • 참고: 70B 모델은 3B 모델보다 더 작은 넘어오름 크기를 보였으며, 이는 더 큰 모델이 조작에 더 강건함을 시사하지만, 구조적 관계 (기하학이 넘어오름을 예측함) 는 일관되게 유지됩니다.

5. 중요성 및 함의

• 고립을 넘어: 이 발견은 LLM 특징을 독립적인 "노브"의 목록으로 보는 관점에 도전합니다. 대신 특징은 그들의 기하학적 관계와 그들이 형성하는 부분 공간을 통해 이해되어야 합니다.
• AI 안전 및 제어: 안전에 중요한 특징들 (예: 참-거짓, 안전-위험) 이 공유된 저차원 부분 공간에 위치한다면, 기하학적 얽힘으로 인해 하나를 제어하는 것이 실수로 다른 것들에 영향을 미칠 수 있습니다. 이는 "특징 조작"을 복잡하게 만들지만, 이러한 관계 구조를 이해함으로써 모델을 감사 (audit) 할 수 있는 방법도 제공합니다.
• 표현 공학: 이 연구는 정적 단어 임베딩에 사용된 기술 (각도와 문화적 차원 분석 등) 이 심층 LLM 표현에도 적용 가능하며 유익함을 검증했습니다.
• 인지 정렬: 이 결과는 원시 텍스트로 훈련되었음에도 불구하고 LLM 이 인간의 세계에 대한 인지 모델과 구조적으로 정렬된 내부 표현을 개발함을 시사하며, LLM 이 인간의 의미 구조를 포착한다는 아이디어를 강화합니다.

결론적으로, 이 논문은 특징 공간의 기하학이 인간적으로 유의미하다고 주장합니다. 특징 간의 각도와 그들이 정의하는 부분 공간을 이해하는 것은 대규모 언어 모델을 해석, 감사, 제어하는 데 필수적입니다.