Polar probe linearly decodes semantic structures from LLMs

기술 요약: 극성 프로브가 LLM 에서 의미 구조를 선형적으로 디코딩함

문제 정의
본 논문은 대규모 언어 모델 (LLM) 이 복잡한 의미 구조를 형성하기 위해 개념을 어떻게 결합하는지에 대한 근본적인 질문을 다룹니다. 이전 연구들은 기하학적 원리를 사용하여 구문 구조 (예: 주어 - 동사 의존 관계) 가 LLM 활성화에서 선형적으로 디코딩될 수 있음을 입증했습니다 (Hewitt & Manning, 2019; Diego-Simon et al., 2024). 그러나 유사한 원리가 의미 결합에도 적용되는지는 여전히 불분명합니다. 저자들은 LLM 이 개체 간 관계의 존재와 유형을 복잡하고 비선형적인 메커니즘을 통해가 아니라 단순한 기하학적 코드로 표현한다고 가정합니다. 즉, 개체 임베딩 간의 유클리드 거리가 관계의 존재를 인코딩하고, 상대적 방향이 관계 유형을 인코딩한다는 것입니다.

방법론
이 가설을 검증하기 위해 저자들은 관계 그래프를 복원할 수 있는 프로브 공간으로 LLM 계층 활성화 매핑을 학습하는 선형 변환인 **극성 프로브 (Polar Probe)**를 도입합니다.

1. 데이터셋: 연구는 다섯 가지 서로 다른 의미 영역을 아우르는 합성 데이터셋을 활용합니다.

   • 유클리드 영역: 변수 순서도 (수학적 변수), 공간 배치 (2D 객체 배열), 그리고 주제적 역할 (사회적 상호작용).
   • 비유클리드 영역: 가계도 (비가환적, 다대다 관계) 및 지하철 노선도 (네트워크 기반 최단 경로).
   • 각 샘플은 관계 그래프에 대한 자연어 설명으로 구성됩니다. 모델이 표면 수준의 상관관계를 학습하는 것을 방지하기 위해 관계와 개체의 순서를 무작위화하고, 동일한 그래프에 대해 여러 텍스트 설명을 생성합니다.

2. 프로브 아키텍처:

   • 구조적 손실 ($L_s$): 예측된 쌍별 거리 행렬과 의미 그래프의 실제 최단 경로 거리 행렬 간의 스피어만 순위 상관관계를 최적화합니다.
   • 각도 손실 ($L_a$): 두 개체 임베딩의 차이 벡터 ($\delta_{ij}$) 와 관계 유형 $r$에 특정한 학습된 프로토타입 벡터 ($p_r$) 간의 정렬을 최적화합니다.
   • 프로브는 다양한 LLM (Llama3-8B, OLMo-7B, Pythia 계열) 의 각 계층에서 독립적으로 학습됩니다.

3. 평가:

   • 디코딩 성능: 관계 존재 (거리 순서) 및 관계 유형 (방향 정렬) 에 대해 스피어만 $\rho$로 측정합니다.
   • 일반화: 분포 밖 (OOD) 개체 이름 및 관계 표면 형태에 대해 테스트합니다.
   • 인과적 개입: 학습된 프로토타입 방향으로 활성화 상태를 조종하여 하류 질문 - 답변 (QA) 성능의 변화를 관찰하기 위해 은닉 상태에 개입합니다.
   • 상관관계: 프로브 오차는 QA 작업에서 정답의 로그 확률과 상관관계가 있습니다.

주요 결과

• 선형 디코딩 가능성: 실제 의미 구조는 LLM 활성화에서 선형적으로 복원될 수 있습니다. 극성 프로브는 다섯 가지 영역 전반에 걸쳐 관계 존재와 유형을 성공적으로 디코딩합니다.
• 계층의 출현: 기하학적 코드는 사전 학습된 LLM 의 중간 계층에서 가장 두드러집니다 (Llama3-8B 의 경우 약 12~15 계층에서 정점). 무작위 초기화된 모델에서는 디코딩 성능이 우연 수준에 머무르며, 이는 코드가 사전 학습 과정에서 출현함을 시사합니다.
• 모델 크기와 학습: 성능은 모델 크기 (14M 에서 69 억 파라미터까지) 에 비례하여 증가하며 사전 학습 단계가 늘어남에 따라 향상됩니다. 이는 극성 코드가 모델 용량과 학습 기간에 의존하는 학습된 능력임을 시사합니다.
• 일반화: 프로브는 새로운 개체와 관계 표면 형태로 일반화되지만, OOD 개체에서는 성능이 약간 저하되고 OOD 관계 유형에서는 더 크게 저하됩니다. 또한 그래프 내 개체 수가 증가함에 따라 성능이 감소하는데, 이는 아마도 확장되는 결합 공간 때문일 것입니다.
• 인과적 영향: 학습된 프로토타입 방향으로 모델의 활성화를 조종하면 QA 작업에서 정답 확률이 인과적으로 변화하여, 이러한 기하학적 표현이 모델의 추론에 기능적으로 관련됨을 확인합니다.
• 부분 공간의 분리성: 서로 다른 의미 영역에 대해 학습된 부분 공간은 활성화 공간에서 대부분 분리되어 있지만, 공간 배치와 변수 순서도는 상당한 중첩을 보이며 이는 중첩 가설을 지지하는 예외적인 사례입니다.

의의 및 주장
본 논문은 LLM 이 단순한 기하학적 원리를 통해 표현을 결합함으로써 복잡한 의미 구조를 구축하도록 학습한다는 것을 입증했다고 주장합니다. 구체적으로, 이 접근법은 선형 프로빙의 범위를 구문 너머로 확장하여 더 넓은 범위의 지시성 있는 레이블이 지정된 그래프를 다룹니다.

• 구문 너머: 이전 연구가 구문 트리에 국한된 것과 달리, 이 접근법은 반드시 트리 구조가 아니며 비유클리드 위상 (예: 가계도, 지하철 노선도) 을 포함하는 의미 구조를 성공적으로 디코딩합니다. 다만, 비가환적 관계의 경우 정확도에 일부 한계가 있습니다.
• 지식 검색 너머: 이 연구는 (무작위화된 개체와 관계로 인해) 학습 중 암기될 수 없는 구성적 구조를 대상으로 하여, 모델이 문맥 학습과 결합을 수행하는 방식에 대한 증거를 제공합니다.
• 상징 - 연결주의 긴장: 이 발견은 상징적 접근법과 연결주의 접근법 간의 긴장 관계를 해소할 가능성을 시사하며, 상징적 구조가 선형 부분 공간과 기하학적 관계를 통해 벡터 시스템 내에서 표현될 수 있음을 제안합니다.

저자들은 방법의 한계에 대해 겸손하게 언급하며, 극성 프로브는 선형 거리에 의존하며 유클리드 그래프에 맞춰져 있음을 지적합니다. 따라서 비유클리드 영역에서 발견되는 완전한 비가환적 다대다 관계나 복잡한 최단 경로 거리를 완벽하게 표현할 수는 없지만, 이들 내부의 국소적 일관성은 포착합니다.