Laguerre Geometry for Interpreting Large Language Models

기술 요약: 대규모 언어 모델 해석을 위한 라게르 기하학(Laguerre Geometry)

문제 제로 (Problem Statement)
대규모 언어 모델(LLM) 내의 원자적 계산(atomic computations)이 갖는 존재론적 명확성에도 불구하고, 이러한 계산들이 어떻게 창발적 지능으로 결합되는지에 대한 인식론적 메커니즘은 여전히 불투명하다. 핵심적인 미스터리는 LLM 표현 공간 내에서 의미론적 개념들이 어떻게 조직되는가에 관한 것이다. 선형 표현 가설(Linear Representation Hypothesis, LRH)에 주로 기반한 기존 접근 방식들은 일반적으로 개념을 단일 점, 선형 방향, 또는 가우시안 클러스터로 정의한다. 그러나 이러한 프레임워크 하에서는 네 가지 근본적인 질문이 해결되지 않은 채 남아 있다: (I) 개념의 정확한 정의는 무엇인가? (II) 그것은 어떤 표현 공간에 인코딩되는가? (III) 어떤 구체적인 기하학적 구조가 그것을 운반하는가? 그리고 (IV) 왜 선형성이 가정되며, 그것이 어느 정도까지 유효한가? 또한, 현재의 해석 도구들(예: Logit Lens, Tuned Lens)은 대개 휴리스틱한 디코딩에 의존하거나 학습을 필요로 하며, 중간 레이어의 은닉 벡터(hidden vectors)에 대한 '의미'를 파악할 수 있는 원리적인 정답(ground truth)이 결여되어 있다.

방법론 (Methodology)
저자들은 저수준의 기하학적 분해와 고수준의 의미론적 조직을 통합하기 위해 **라게르 기하학(Laguerre Geometry)**에 기반한 기하학적 프레임워크를 제안한다. 이 방법론은 세 가지 주요 단계로 진행된다:

1. 라게르-보로노이 다이어그램(Laguerre-Voronoi Diagram, LVD)으로서의 언임베딩 레이어:
   저자들은 LLM의 최종 선형 투영 레이어(언임베딩 레이어, 가중치 $W$와 편향 $b$로 매개변수화됨)가 자연스럽게 표현 공간 $\mathbb{R}^d$를 라게르-보로노이 다이어그램(또는 파워 다이어그램, Power Diagram으로도 알려짐)으로 분할한다는 것을 입증한다.

• 개념의 정의: 개념은 벡터가 아니라, 중심 $c_j$와 가중치 $\nu_j$를 특징으로 하는 특정 라게르-보로노이 셀 $\omega_j$로 재정의된다. 카테고리는 이러한 여러 셀의 합집합으로 정의된다.
• 기하학적 특성: 이 공식화는 개념과 카테고리 사이의 선형 분리 가능성을 엄격하게 정의할 수 있게 한다. 결정적으로, 이는 라게르 가중치와 중심으로부터 유도된 **지배 점수(Domination Score)**를 도입하여, 단순한 벡터 거리만으로는 탐지하기 어려운 계층적 관계(예: "개" $\subset$ "포유류" $\subset$ "동물"과 같은 하위 분류/상위 분류 관계)를 탐지할 수 있게 한다.

2. 트랜스포머 레이어의 분해:
   저자들은 이 기하학적 관점을 중간 트랜스포머 블록으로 확장한다. 네트워크를 조각마다 선형인 연산자(MLP 블록)로 분해하고 어텐션 메커니즘을 분석함으로써, 입력 공간이 조각별 선형 영역(piecewise-linear regions)으로 분할됨을 보여준다.

• 단일 입력 vs. 다중 입력: 단일 입력 토큰의 경우, 궤적은 정적인 조각별 선형 흐름의 트리(tree)를 따른다. 다중 입력의 경우, 교차 어텐션(cross-attention) 메커니즘은 동적인 수송 항(transport term)으로 작용하여, 어텐션이 활성화될 때 은닉 궤적을 서로 다른 트리(영역) 사이로 "점프"시킨다.
• 영역 대응: 모든 레이어의 각 선형 영역에는 추가적인 문맥적 간섭 없이 남은 네트워크를 통해 전파될 경우 궁극적으로 도달하게 될 라게르 셀에 해당하는 의미론적 레이블이 할당된다.

3. 기하학적 렌즈(Geometric Lens) 및 라게르 오토인코더(Laguerre Autoencoder):

• 기하학적 렌즈: 은닉 벡터를 디코딩하는 학습이 필요 없고 하이퍼파라미터가 필요 없는 방법이다. 이는 셀프 어텐션 가중치를 1로 강제하여(교차 토큰 업데이트를 제거) 이후의 문맥 효과로부터 은닉 벡터 $h^{(\ell)}_i$를 격리시킨 뒤, 해당 벡터를 나머지 조각별 선형 네트워크를 통해 전파하여 최종 라게르 셀을 식별한다.
• 라게르 오토인코더 (LAE): 은닉 표현과 그에 대응하는 LVD 영역을 공동으로 렌더링하는 2D 시각화 도구이다. 이는 재구성 오차(reconstruction error)와 재구성된 점이 원래의 점과 동일한 라게르 셀 내에 위치하도록 보장하는 항을 결합한 손실 함수를 사용하여 학습되며, 이를 통해 결정 기하학(decision geometry)을 보존한다.

주요 기여 (Key Contributions)

• 개념의 재정의: 본 논문은 점 기반 또는 방향 기반의 정의를 넘어, 언임베딩 레이어에 의해 유도되는 볼록 다면체 영역(라게르-보로노이 셀)으로 개념을 정의함으로써 개념의 정의를 확장한다.
• 계층 구조 발견: 라게르 가중치가 개념적 계층 구조와 포함 관계를 자연스럽게 인코딩함을 입증하며, 이를 통해 사전 정의된 속성 집합 없이도 하위 분류 및 상위 분류 관계를 비지도 학습 방식으로 발견할 수 있음을 보여준다.
• 기하학적 렌즈: 모델의 고유한 조각별 선형 분할을 통해 은닉 벡터가 인코딩하는 정확한 개념을 추적함으로써, 모델의 내부 경로를 드러내는 새로운 학습 불필요(training-free) 해석 도구를 제공한다.
• 시각화: 라게르 오토인코더는 모델의 결정 기하학과 토큰 표현의 궤적을 모두 보여주는 통합된 2D 뷰를 제공한다.

실험 결과 (Experimental Results)
저자들은 다음 실험들을 통해 프레임워크를 검증한다:

• 선형 분리 가능성: "동물 vs. 식물" 및 "사건 vs. 인지"를 비교하는 선형 프로빙 작업에서, 라게르 기하학(LVD에서 리프팅된 점 사용)은 여러 모델(Phi-2, Gemma-2, Pythia)에 걸쳐 범주적 기하학(Categorical Geometry, 백색화된 벡터) 및 격자 기하학(Lattice Geometry)보다 낮은 에러율을 달 기록했다.
• 계층 구조 탐지: 제안된 지배 점수는 Phi-2와 Pythia-70M에서 격자 기하학 및 무작위 베이스라인보다 현저히 높은 정확도로 계층적 관계(예: "동물" 아래의 "개")를 성공적으로 식별했다.
• 궤적 분석: "The capital of France is"라는 프롬프트의 시각화 결과, 기하학적 렌즈는 Logit Lens나 Patchscopes에 비해 표현 공간 내에서 더 복잡하고 다양한 경로를 추적함을 보여준다. 이는 모델이 문법적으로 올바른 토큰("_Paris")으로 안착하기 전, 문법적으로는 틀리지만 사실적으로는 옳은 토큰("Paris")이 중간 레이어에 나타나는 모델의 내부 정교화 과정을 포착함을 보여준다.
• 인-컨텍스트 간섭(In-Context Interference): 간섭을 유도하도록 설계된 프롬프트(예: 허구적 문맥에서 도시 이름을 바꾸는 경우)에서, 기하학적 렌즈는 우수한 강건성을 보였다. 중간 레이어(특히 레이어 20)의 토큰 순위를 조사함으로써, 기하학적 렌즈는 Logit Lens나 Patchscopes보다 더 자주 사실적으로 올바른 토큰을 회복해 냈으며, 이는 모델의 최종 출력이 간섭에 의해 오염되기 전의 진정한 추론 과정을 드러낸다는 것을 시사한다.

의의 및 주장 (Significance and Claims)
본 논문은 선형 표현 가설을 막연한 가정이 아닌, 모델의 조각별 선형 구조의 엄격하게 정의된 속성으로 격상시켜 그에 대한 엄밀한 기하학적 토대를 제공한다고 주장한다. 개념을 점이 아닌 영역으로 설정함으로써, 저자들은 이 프레임워크가 은닉 표현에 대한 원리적인 정답(ground truth)을 제공하며, 휴리스틱한 디코딩이나 외부 학습의 필요성을 제거한다고 주장한다.

이 연구의 의의는 해석학을 '설명적 기하학'(정적인 구조를 기술하는 것)에서 '실행 가능한 해석학'(actionable interpretability)으로 전환하는 데 있다. 기하학적 렌즈를 통해 연구자들은 은닉 벡터가 인코딩하는 정확한 개념을 읽어낼 수 있으며, 인-컨텍스트 간섭에 의해 모델의 최종 출력이 손상되었을 때도 사실적 진실을 회복할 수 있음을 입증하였다. 저자들은 이 연구를 고수준의 지능이 저수준의 기하학적 분할로부터 어떻게 창발하는지를 이해하기 위한 기초적인 단계로 위치시키며, 향후 인과적 개입(causal intervention) 및 행동 제어(behavior steering)로 확장할 계획이다.