기술적 요약: 대규모 언어 모델의 깊이에 따른 등장적 인과–기하학적 역학

문제 제기

대규모 언어 모델 (LLM) 에 대한 현재 연구는 기하학적 분석과 인과적 개입이라는 두 가지 명확하지만 종종 단절된 접근법으로 양분되어 있습니다.

• 기하학적 분석은 유사성, 차원성, 곡률과 같은 지표를 사용하여 네트워크 깊이에 따른 토큰 표현의 진화를 특징짓습니다. 이러한 연구들은 구조적이고 깊이 의존적인 변이를 드러내지만, 대부분 상관관계에 머무릅니다. 이들은 맥락이 어떻게 인코딩되는지는 설명하지만, 어떤 구체적인 기하학적 특징이 직접적으로 출력 예측 분포를 지배하는지는 규명하지 못합니다.
• 인과적 개입 (메커니즘 연구) 은 출력을 변화시키기 위해 내부 상태를 교란시킵니다. 이러한 연구들은 깊이 의존적인 효능 프로파일 (예: 특정 개입이 초기 레이어보다 후기 레이어에서 더 효과적임) 을 밝혀냈지만, 종종 통합된 표현적 프레임워크가 부족합니다. 조작된 표현들이 기하학적으로 어떻게 조직화되어 있는지, 혹은 왜 개입이 특정 레이어에서는 성공하고 다른 레이어에서는 실패하는지는 여전히 불분명합니다.

해결되지 않은 핵심 문제는 내부 표현의 기하학적 구조가 네트워크 깊이를 따라 어떻게 재조직되어 인과적으로 예측을 형성하는지입니다. 구체적으로, 표현 구조는 기술적으로 접근 가능하고 선형적으로 디코딩 가능할지라도 출력 생성에 있어 인과적으로 작동하지 않을 수 있습니다. 본 논문은 "메커니즘적 기하학"을 정의함으로써 이러한 관점들을 종합하고자 합니다. 즉, 예측에 대한 인과적 통제와 직접적으로 연결된 구조를 가진 표현 기하학을 의미합니다.

방법론

저자들은 Llama V3.1 8B, Mistral 0.3 7B, Qwen 2.5 7B 의 세 가지 디코더 전용 LLM 을 대상으로 기하학적 분석과 표적 인과적 개입을 결합한 통합 접근법을 사용합니다.

1. 개입 분석

이 연구는 "한 달의 이름", "요일", "시계 수학"과 같이 잘 정의된 입력 - 출력 공간을 가진 세 가지 모듈식 작업을 활용합니다. 두 가지 주요 개입 유형이 적용됩니다.

• 입력 중심 개입: 특정 입력 토큰 표현 간의 중심점 차이 (예: "1 월"의 표현을 "2 월" 쪽으로 이동시키는 것) 를 기반으로 조향 벡터 ($V_L$) 가 계산됩니다. 이러한 벡터는 특정 레이어의 입력 토큰의 숨겨진 활성화에 추가됩니다.
• 출력 중심 개입: 서로 다른 예측 출력과 관련된 마지막 토큰의 숨겨진 표현 간의 중심점 차이를 기반으로 조향 벡터가 계산됩니다. 이러한 벡터는 마지막 토큰의 활성화에 적용됩니다.
• 지표: 개입의 효능은 원본 예측과 목표 예측 간의 모델의 로그 확률 (logit) 선호도 변화로 정량화됩니다.

2. 표현 분석

기저 기하학을 특징짓기 위해 저자들은 WikiText-103데이터셋을 사용하여 표현을 분석하며, 다음에 중점을 둡니다.

• 차원성: 숨겨진 레이어 활성화의 참여 비율 (Participation Ratio, PR) 을 측정하여 유효 차원성을 결정합니다. "동일한 토큰"(서로 다른 시퀀스 전체의 마지막 토큰) 과 "비동일 토큰"(시퀀스에 따라 변하는 끝부분 근처의 토큰) 간에 비교가 이루어집니다.
• 기하학적 인코딩: 토큰 표현 간의 쌍별 유클리드 거리 및 각도 거리는 해당 출력 예측 분포의 대칭적 Kullback-Leibler (KL) 발산과 상관관계가 분석됩니다.
• 순수 개입: 기하학적 구성 요소를 분리하기 위해 저자들은 "순수 각도 개입"(방향만 보존하기 위해 조향 전 벡터 정규화) 과 "순수 노름 개입"(평균 노름과 일치하도록 벡터 재조정) 을 수행합니다.

주요 결과

1. 날카로운 깊이별 전환

개입 실험은 모든 테스트된 모델에서 이분위적 계산 구조를 드러냅니다.

• 초기 단계 (맥락 중심): 대략 처음 3 분의 2 의 레이어는 입력 중심 개입에 선택적으로 민감합니다. 여기서 입력 토큰을 교란하면 예측이 효과적으로 이동합니다.
• 후기 단계 (예측 중심): 대략 마지막 3 분의 1 의 레이어는 출력 중심 개입에 선택적으로 민감합니다. 여기서 마지막 토큰의 표현을 교란하면 예측이 효과적으로 이동합니다.
• 이 전환은 맥락 처리 계산에서 예측 형성 계산으로의 이동을 나타냅니다.

2. 표현 기하학의 재조직

기하학적 분석은 전환점 이후 표현 공간의 뚜렷한 재조직을 드러냅니다.

• 차원성: 동일한 토큰은 초기 레이어에서 유효 차원성의 확장과 후속 수축을 보이다가 후기 레이어에서 안정화됩니다. 비동일 토큰은 토큰 정체성과 맥락에 의해 주도되는 더 넓고 다중 피크를 가진 차원성 프로파일을 보입니다.
• 각도 대 유클리드 인코딩: 예측 중심 단계 (후기 레이어) 에서 두 가지 구성 요소 기하학적 코드가 나타납니다.
  • 각도 구조: 토큰 표현 간의 각도 거리는 해당 출력 예측 분포의 유사성과 강한 양의 상관관계를 보입니다.
  • 노름: 유클리드 거리는 예측 유사성과 크게 분리됩니다. 유클리드 거리와 각도 거리 간의 발산은 벡터 노름이 예측 메커니즘과 직교하는 정보 (토큰 및 맥락별 변이) 를 인코딩함을 나타냅니다.

3. 각도 인코딩의 인과적 검증

후기 레이어에서 예측이 각도 기하학에 의해 통제된다는 가설은 순수 개입을 통해 확인됩니다.

• 각도 개입: 마지막 토큰에 대한 순수 방향성 개입은 후기 (예측 중심) 단계에서 매우 효과적이지만 초기 단계에서는 효과가 없습니다.
• 노름 개입: 순수 노름 기반 개입은 모든 레이어와 개입 유형에서 대부분 효과가 없습니다.
• 메커니즘: 저자들은 최종 레이어에서 출력 분포 $p \propto \text{Softmax}(W_{out} h_L)$ 가 상대적 로그 확률 값을 위해 $h_L$의 방향에 의존하는 반면, 노름은 단순히 글로벌 스케일링 인자 (역 온도) 로 작용한다고 제안합니다. 따라서 각도 구조를 수정하면 예측 정체성이 직접적으로 변경됩니다.

주요 기여

1. 관점의 종합: 이 논문은 기하학적 구조가 네트워크 전반에 걸쳐 존재하지만 예측에 인과적으로 관련된 것은 특정 측면 (후기 레이어의 각도 조직) 뿐임을 보여줌으로써 기하학적 및 인과적 접근법을 통합합니다.
2. 이분위적 아키텍처의 식별: 초기 레이어가 맥락을 처리하고 후기 레이어가 예측을 형성하는 명확한 기능적 분리를 확립하며, 이는 개입 효능의 날카로운 전환으로 표시됩니다.
3. 예측의 메커니즘적 기하학: 후기 레이어에서 각도 구조가 다음 토큰 분포 유사성을 매개하는 반면, 표현 노름은 예측과 분리된 정보를 운반하는 구체적인 기하학적 코드를 식별합니다.
4. 디코딩 가능성에 대한 인과성 반박: 이 작업은 디코딩 가능한 의미 구조 (선형 분할 가능성) 의 단순한 존재가 예측에 대한 인과적 관련성을 의미하지 않음을 입증하여 이전 개입 문헌의 가정에 도전합니다.

중요성과 주장

저자들은 그들의 발견이 LLM 이 맥락을 예측으로 변환하는 방식을 설명하는 메커니즘적 설명을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다.

• 혼란스러운 발견의 조화: 왜 개입이 깊이 의존적인지, 그리고 왜 각도 유사성이 특정 맥락 (후기 레이어) 에서만 의미적 관련성과 상관관계를 보이는지 설명합니다.
• 통제에 대한 함의: 이 논문은 레이어별 기능을 고립적으로 이해하거나 효과적으로 개입할 수 없다고 주장합니다. 효과적인 통제는 특히 후기 레이어 각도 기하학인 등장적 글로벌 역학 구조를 표적으로 삼아야 합니다. 쉽게 디코딩 가능한 특징 (노름 기반이거나 초기 레이어일 수 있음) 을 대상으로 하는 개입은 일반화되지 않거나 간접적인 통제만 행사할 수 있습니다.
• 아키텍처 통찰: 결과는 RMSNorm 과 같은 정규화 체계가 방향이 크기보다 예측에 더 신뢰할 수 있는 신호가 되는 각도 인코딩에 유리한 조건을 만들 수 있음을 시사합니다.

저자들은 이러한 발견이 특정 모듈식 작업과 모델 계열에 기반하며, 초기 레이어 맥락 기하학과 후기 레이어 각도 코드의 등장 사이의 관계는 여전히 열린 질문임을 지적하며 겸손함을 유지합니다. 그들은 새로운 안전 개입이나 배포 전략을 제안하기보다는 LLM 계산에 대한 과학적 이해를 개선하는 데 중점을 둡니다.