기술 요약: 대규모 언어 모델의 기능적 부분공간

문제 제기

대규모 언어 모델 (LLM) 은 문맥 학습 (ICL) 과 같은 놀라운 "급작스러운 능력"을 입증해 왔지만, 이러한 능력을 가능하게 하는 근본적인 메커니즘은 여전히 잘 이해되지 않고 있습니다. 이전 연구는 고차원 개념이 활성화 공간의 선형 방향으로 인코딩되며, 단어 임베딩 기하학이 의미론적 의미를 지닌다는 것을 확립했습니다. 그러나 LLM 이 미세 조정 없이 새로운 작업에 어떻게 일반화하는지, 또는 문맥 내 예시로부터 증거를 누적하여 올바른 응답을 생성하는 방식은 명확하지 않습니다. 이러한 작동 메커니즘에 대한 이해 부족은 특히 안전이 중요한 분야에서 배포되기 전에 LLM 을 적절히 진단하고 수정하는 능력을 방해합니다. 본 논문은 LLM 이 ICL 작업을 해결하기 위해 특정 부분공간과 벡터 대수를 활용하는지 여부를 조사합니다.

방법론

저자들은 LLM 이 입력 토큰을 기능적 부분공간으로 투영하여 간단한 벡터 대수를 통해 작업을 해결할 수 있다는 가설을 제시합니다. 이를 검증하기 위해 GPT-J-6B, Meta-Llama-3.1-8B, OLMo-2-0325-32B, Pythia-12B, Gemma-3-27b-it, GPT-NEOX-20B 등 6 개의 공개된 사전 훈련된 LLM 의 잔차 스트림과 기능적 모듈 (자기 어텐션 및 피드포워드 네트워크) 을 분석했습니다.

실험 설계는 다음과 같은 단계를 포함했습니다:

1. 작업 생성: 저자들은 반의어, 동의어, 국가 - 수도 쌍, 영어 - 프랑스어 번역, 회사 - 제품 쌍, 사람 - 스포츠 쌍 등 6 가지 서로 다른 작업에 대해 200 개의 ICL 프롬프트를 생성했습니다. 각 프롬프트는 5 개의 예시 쌍과 단일 테스트 쿼리를 포함했습니다.
2. 데이터 수집: 모델이 이러한 프롬프트를 처리하는 동안 모든 트랜스포머 레이어의 모든 토큰에서 잔차 스트림을 수집했습니다.
3. 차원 축소: 잠재적인 저차원 부분공간을 식별하기 위해 잔차 스트림에 주성분 분석 (PCA) 을 적용했습니다. 저자들은 상위 30 개 주성분의 누적 설명 분산을 평가했습니다.
4. 선형 회귀 분석: ICL 작업을 벡터 연산으로 모델링할 수 있는지 확인하기 위해 저자들은 주성분에 대해 선형 회귀를 수행했습니다. 정답 토큰 ($\vec{a}$) 이 쿼리 토큰 ($\vec{q}$) 과 구분자 토큰 ($\vec{s}$) 의 선형 함수로 설명될 수 있는지, 즉 $\vec{a} = \alpha\vec{q} + \beta\vec{s} + \gamma$ 방정식에 따라 설명될 수 있는지 테스트했습니다. 이 적합도의 품질은 결정 계수 ($R^2$) 를 사용하여 측정했습니다.
5. 의사 결정 상관관계: 이러한 부분공간의 기능적 관련성을 평가하기 위해 저자들은 LLM 이 올바른 예측을 한 경우와 잘못된 예측을 한 경우 사이에서 상위 성능을 보이는 주성분 내 토큰의 투영을 비교했으며, 통계적 유의성을 평가하기 위해 t-검정을 사용했습니다.

주요 기여 및 결과

1. 기능적 부분공간의 존재

잔차 스트림 분석 결과, 모델의 고차원성 (예: $d \approx 5000$) 에 불구하고 모델 활성화의 변동성 중 40% 에서 90% 가 단 30 개의 주성분으로 설명될 수 있음이 밝혀졌습니다. 이는 LLM 이 ICL 작업 중 저차원 부분공간 내에서 작동함을 시사합니다.

2. 벡터 대수로서의 ICL

연구 결과, 정답 토큰은 특정 부분공간 내에서 쿼리 토큰과 구분자 토큰의 선형 결합으로 잘 근사됨이 발견되었습니다.

• 높은 $R^2$ 값: 6 개 모델과 모든 작업 전반에 걸쳐 특정 주성분은 1 에 근접하는 높은 $R^2$ 값을 나타냈으며, 이는 이러한 부분공간 내 입력과 출력 간의 관계가 대체로 선형임을 의미합니다.
• 레이어 진행: 선형 적합의 품질 ($R^2$) 은 초기 레이어에서는 낮았으나 후기 레이어로 갈수록 증가하는 경향이 있었으며, 이는 초기 레이어가 점진적으로 활성화물을 ICL 이 간단한 벡터 연산으로 해결될 수 있는 부분공간으로 변환함을 시사합니다.
• 일관성: 높은 $R^2$ 값을 가진 주성분은 레이어 간 일관성을 보였으며, 이는 특정 방향이 작업별 개념 (예: "반의어" 또는 "수도") 을 인코딩함을 의미합니다.

3. 증거 누적 및 클러스터링

이론적 분석은 피드포워드 네트워크 (FFN) 가 잠재적 답변을 저장하는 연관 기억체로 작용하는 반면, 자기 어텐션 (SA) 레이어는 문맥에 따라 올바른 예측을 선택한다는 것을 시사했습니다. 저자들은 잠재적 답변들의 교차점이 특정 부분공간 기저를 따라 증거가 누적되도록 허용한다고 가설을 세웠습니다.

• 토큰 클러스터링: 상위 3 개 주성분으로 spanning 된 3D 부분공간 내 토큰의 시각화는 쿼리, 구분자, 정답 토큰이 토큰 유형에 따라 명확하게 분리된 고유의 클러스터를 형성함을 보여주었습니다.
• 정확도와의 상관관계: 결정적으로, 토큰의 투영은 모델이 올바른 답변을 생성했는지 잘못된 답변을 생성했는지에 따라 상위 성능을 보이는 구성 요소에서 통계적으로 유의미하게 ($p < 0.05$) 달랐습니다. 이 상관관계는 여러 중간 및 후기 레이어에 걸쳐 유지되었으며, 이러한 부분공간이 모델의 의사 결정 과정에 직접 관여함을 시사합니다.

중요성 및 주장

본 논문은 LLM 이 문맥 내 예시로부터 증거를 누적하고 이러한 부분공간 내에서 벡터 대수를 사용하여 작업을 해결하기 위해 본질적으로 부분공간을 생성한다고 주장합니다. 저자들은 다음과 같이 주장합니다:

• 일반화 메커니즘: ICL 수행 능력은 입력 토큰을 데이터 기하학이 원하는 작업 (예: 반의어의 경우 방향 반전) 에 직접 대응하는 부분공간으로 투영하는 능력에 의존합니다.
• 급작스러운 능력: ICL 작업은 일반적인 코딩이나 추론 작업보다 단순하지만, 작업 정보를 추출하고 벡터 연산을 통해 적용하는 메커니즘은 LLM 이 더 복잡한 작업에서 성공하는 방식의 근본적인 요소입니다.
• 진단 가능성: LLM 이 의사 결정을 위해 이러한 기능적 부분공간에 의존한다면, 이러한 부분공간은 모델 행동을 진단하고 모델 출력을 개입하거나 수정하기 위한 조향 벡터를 설계하는 기초로 활용될 수 있으며, 특히 안전이 중요한 응용 분야에서 그렇습니다.

저자들은 이론적 분석이 이상화된 조건에 의존하며, 복잡한 일반 언어 작업에서 이러한 부분공간을 식별하는 것이 정교한 토큰 상호작용으로 인해 어려울 수 있음을 인정하며 겸손한 어조를 유지합니다. 그러나 그들은 이 발견들이 선형 표현 가설과 문맥 학습의 작동 메커니즘 사이의 구체적인 연결고리를 제공한다고 주장합니다.