기술 요약: 진실은 생성된 토큰의 중간 어딘가에 있다

문제 제기

자기회귀 언어 모델(LLM) 에서 숨겨진 상태는 인과적 마스킹 하에 순차적으로 생성되므로, 각 토큰의 표현은 프롬프트와 이전에 생성된 모든 토큰에 의존합니다. 여기서 중요한 방법론적 질문이 제기됩니다: 이러한 시간적으로 분포된 숨겨진 상태들을 모델의 내부 의미적 상태를 정확하게 반영하는 단일 벡터 표현으로 어떻게 축소해야 할까요?

이전 연구들은 양방향 인코더를 대상으로 평균 풀링이나 최종 토큰 풀링을 주로 사용했습니다. 그러나 자기회귀 설정에서는 단순한 평균화가 불균등한 문맥 하에 계산된 숨겨진 상태들을 혼합하기 때문에 성능이 저하되는 것으로 나타났습니다. 따라서 기존 접근법들은 종종 단일 토큰(예: 마지막 토큰) 을 선택하거나 임베딩 품질을 향상시키기 위해 특정 목적 함수로 모델을 학습시키는 데 의존합니다. 표준 사전 학습 자기회귀 모델의 의미 정보가 특정 토큰 위치에 국한되어 있는지, 아니면 생성 궤적 전반에 분포되어 있는지, 그리고 추가 학습 없이 평균 풀링이 우수한 의미 표현을 산출할 수 있는지는 여전히 불분명합니다.

방법론

저자들은 생성된 토큰에서 유도된 표현의 의미적 품질을 시각 - 언어, 추론, 단백질 구조라는 세 가지 명확한 영역에서 참조 공간과의 정렬을 측정함으로써 평가합니다.

평가 지표: 커널 정렬

핵심 지표는 **중심 커널 정렬 (Centered Kernel Alignment, CKA)**이며, 특히 인플레이션 아티팩트를 피하기 위해 편향 제거 버전이 사용됩니다. 저자들은 언어 모델의 임베딩이 유도하는 유사성 구조 (커널) 를 실제 의미 구조에서 구축된 참조 커널과 비교합니다:

• 시각 - 언어: 참조 커널은 이미지 캡션에 대응하는 이미지 임베딩 (DINOv2 사용) 에서 유도됩니다. 높은 정렬은 모델이 시각적으로 유사한 이미지의 캡션들을 서로 더 가깝게 배치함을 의미합니다.
• 추론: 참조 커널은 수학 및 과학 문제의 골드 스탠다드 솔루션에서 유도됩니다.
• 단백질: 참조 커널은 단백질 구조 임베딩 (ESM-3 사용) 에서 유도됩니다.

실험 설정

• 모델: 주요 실험은 Qwen3-14B(디코더 전용 트랜스포머) 를 사용합니다. OLMo3-7B-Think 및 gpt-oss-20B와 비교합니다.
• 풀링 전략: 저자들은 궤적의 최종 상태를 선택하는 최종 토큰 풀링과 전체 생성 시퀀스에 걸쳐 숨겨진 상태를 평균내는 평균 토큰 풀링을 비교합니다.
• 혼합 분석: 의미 정보가 국소화되어 있는지 분포되어 있는지 판단하기 위해, 저자들은 서로 다른 토큰 세그먼트 (예: 생성의 첫 번째, 중간, 마지막 3 분의 1) 의 임베딩으로 볼록 결합을 구성하고 결과 심플렉스 전반의 정렬을 평가합니다.
• 대조 조건: 실험에는 토큰 순서 뒤섞기, 이미지 - 텍스트 쌍 뒤섞기, 그리고 생성 역학의 효과를 분리하기 위해 한 모델이 생성한 텍스트를 다른 모델의 임베딩 공간에 임베딩하는 작업이 포함됩니다.

주요 기여 및 결과

1. 생성된 토큰에 대한 평균 풀링이 단일 토큰 선택보다 우수함

프롬프트 측 임베딩에서 관찰된 한계와 대조적으로, 생성된 토큰 전반에 대한 평균 풀링은 마지막 토큰을 포함한 어떤 개별 토큰보다 훨씬 높은 의미 정렬을 달성합니다.

• 시각 - 언어 작업에서 평균 풀링된 생성 표현은 정렬 점수 0.410을 기록한 반면, 최상의 단일 토큰은 0.291, 프롬프트 토큰은 0.184를 기록했습니다.
• 이 개선은 디코딩 시드 전반에 걸쳐 일관되게 나타나 텍스트 변이에도 불구하고 근본적인 의미 구조가 안정적임을 보여줍니다.
• 이 이점은 다양한 풀링 방법 전반에 걸쳐 유지됩니다 (평균 풀링이 어텐션, 최대, 그리고 최상위 토큰 풀링보다 우수함).

2. 의미 정보는 생성 전반에 분포됨

이 논문은 의미 정보가 단일 위치에 국한되지 않고 토큰 궤적 전반에 분포되어 있음을 입증합니다.

• 혼합 효과: 서로 다른 토큰 세그먼트 (예: 첫 번째, 중간, 마지막 3 분의 1 을 혼합) 의 임베딩에 대한 볼록 결합은 어떤 단일 세그먼트만 사용할 때보다 일관되게 더 높은 정렬을 달성합니다.
• 세분화: 이 "혼합" 이점은 토큰 세그먼트가 재귀적으로 세분화될 때도 지속되므로, 생성의 서로 다른 부분이 상호 보완적인 의미 정보를 전달함을 시사합니다.
• 도메인 일반화: 이 현상은 시각 - 언어 작업뿐만 아니라 추론 (Math-500, GPQA) 및 단백질 구조 작업에서도 관찰되어 자기회귀 생성의 일반적인 속성임을 나타냅니다.

3. 생성된 토큰 대 프롬프트 토큰

반직관적인 발견은 프롬프트에 전체 의미 내용이 포함되어 있더라도 생성된 토큰에서 유도된 표현이 프롬프트 토큰에서 유도된 것보다 더 잘 정렬된다는 것입니다.

• 프롬프트 토큰 표현은 평균 풀링의 이점을 받지 못하며, 인과적 마스킹의 한계로 인해 이를 평균화하면 종종 정보가 희석됩니다.
• 생성은 숨겨진 상태 공간에서 동일한 의미 내용을 더 쉽게 복원할 수 있게 "만드는" 역할을 합니다. 모델이 연장을 생성함에 따라 내부 상태는 원래 프롬프트와 연결된 참조 구조와 더 잘 정렬되게 됩니다.

4. 표현적 단계 및 내부 상태 역학

생성된 토큰에 걸친 정렬 궤적은 모델 행동의 해석 가능한 단계를 드러냅니다:

• 단계: 생성 과정은 일반적인 서두, 프롬프트 반복, 회상, 그리고 캡션 특정 응답과 같은 명확한 단계를 보입니다. 정렬은 생성이 일반적인 텍스트에서 내용 특정 설명으로 이동함에 따라 증가합니다.
• 인과적 프로브: 특정 일반적 구문 (예: "내가 아는 것을 회상해 보겠습니다") 은 장면 관련 내용이 나타나기 전에도 정렬에 날카로운 급증을 유발합니다. 이는 이러한 토큰이 모델의 내부 상태가 참조 구조 쪽으로 이동하는 변화에 해당함을 시사합니다.
• 모델 특이성: 이러한 단계 구조는 한 모델이 다른 모델이 생성한 텍스트를 임베딩할 때 사라집니다. 예를 들어, OLMo3 가 사실을 착각할 때 (예: 발전소 위치를 잘못 식별함), OLMo3 의 생성물을 처리하는 Qwen3 의 정렬 궤적은 저하됩니다. 이는 관찰된 역학이 텍스트 자체뿐만 아니라 특정 모델의 내부 계산 및 일관성과 연결되어 있음을 나타냅니다.

5. 레이어 깊이 대 토큰 차원

토큰 차원에 걸쳐 평균 풀링을 수행하면 정렬이 향상되지만, 레이어 깊이에 걸쳐 평균 풀링을 수행하면 그렇지 않습니다. 레이어 전반에 걸쳐 평균화하면 최상의 단일 레이어 (일반적으로 최종 레이어) 와 유사한 성능을 내지만 이를 능가하지는 않습니다. 이는 중간 레이어가 종종 최상의 성능을 보이는 프롬프트 측 임베딩과 대조됩니다.

중요성 및 주장

이 논문은 자기회귀 생성 동안 형성된 숨겨진 상태는 단일 토큰을 선택하는 대신 토큰에 걸쳐 평균 풀링하여 벡터 표현으로 축소하는 것이 가장 좋다고 주장합니다. 이는 인과적 마스킹이 디코더 전용 모델에 평균 풀링을 비효율적으로 만든다는 지배적인 견해에 도전합니다.

저자들은 다음과 같이 주장합니다:

1. 맥락으로서의 생성: 모델의 자체 연장은 입력의 의미 내용을 숨겨진 상태 공간에서 더 접근 가능하게 만드는 맥락의 원천으로 작용합니다.
2. 궤적 기반 표현: 자기회귀 모델의 의미 정보는 단일 숨겨진 상태에 국한되는 것이 아니라 생성 궤적 전반에 분포된 것으로 간주되어야 합니다.
3. 해석 가능성: 커널 정렬은 내부 모델 상태에 대한 인과적 프로브 역할을 하여, 특정 토큰 출력 (예: "생각하기" 또는 "회상" 구문) 이 모델의 표현 기하학에서 측정 가능한 변화에 해당함을 드러냅니다.

이 연구는 자기회귀 모델에서 고품질 텍스트 임베딩이 필요한 작업의 경우, 연장을 생성하고 결과 숨겨진 상태를 평균 풀링하는 것이 표준 프롬프트 기반 임베딩보다 우수한 단순하고 효과적이며 학습이 불필요한 방법임을 시사합니다. 다만 저자들은 한계를 지적합니다: 이 접근법은 생성 길이에 비례하는 계산 비용을 발생시키며, 추가 생성에 사용할 수 있는 "소프트" 토큰이 아닌 내부 상태의 프로브인 표현을 생성합니다.