기술 요약: 공간 확보! 인코더 내 위치 및 의미 표현의 명시적 분리

문제 제기

위치 인코딩 (PE) 은 순열 불변성 (permutation-invariant) 을 가진 트랜스포머가 시퀀스 순서를 표현하는 방식의 핵심이지만, 위치 정보가 어떻게 처리되고 저장되는지에 대한 내부 메커니즘은 여전히 잘 이해되지 않고 있습니다. 현대적 접근법, 특히 로터리 위치 인코딩 (RoPE) 과 같은 상대적 위치 인코딩 (RPE) 방법들은 긴 문맥 이해 및 검색 작업에서 종종 어려움을 겪습니다. furthermore, 기존 RPE 방법들은 장기 감쇠 (long-term decay) 와 같은 휴리스틱에 의존하는데, 이는 위치 편향을 초래하고 성능을 병목 현상으로 만들 수 있습니다. 증거에 따르면 위치 신호와 의미 신호는 학습된 트랜스포머 내에서 거의 직교하는 부분 공간을 차지하지만, 표준 아키텍처는 이러한 신호들을 얽히게 만들어 각자의 특정 역할을 분리하거나 독립적으로 최적화하기 어렵게 만듭니다. 저자들은 이러한 스트림을 명시적으로 분리하면 메커니즘적 통찰력을 제공하고 더 나은 위치 표현으로 이어질 수 있다고 주장합니다.

방법론

저자들은 의미 (Semantic), 절대 위치 (Absolute Positional, AP), **상대 위치 (Relative Positional, RP)**라는 세 가지 정보 스트림을 명시적으로 분리하는 새로운 아키텍처인 DSTG-NeoBERT를 제안합니다.

아키텍처 수정 사항

NeoBERT 아키텍처를 기반으로, 이 모델은 다음과 같은 고유한 수정을 통해 스트림들을 처리합니다:

1. 입력 표현: 각 토큰은 두 개의 분리된 임베딩으로 표현됩니다: $d_{AP}$ 차원의 AP 임베딩과 $d_{sem}$ 차원의 의미 임베딩입니다. 총 숨겨진 크기 (hidden size) 는 $d_{model} = d_{AP} + d_{sem}$입니다.
2. 어텐션 메커니즘:
   • 쿼리와 키는 각 어텐션 헤드 내에서 각 스트림에 대해 독립적으로 계산됩니다.
   • 어텐션 로그이트 (logit) 는 상대 위치 (RP) 편향, 의미 어텐션 가중치, 그리고 AP 어텐션 가중치의 합입니다.
   • 값 (Values) 은 각 스트림에 대해 별도로 계산되며 각각의 공간에 머무릅니다.
   • 중요한 설계 선택으로, 두 스트림을 동일한 헤드당 크기로 투영하여 분산 일치를 보장하고, 더 높은 차원의 공간이 지배하는 것을 방지합니다.
3. 레이어 정규화: 상호 의존성을 피하기 위해 어텐션 전후에 AP 및 의미 임베딩에 별도의 RMSNorm 레이어가 적용됩니다.
4. 피드포워드 네트워크 (SwiGLU): 의미 및 위치 임베딩이 연결되어 숨겨진 공간으로 투영됩니다. 핵심적으로, 다운-투영 (down-projection) 은 정보를 별도의 AP 및 의미 스트림으로 다시 분리합니다. 이는 스트림들이 직접 상호작용하는 유일한 구성 요소로, 의미 조건부 구조 업데이트를 가능하게 합니다.
5. 학습 목표 (MLM 디코딩): 마스킹 언어 모델링 (MLM) 디코딩 헤드는 최종 숨겨진 상태의 의미 부분에만 적용됩니다. 최종 레이어의 AP 구성 요소는 MLM 목표에서 그라디언트를 받지 않으므로, 위치 부분 공간이 예측 압력으로부터 실질적으로 해방됩니다.
6. 베이스라인: 저자들은 동일한 데이터 (FineWeb) 와 동일한 하이퍼파라미터로 학습된 세 가지 베이스라인과 DSTG-NeoBERT 를 비교합니다:
   • RoPE-NeoBERT: 로터리 위치 인코딩을 사용합니다.
   • AP-NeoBERT: 학습된 절대 위치 임베딩 (얽힌 상태) 을 사용합니다.
   • RP-NeoBERT: 학습된 상대 위치 편향을 사용합니다.

주요 발견 및 기여

1. 저주파 구조 매니폴드의 출현

분리된 모델의 격리된 AP 부분 공간은 자발적으로 저주파 2 차원 매니폴드로 붕괴됩니다.

• 차원 축소: 학습된 AP 임베딩 행렬에 대한 PCA 분석 결과, 첫 두 주성분이 총 공간 분산의 **94.1%**를 포착하는 것으로 나타났습니다.
• 주파수 분석: 제 2 형 이산 코사인 변환 (Type-II Discrete Cosine Transform) 은 이러한 구성 요소가 저주파에서 작동하며, 거의 모든 스펙트럼 파워를 처음 네 개의 빈 (bins) 에 집중시킴을 확인했습니다.
• 대조: 반면, 얽힌 AP 베이스라인 (AP-NeoBERT) 은 고차원 상태로 남아 고주파 신호에 지배당하며, 첫 두 주성분에서 분산의 23.4% 만 포착합니다.

2. 어텐션 헤드의 전문화

분리된 아키텍처는 어텐션 헤드가 거의 독점적으로 두 그룹으로 전문화되는 명확한 기능적 분류를 보여줍니다:

• 구조 지향 헤드: AP 정보에 크게 영향을 받습니다.
• 의미 지향 헤드: 의미 내용에 의해 주도됩니다.
• RP 의 역할: 저자들은 순수한 RP 지향 헤드는 발견하지 못했습니다. 대신, RP 편향은 의미 헤드를 위한 지역적 지원 메커니즘 (예: 자기 어텐션이 먼 문맥에 집중하는 것을 방지) 으로 작용하는 반면, AP 는 별도의 구조 정보 스트림으로 기능합니다.

3. 거시적 구조의 보존

표준 위치 인코딩은 거시적 문서 구조를 강력하게 유지하지 못합니다:

• 얽힌 AP: AP-NeoBERT 는 중간 레이어에서 구조 정보를 인코딩하지만, MLM 예측 목표의 간섭 (위치 차원이 의미 예측을 위해 재사용됨) 으로 인해 최종 레이어에서 이 정보의 대부분을 상실합니다.
• 상대적 방법 (RoPE/RP): 이러한 방법들은 MLM 사전 학습 하에서 숨겨진 상태 내에서 거시적 문서 구조를 인코딩하는 데 크게 실패합니다.
• 분리된 해결책: 위치를 격리된 부분 공간으로 이전하고 MLM 헤드로부터 제외함으로써, DSTG-NeoBERT 는 네트워크 전체, 최종 레이어를 포함하여 구조 정보 (문장/단락 경계) 를 보존합니다.

4. 프로빙 결과

저자들은 세 가지 계층 수준과 Flash-Holmes 벤치마크에서 선형 프로브를 사용하여 모델을 평가했습니다:

• 토큰 수준 및 세그먼트 수준 AP: DSTG-NeoBERT 는 최종 레이어에서 절대 및 세그먼트 수준 위치에 대해 높은 $R^2$ 점수를 유지하는 반면, 얽힌 AP 및 상대적 베이스라인은 상당한 저하를 보입니다.
• 세그먼트 내 위치: 흥미롭게도, 세그먼트 내 위치 정보는 모든 모델에서 의미 부분 공간에서 검색 가능하며, 이는 이러한 특정 지역 정보가 AP 스트림을 필요로 하지 않음을 시사합니다.
• 언어적 충실도 (Flash-Holmes): 분리된 아키텍처는 다섯 가지 분야 (형태론, 구문론, 의미론, 담화, 추론) 에 걸쳐 65 개 중 49 개의 언어 현상에 대한 프로빙 결과를 향상시켰습니다. 특히 구문론, 의미론, 담화 분야에서 모든 베이스라인을 능가합니다.

중요성 및 주장

이 논문은 위치 및 의미 스트림을 명시적으로 분리함으로써 트랜스포머 내부에 대한 "깨끗한 메커니즘적 연구"를 제공한다고 주장합니다. 주요 중요성은 다음을 입증하는 데 있습니다:

1. 위치 정보는 본질적으로 저차원적이고 구조적이며, 의미 예측과 경쟁하도록 강요받지 않을 때 단순한 매니폴드로 조직화됩니다.
2. 표준 모델에서 구조 정보의 상실은 최종 레이어에서 MLM 목표가 위치 차원을 덮어쓰는 직접적인 결과입니다.
3. 이러한 스트림을 분리하면 거시적 문서 구조를 보존하는 더 풍부한 임베딩을 가능하게 하여, 표준 하류 성능을 저하시키지 않고 (GLUE, MTEB, SQuAD 결과는 베이스라인과 유사함) 향상된 언어 표현을 제공합니다.

저자들은 이 접근법이 의미 표현과 간섭하지 않는 위치 인코딩 설계에 대한 새로운 방향을 제시하며, RAG 를 위한 위치 독립적 의미 표현의 캐싱이나 길이 외삽을 위한 저차원 AP 매니폴드 조작과 같은 실용적 응용을 가능하게 할 수 있다고 제안합니다. 다만, 이러한 발견은 현재 인코더 전용 모델과 상대적으로 작은 규모 (6 레이어, 22B 토큰) 에 제한되어 있음을 지적합니다.