기술 요약: 트랜스포머를 위한 구문 정보 기반 위치 임베딩 (SiPE)

문제 정의

트랜스포머 아키텍처는 현대 대규모 언어 모델(LLM)의 근간을 이루고 있지만, 표준 위치 임베딩(PE)에 대한 의존성은 근본적인 한계를 나타낸다: 이러한 임베딩은 토큰 간의 거리와 선형적 순서는 인코딩하지만, 구문 구조(syntactic structure)에 대해서는 거의 무지하다. 이러한 명시적인 구문 모델링의 부재는 모델이 선형적으로는 멀리 떨어져 있지만 구문적으로는 가까운 관계에 있는 술어와 그 논항을 연결하는 신호를 갖지 못하게 함으로써, 의미론적 프레임(semantic frames) 추출과 구성적 일반화(compositional generalization)를 저해한다.

구문적 귀납 편향(inductive bias)을 주입하려는 기존의 시도들은 하드코딩된 마스크를 통해 셀프 어텐션을 제약하거나 재귀적 스택(예: Pushdown LMs)을 유지하는 것과 같이 복잡한 아키텍처 수정을 포함한다. 이러한 접근 방식은 종종 계산 오버헤드를 증가시키거나, 아키텍처의 상당한 변경을 요구하며, 추론 시 많은 파스 트리(parse trees)에 대해 주변화(marginalize)를 수행함으로써 높은 비용을 초래한다. 반대로, 훈련 중에만 구문을 주입하는 "파서 프리(parser-free)" 방식은 런타임 시 구문 지식을 버리게 되어 일반화 능력이 약해지는 결과를 낳는다.

방법론: 구문 정보 기반 위치 임베딩 (SiPE)

저자들은 SiPE를 제안한다. 이는 셀프 어텐션 메커니즘이나 핵심 트랜스포머 아키텍처를 변경하지 않고, 의존 구문 분석(dependency parses)에서 유도된 구문적 사전 정보를 모델의 위치 경로(positional pathway)에 증강하는 가볍고 효율적인 방법이다.

핵심 구성 요소

1. 헥사태깅 (Hexatagging): 이 방법은 의존 구문 트리를 일련의 이산적인 태그 시퀀스로 선형화하는 "태깅으로서의 파싱(parsing-as-tagging)" 방식인 Hexatagging을 활용한다. 각 토큰에는 두 가지 유형의 레이블이 할당된다:

   • 터미널 태그 (Terminal tags): 부착 방향(좌측 또는 우측 자식)을 나타낸다.
   • 비터미널 태그 (Non-terminal tags): 내부 노드의 헤드 방향(L 또는 R)을 나타낸다.
     이 태그들은 학습 가능한 임베딩 테이블($E_T$는 터미널용, $E_N$은 비터미널용)에 매핑된다.

2. 주입 전략 (Injection Strategies): 구문적 사전 정보는 아키텍처에 따라 두 가지 주요 경로를 통해 모델에 주입된다:

   • 입력 측 주입 (인코더용): RoBERTa, DeBERTa-v3, ModernBERT와 같은 모델의 경우, 태그 임베딩이 입력 토큰 임베딩에 직접 더해진다. 이를 통해 구문적 사전 정보가 절대적 또는 상대적 위치 정보와 동일한 수준에서 구성된 복합 입력 벡터를 생성한다.
   • 위치 경로 주 injection (자기회귀 디코더용): 상대적 PE(relative PE)를 사용하는 Transformer-XL와 같은 모델의 경우, 저자들은 태그 정보를 어텐션 점수의 **위치 항(position term)**에 직접 주입하는 것이 더 우수하다는 것을 발견했다. 구체적으로, 태그 임베딩은 어텐션 점수의 상대적 위치 항($BD$)과 **곱셈적(multiplicatively)**으로 결합되어 투영된다. 이를 통해 구문적 편향이 독립적인 무조건부 편향으로 작용하기보다 기존의 위치 선호도를 조절할 수 있게 한다.

3. 아키텍처 불가지론 (Architecture Agnosticism): SiPE는 세 가지 지배적인 PE 패밀리와 결합하도록 설계되었다:

   • 절대적 PE (Absolute PE): 입력 임베딩에 더해진다.
   • 상대적 PE (Relative PE): 디코더에서는 어텐션 점수의 위치 항과 곱셈적으로 결합되거나, 인코더에서는 입력 임베딩에 더해진다.
   • 회전형 PE (Rotary PE, RoPE): 쿼리(query)와 키(key) 벡터가 회전하기 전, 회전 각도에 위상 변화(phase shift)를 주는 방식으로 주입된다.

4. 훈련 (Training): 모델은 표준 언어 모델링 손실(인코더의 경우 MLM, 디코더의 경우 다음 토큰 예측)과 함께 보조적인 지표 예측(indicator-prediction) 목적 함수를 사용하여 사전 훈련된다. 태그 임베딩은 LM 목적 함수와 함께 공동으로 학습된다.

주요 기여

1. 새로운 주입 메커니즘: 셀프 어텐션 가중치를 수정하거나 복잡한 어텐션 마스크를 도입할 필요 없이, Hexatagging에서 유도된 가벼운 사전 벡터를 통해 구문 구조를 통합하는 SiPE를 도입하였다.
2. 아키텍처 특이성: 저자들은 아키텍처에 따른 최적의 주입 지점을 분리해냈다:
   • 인코더의 경우, 입력 임베딩에 직접 더하는 방식이 가장 효과적이다.
   • 상대적 PE를 사용하는 자기회귀 디코더의 경우, 위치 항을 태그 정렬에 의해 게이팅하는 곱셈적 결합이 입력 측 주입이나 분리된 가산적(additive) 항보다 성능이 뛰어나다.
3. 파레토 프런티어 이동 (Pareto Frontier Shift): SiPE는 추론 시 **단일 파스(single parse)**에 조건화된다. 이는 약 300개의 파스를 평가해야 하는 전체 주변화(full marginalization)의 이점 대부분을 얻으면서도, 비용은 1/300 수준으로 낮추어 구문적 감독과 추론 비용 사이의 새로운 트레이드오프를 확립한다. 이는 "파서 프리" 방식보다 뛰어난 성능을 보인다.
4. 광범위한 호환성: 이 방법은 다양한 모델 패밀리(RoBERTa, DeBERTa-v3, ModernBERT, Transformer-XL) 및 PE 체계에 대해 검증되었다.

실험 결과

저자들은 내재적(구문적) 및 외재적(다운스트림) 벤치마크 모두에서 SiPE를 평가하였다.

• 내재적 평가 (SyntaxGym & BLiMP):

  • SyntaxGym에서 SiPE는 구문적 감독이 없는 기본 Transformer-XL 모델 대비 최대 **10.3%**의 상대적 개선을 보였다.
  • BLiMP에서 SiPE는 모든 인코더 패밀리에서 구문적 일반화 성능을 향상시켰다 (예: ModernBERT에서 +2.3%).
  • 결정적으로, 이러한 이득은 BLLIP-LG 데이터셋에서 퍼플렉서티(perplexity)를 9.0% 감소시키면서 달성되었는데, 이는 기존의 많은 구문 주입 방법들이 성능을 저하시키는 지표이다.

• 외재적 평가 (GLUE):

  • SiPE는 테스트된 모든 아키텍처에서 GLUE 벤치마크 성능을 개선했다.
  • Transformer-XL 디코더의 경우, SiPE는 GLUE 매크로 평균에서 **+8.2%**의 상대적 개선을 이끌어냈다.
  • 인코더 모델(RoBERTa, DeBERTa, ModernBERT) 또한 GLUE 태스크에서 일관된 이득을 보여, 구문적 사전 정보가 단순한 구문적 일반화를 넘어 실제 언어 이해 능력을 향상시킨다는 것을 입증했다.

• 절제 연구 (Ablation Studies):

  • 주입 깊이 (Injection Depth): 디코더의 경우, 첫 번째 레이어부터 구문을 주입하는 것이 매우 중요하다. 첫 번째 레이어를 건너뛰면 구문적 일반화 성능이 급격히 떨어진다.
  • 결합 유형 (Coupling Type): 위치 항을 태그 정렬에 의해 게이팅하는 곱셈적 결합이 완전히 분리된 가산적 주입보다 우수한 성능을 보였으며, 이는 구문 정보가 기존의 위치 선호도를 날카롭게 만들 때 가장 효과적임을 시사한다.

의의 및 주장

본 논문은 SiPE가 어떤 트랜스포머 아키텍처에도 구문 정보를 주입할 수 있는 단순하고 가벼우며 효과적인 전략을 제공한다고 주장한다. 셀프 어텐션 메커니즘과 나머지 아키텍처를 그대로 유지함으로써, SiPE는 지속적 사전 훈련(continual pre-training), 지도 미세 조정(supervised fine-tuning), 강화 학습을 포함한 표준 다운스트림 워크플로우와의 호환성을 보장한다.

저자들은 SiPE가 구문적 감독과 추론 비용 사이의 파레토 프런티어를 이동시킨다는 점을 강조한다. 많은 파스를 주변화하는 비용이 많이 드는 결합 구문 언어 모델이나, 런타임 시 구문을 버리는 파서 프리 방식과 달리, Si1PE는 단일 파스에 조건화함으로써 아주 적은 비용으로 대부분의 이점을 유지한다.

저자들이 인정한 한계점:

• 추론 의존성: 이 방식은 추론 시점에 태그를 생성하기 위한 의존 구문 분석기(Hexatagger)가 필요하며, 이는 전처리 단계를 추가한다.
• 자기회귀 생성: 텍文本을 자기회적으로 생성하려면 각 단계에서 시퀀스를 다시 태깅해야 하므로, 파서가 시퀀스가 성장함에 따라 이전 토큰의 태그를 수정할 수 있어 표준 KV 캐싱 전략을 복잡하게 만든다.
• 범위: 본 연구는 소규모 모델, 영어 텍스트, 특정 사전 훈련 예산에 국한되어 있다. 이러한 이득이 수십억 파라미터 규모의 모델과 다른 언어로 확장 가능한지는 여전히 미지수이다.
• 정밀도: 이 방법은 거친 수준의 방향성 태그를 사용한다. 상세한 의존 관계 레이블(DEPREL)을 포함하는 것이 예비 실험에서 추가적인 이득을 주지는 않았다.