💻 computer science

An Empirical Comparison of Positional Encoding Methods in a Small Character-Level Transformer

이 연구는 셰익스피어 스타일의 텍스트로 학습된 소규모 문자 수준 트랜스포머에서 네 가지 위치 인코딩 방법을 경험적으로 비교하며, 회전 위치 임베딩(RoPE)이 검증 손실과 텍스트 생성 품질 측면에서 학습된 임베딩, 사인형 인코딩, ALiBi보다 일관되게 우수한 성능을 보인다는 것을 발견하였으나, 이러한 결과는 실험 설정에 국한된 것이다.

원저자: Chaitanya Patil

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chaitanya Patil

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

텍스트를 읽고 쓰는 현대의 컴퓨터들은 트랜스포머(Transformer)라고 불리는 특정한 종류의 디지털 아키텍처에 의존합니다. 이 시스템의 핵심에는 기계가 문장 내의 모든 단어를 한꺼번에 보고 어떤 단어들이 서로에게 가장 중요한지를 결정할 수 있게 해주는 메커니즘이 있습니다. 하지만 이 메커니즘이 작동하는 방식에는 근본적인 문제가 하나 있습니다. 그것은 기계가 사물의 순서를 자연스럽게 이해하지 못한다는 점입니다. 만약 당신이 문장의 단어들을 뒤섞는다면, 기계는 정확히 동일한 아이템들의 집합을 보게 될 것이고 동일한 결과를 내놓겠지만, 그 과정에서 문장의 의미는 완전히 파괴될 것입니다. 이를 해결하기 위해 엔지니어들은 각 단어가 시퀀스의 어느 위치에 있는지에 대한 정보를 수동으로 주입하여, "the"가 "cat"보다 앞에 오고 그 반대가 아니라는 것을 기계에게 알려주어야 합니다. 이러한 순서의 주입을 위치 인코딩(positional encoding)이라고 부릅니다.

수년 동안 연구자들은 기계에게 이러한 순서 감각을 부여하는 다양한 방법들을 제안해 왔습니다. 어떤 방법들은 기계가 처음부터 위치를 학습하도록 가르치는 반면, 다른 방법들은 결코 변하지 않는 고정된 수학적 패턴을 사용합니다. 더 최근의 접근 방식들은 단어를 비교하는 방식 속에 위치를 직접 엮어 넣으려고 시도합니다. 이러한 방법들 사이의 대부분의 비교는 수십억 개의 파라미터를 가진 거대 시스템과 강력한 슈퍼컴퓨터 위에서 수행되었습니다. 이는 우리의 지식에 공백을 남깁니다. 즉, 시스템이 작고, 데이터가 제한적이며, 컴퓨팅 파워가 겸손할 때 이 다양한 방법들이 어떻게 행동하는지는 알지 못한다는 것입니다. 이것이 인도 공과대학교 카라그푸르(IIT Kharagpur)의 연구자인 차이타냐 파틸(Chaitanya Patil)이 답하고자 했던 질문입니다.

파틸은 셰익스피어 희곡의 발췌문으로 구성된 아주 작은 데이터셋을 사용하여, 한 번에 한 글자씩 텍스트를 생성하도록 설계된 작고 가벼운 컴퓨터 모델을 구축했습니다. 이 모델은 거대한 언어 모델이 아니라 약 138만 개의 학습 가능한 부분들로 이루어진 겸손한 3층 구조의 시스템이었으며, 이는 많은 연구자와 학생들도 접근 가능한 크기였습니다. 연구자는 이와 동일한 네 가지 버전의 모델을 만들었으며, 기계에게 글자의 순서를 알려주는 방법만을 변경했습니다. 한 버전은 학습된 위치 테이블을 사용했고, 다른 하나는 고정된 파동 형태의 패턴을 사용했으며, 세 번째는 위치에 따라 단어의 내부 표현을 회전시키는 방법을 사용했고, 네 번째는 단어 사이의 거리에 기반한 간단한 페널티를 추가했습니다. 각 버전은 2,000단계 동안 학습되었으며, 결과가 단순히 운 좋은 우연이 아님을 보장하기 위해 서로 다른 무작위 시작점을 사용하여 이 과정을 세 번 반복했습니다.

결과는 명확하고 일관된 승자를 보여주었습니다. 단어의 내부 표현을 회전시키는 방법인 로터리 위치 임베딩(Rotary Positional Embedding)이 지속적으로 가장 좋은 결과를 냈는데, 이는 모델이 다음 글자를 예측할 때 실수를 더 적게 했다는 것을 의미합니다. 그 뒤를 이어 거리 기반 페널티를 더하는 방법이, 그다음으로 고정된 파동 형태의 패턴이, 마지막으로 학습된 위치 테이블이 뒤를 이었습니다. 이 순위는 실험을 실행할 때마다 무작위 시작점에 관계없이 매번 유효했습니다. 연구자들은 또한 서로 다른 실행들 사이에서 결과가 얼마나 변하는지도 살펴보았습니다. 그들은 고정된 파동 형태의 패턴이 가장 안정적이어서 실행 간에 거의 변화가 없는 반면, 학습된 테이블은 모델이 어떻게 시작되느냐에 따라 크게 휘둘리는 등 가장 민감하다는 것을 발견했습니다.

이 결과가 더 많은 학습에서도 유지되는지 확인하기 위해, 연구자는 하나의 시작점에 대해 더 긴 실험을 수행하여 학습을 4,000단계까지 연장했습니다. 이 추가적인 시간에도 불구하고, 회전하는 방법은 여로 다른 방법들보다 우위를 유지하며 여전히 최고의 성능을 보였습니다. 그러나 연구자들은 이러한 결과가 이 특정 설정에 엄격히 제한된다는 점을 주의 깊게 언급합니다. 이 연구는 단 하나의 작은 데이터셋, 하나의 특정 모델 크기, 그리고 제한된 학습 단계만을 사용했습니다. 이것이 회전하는 방법이 모든 상황, 특히 오늘날 업계에서 사용되는 거대 모델이나 다른 유형의 텍스트를 다루는 작업에 있어 최선의 선택임을 증명하는 것은 아닙니다. 이 연구는 단지 자원이 제한된 환경에서 기계에게 순서를 가르치는 특정 방식들이 다른 방식들보다 더 효과적일 수 있으며, 방법의 선택이 기계가 얼마나 잘 학습하는지에 상당한 영향을 미칠 수 있음을 보여줍니다.

기술 요약: 저자원 텍스트 생성을 위한 경량 디코더 전용 트랜스포머에 관한 경험적 연구

문제 정의
트랜스포머 아키텍처는 자기 주의 집중(self-attention) 메커니즘에 의존하며, 이 메커니즘은 순열 불변(permutation-invariant)이므로 시퀀스 순서를 포착하기 위해 명시적인 위치 인코딩을 필요로 한다. 학습된 절대 임베딩(learned absolute embeddings)과 고정된 사인 함수 인코딩(fixed sinusoidal encodings)부터 회전 위치 임베딩(RoPE) 및 선형 바이어스를 이용한 어텐션(ALiBi)에 이르기까지 수많은 메커니즘이 존재하지만, 비교 연구는 주로 막대한 계산 예산을 가진 대규모 모델을 대상으로 수행된다. 결과적으로, 제한된 컴퓨팅 자원을 가진 실무자들에게 중요하며 트랜스포머의 근본적인 동작을 연구하는 데 필수적인 소규모 저자원 환경에서 이러한 메커니즘들이 어떻게 작동하는지는 여전히 불분명하다. 기존 문헌에 따르면 아키텍처 수정 사항이 서로 다른 규모와 구현 방식 간에 안정적으로 전이되지 못하는 경우가 많다.

방법론
본 연구는 Tiny Shakespeare 코퍼스를 활용한 문자 단위(character-level) 텍스트 생성을 대상으로, 단일 경량 디코더 전용 트랜스포머 아키텍처 내에서 네 가지 위치 인코딩 메커니즘을 통제된 방식으로 경험적 비교를 수행한다.

모델 아키텍처: 베이스 모델은 3개의 트랜스포머 블록, 192의 임베딩 차원, 4개의 어텐션 헤드, 128의 컨텍스트 길로 구성된다. 총 파라미터 수는 약 1.36백만 개(RoPE, ALiBi, Sinusoidal의 경우)에서 1.38백만 개(Learned 임베딩의 경우) 사이이다.
위치 인코딩 변체:
1. Learned (학습된): 토큰 임베딩에 더해지는 학습 가능한 절대 위치 임베딩 테이블.
2. Sinusoidal (사인 함수): 토큰 임베딩에 더해지는 고정된 비학습 사인 함수.
3. RoPE (회전 위치 임베딩): 어텐션 연산 내의 쿼리(query) 및 키(key) 벡터에 적용되는 회전 위치 임베딩.
4. ALiBi (선형 바이어스): 어텐션 점수에 직접 더해지는 단순화된 단일 슬로프 선형 바이어스(원본의 다중 슬로프 공식을 완전히 재현하지 않음).
실험 설정: 모든 변체는 동일한 하이퍼파라미터(AdamW 옵티마이저, 학습률 $1 \times 10^{-3}$ , 배치 크기 32)와 훈련 절차를 공유한다. 본 실험은 세 개의 랜덤 시드(1337, 2024, 42)에 대해 2,000 스텝 동안 실행된다. 보충 실험은 단일 시드(1337)에 대해 4,000 스텝까지 훈련을 확장한다.
평가: 주요 지표는 검증 교차 엔트로피 손실(validation cross-entropy loss)이다. 본 연구는 평균 성능, 시드 간 변동성(강건성), 그리고 일반화 격차(훈련 손실과 검증 손실의 차이)를 평가한다.

주요 결과

성능 순위: 2,000 스텝 실험의 세 가지 랜덤 시드 전체에서, RoPE가 가장 낮은 평균 검증 손실( $1.5894 \pm 0.0051$ )을 달성하였고, 그 뒤를 ALiBi( $1.6008 \pm 0.0047$ ), Sinusoidal( $1.6386 \pm 0.0009$ ), Learned 임베딩( $1.6636 \pm 0.0211$ )이 이었다. 이 순서(RoPE < ALiBi < Sinusoidal < Learned)는 모든 개별 시드에서 일관되게 나타났다.
강건성 및 변동성: Sinusoidal 인코딩은 가장 작은 실행 간 변동성(표준 편차 0.0009)을 보인 반면, Learned 임베딩은 가장 큰 변동성(0.0211)을 보여, 추가적인 학습 가능 위치 파라미터를 가진 방법론이 무작위 초기화에 더 민감할 수 있음을 시사했다. RoPE와 ALiBi는 이 두 극단 사이의 값을 나타냈다.
확장 훈련: 단일 시드 4,000 스텝 실험에서도 RoPE는 가장 낮은 검증 손실을 유지했으나, 2,000 스텝 결과와 비교했을 때 Sinusoidal과 ALiBi의 상대적 순위가 약간 변화했다.
일반화 격차: RoPE와 ALiBi는 가장 낮은 검증 손실을 달성했으나 동시에 가장 큰 일반화 격차(훈련 손실과 검증 손실의 차이)를 보였던 반면, Learned 임베딩은 가장 높은 검증 손실에도 불구하고 가장 작은 격차를 보였다.

기여 및 주장
본 논문의 주요 기여는 이론적이라기보다 경험적이다. 본 연구는 다음을 제공한다:

동일한 경량 아키텍처 및 훈련 예산 하에서 네 가지 널리 사용되는 위치 인코딩 메커니즘에 대한 통제된 비교.
단일 실행 비교가 오해를 불러일으킬 수 있다는 문제를 해결하기 위해 여러 랜덤 시드를 통한 강건성 특성화.
확장된 훈련에 따른 성능 지속성에 대한 보충 분석.

의의 및 한계
저자는 본 연구의 결과가 특정 실험 구성에 엄격히 제한됨을 명시한다: 단일 데이터셋(Tiny Shakespeare), 단일 소규모 모델 크기(~1.37M 파라미터), 그리고 제한된 수의 시드. 본 논문은 RoPE나 ALiBi가 모든 규모, 데이터셋 또는 작업에 대해 보편적으로 우월한 위치 인코딩 메커니즘이라고 주장하지 않는다.

인정된 주요 한계점은 다음과 같다:

서브워드(subword) 토큰화 대신 문자 단위 토큰화를 사용함.
CPU에서만 훈련을 진행하여 실험의 규모를 제한함.
길이 외삽(length extrapolation)을 평가하지 않는 단순화된 ALiBi 구현을 사용함.
적은 수의 시드( $n=3$ )로 인한 공식적인 통계적 유의성 검정의 부재.

본 연구는 이러한 저자원 영역 내에서, 위치 정보를 입력 표현에 더하는 방식(Learned, Sinusoidal)보다 어텐션 연산에 직접 위치 정보를 주입하는 방식(RoPE, ALiBi)이 더 우수한 성능을 보였다고 결론짓는다. 그러나 저자는 추가적인 조사 없이 이러한 결과를 더 큰 모델이나 다른 도메인으로 확장 해석하는 것에 대해 주의를 당부한다.

유사한 논문