기술 요약: 견고한 길이 제어를 위한 진행률 임베딩

1. 문제 제기

현대 신경 언어 모델 (LM) 은 텍스트 생성에서 높은 정확도를 달성하지만, 생성 길이에 대한 정밀한 제어는 여전히 미흡한 상태입니다. 현재 대형 언어 모델 (LLM) 은 <EOS> 토큰을 샘플링하는 확률적 종료 기준에 의존하는데, 이는 투명성과 명시적 제어 측면에서 제한적입니다. 지시 따르기 LLM 은 프롬프팅을 통해 길이 선호도를 표현할 수 있지만, 이 접근법은 광범위한 범용 데이터로 훈련된 매우 큰 모델로만 제한됩니다.

제한된 도메인별 데이터셋으로 훈련된 소형 언어 모델 (SML) 의 경우, 길이 제어는 아키텍처 설계를 통해 달성되어야 합니다. 역 위치 임베딩 (RPE) 과 같은 최근 방법들은 남은 토큰 수를 나타내는 이산적인 카운트다운 신호를 디코더에 입력함으로써 이를 해결하려 시도했습니다. 그러나 저자들은 RPE 가 중요한 한계를 겪고 있음을 증명했습니다. 즉, 절대적인 남은 토큰 수에 묶인 이산적인 카운트에 의존하기 때문에, 훈련 분포 밖의 목표 길이가 요청될 때 (분포 밖 길이) 불안정성과 낮은 일반화 성능을 초래한다는 것입니다.

2. 방법론: 진행률 임베딩 (PRE)

이산 신호의 한계를 극복하기 위해 저자들은 삼각함수 기반의'조급함 (impatience)'신호와 연계된 연속적인 임베딩 전략인 **진행률 임베딩 (Progress Ratio Embeddings, PRE)**을 도입했습니다.

핵심 개념

남은 토큰 수에 대한 이산 인덱스를 사용하는 RPE 와 달리, PRE 는 $r \in [0, 1]$인 연속적인 진행률 비율을 정의합니다. 여기서 $r = t/l$이며 ($t$는 현재 단계, $l$은 목표 길이), 이 비율은 디코딩 과정의 진척도를 정량화합니다.

삼각함수 조급함 신호

저자들은 생성 진행을 메시지 끝을 기다리는 청자의'조급함 신호'에 비유하여 모델링했습니다. 디지털 신호 처리와 나이퀴스트 - 섀넌 정리에 착안하여, 비율이 1 에 가까워질수록 주파수가 증가하는 정현파 성분을 사용하여 진행도를 인코딩하는 임베딩 함수 $\xi(r)$를 설계했습니다.

임베딩은 다음과 같이 구성됩니다:
$$\xi(r)_j = \begin{cases} \sin(\omega_r \cdot x_j) & \text{if } j \text{ is even} \\ \cos(\omega_r \cdot x_j) & \text{if } j \text{ is odd} \end{cases}$$
여기서:

• $\omega_r = r \times M$은 진행률 비율 $r$에 선형적으로 비례하는 진동수 (pulsation) 입니다.
• $M$은 주파수 증가를 조절하는 하이퍼파라미터 (실제로는 $d_{model}/2$로 설정됨) 입니다.
• $x_j$는 차원 인덱스에서 유도된 독립 변수입니다.

이 설계는 임베딩 공간이 연속적이고 매끄럽도록 보장하여, 모델이 훈련 중에 본 비율과 추론 시 마주치는 비율 사이를 보간할 수 있게 합니다.

통합 및 훈련

• 아키텍처: PRE 는 토큰 및 위치 임베딩과 함께 표준 트랜스포머 디코더 입력에 주입됩니다: $X_t = E_t + P_t + \xi(r_t)$.
• 훈련 목적: 모델은 표준 교차 엔트로피 손실과 최대 우도 추정 (MLE) 을 사용하여 미세 조정됩니다.
• 정규화: 일반화를 강화하기 위해 훈련 중 진행률 비율 $r$에 가우시안 노이즈가 주입됩니다 ($r = \text{Clip}(r + \delta; 0, 1)$). 이를 통해 모델은 이산적인 목표가 아닌 연속적인 값 스펙트럼에 노출됩니다.
• 포화: 생성된 시퀀스가 목표 길이에 도달하거나 초과하면 비율은 1 에서 클립되어 조급함 신호가 포화되고 추가 생성이 억제됩니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. 새로운 전략: 진행도에 따라 디코딩을 조절하는 연속적인'조급함'신호 기반의 길이 제어 메커니즘인 진행률 임베딩 (PRE) 제안.
2. RPE 분석: 고전적인 인코더 - 디코더 아키텍처에서 역 위치 임베딩 (RPE) 방법을 재현 및 적응시켜, 그 강점 (훈련 분포 내에서는 효과적) 과 약점 (분포 밖 길이에는 일반화 실패) 에 대한 상세 분석 제공.
3. 실증적 검증: 요약 및 질문 생성 작업 전반에 걸쳐 검증된, 텍스트 품질을 저하시키지 않으면서 보이지 않는 목표 길이에도 길이 제어를 일반화하는 PRE 의 입증.

4. 실험 결과

저자들은 CNN/DailyMail, XSum(뉴스 요약), SQuAD(질문 생성) 의 세 가지 데이터셋에 대해 BART-L(4 억 파라미터) 인코더 - 디코더 모델에서 PRE 를 평가했습니다.

길이 제어 성능

• 평균 절대 오차 (MAE): PRE 는 베이스라인 (제어 없음) 과 RPE 방법 모두를 크게 능가합니다.
  • CNN/DailyMail에서 PRE 는 0.5 ± 0.3의 MAE 를 달성했으며, RPE 는 1.6, 베이스라인은 19.2 였습니다.
  • XSum에서 PRE 는 0.1 ± 0.2의 MAE 를 달성했으며, RPE 는 0.7 이었습니다.
  • SQuAD에서 PRE 는 0.0 ± 0.1의 MAE 를 달성했으며, RPE 는 0.8 이었습니다.
• 분포 밖 일반화: 목표 길이가 300 토큰을 초과할 때 RPE 성능이 현저히 저하되는 반면 (길이가 550-600 토큰인 경우 이상치 비율이 50% 이상으로 상승), PRE 는 견고한 제어를 유지합니다. 예를 들어, CNN/DailyMail 의 550-600 토큰 구간에서 RPE 는 50.1% 의 이상치 비율을 보인 반면, PRE 는 5.4% 에 불과했습니다.

텍스트 품질

• ROUGE 및 BERTScore: PRE 는 베이스라인 대비 텍스트 품질 지표를 유지하거나 약간 향상시킵니다.
  • CNN/DailyMail에서 PRE 는 ROUGE-1 45.3과 BERTScore 69.8을 달성하여 RPE(44.5, 69.4) 와 베이스라인 (44.2, 69.7) 을 능가했습니다.
  • SQuAD에서 PRE 는 18.6의 BLEU 점수를 달성하여 RPE(16.4) 와 베이스라인 (16.7) 을 능가했습니다.

5. 중요성 및 주장

본 논문은 PRE 가 신경 텍스트 생성에서 생성을 제어하기 위한 견고하고 길이에 불변인 메커니즘을 제공한다고 주장합니다. 그 주요 중요성은 다음과 같은 능력에 있습니다:

• 훈련을 넘어선 일반화: 훈련 길이의 이산 분포에 묶여 있는 RPE 와 달리, PRE 의 연속적인 표현은 임의의 보이지 않는 목표 길이를 효과적으로 처리할 수 있게 합니다.
• 품질 유지: 생성된 텍스트의 관련성, 정보성, 유창성을 희생하지 않고 정밀한 길이 제어를 달성합니다.
• 적용 가능성: 이 방법은 표준 인코더 - 디코더 아키텍처를 사용하여 추상적 요약 및 질문 생성 작업 모두에서 효과적으로 작동함이 입증되었습니다.

저자들은 PRE 가 생성 과정에 대한 세밀한 제어를 위한 새로운 방향을 열어, 점진적 요약을 가능하게 하고 설명 가능성을 향상시킬 수 있다고 결론지으며, 향후 연구에서는 이를 디코더 전용 모델과 사고의 사슬 (chain-of-thought) 추론에 적용하는 것을 탐구할 수 있다고 언급했습니다.