기술 요약: EndPrompt – 터미널 앵커링을 통한 효율적인 장문맥 확장

1. 문제 제기

대규모 언어 모델 (LLM) 의 컨텍스트 창을 사전 학습 한도보다 훨씬 긴 입력 (예: 8K 에서 64K 토큰으로) 을 처리할 수 있도록 확장하는 것은 장문서 QA, 코드 이해, 증거 검색과 같은 애플리케이션에 있어 중요한 과제입니다. 지배적인 접근 방식은 목표 길이에서의 시퀀스로 모델을 파인튜닝하는 것입니다. 그러나 어텐션 메커니즘의 확장성으로 인해 이 방법은 금지될 정도로 높은 2 차 메모리 및 계산 비용을 초래합니다. 또한, 고품질의 장형 코퍼스를 수집하는 것은 어렵습니다.

위치 보간 (position interpolation), 희소 어텐션, 또는 조각 기반 시뮬레이션과 같은 기존 대안들은 종종 한계를 도입합니다: 이들은 상당한 장시퀀스 학습을 요구하거나, 어텐션 구조를 변경하거나, 의미적 연속성을 손상시키는 방식으로 연속된 텍스트를 분할할 수 있습니다. 근본적인 열린 질문이 남아 있습니다: 신뢰할 수 있는 컨텍스트 확장을 위해 전체 길이 시퀀스에 대한 밀집 감독이 필요한가, 아니면 희소하고 구조화된 위치 신호만으로 충분한가?

2. 방법론: EndPrompt

저자들은 짧은 학습 시퀀스만을 사용하여 효과적인 컨텍스트 확장을 달성하는 EndPrompt를 제안합니다. 핵심 통찰은 장거리 상대적 위치 거리를 모델에 노출시키는 것이 전체 길이의 물리적 입력을 구성할 필요가 없다는 것입니다.

핵심 메커니즘

EndPrompt 는 두 개의 세그먼트로 구성된 학습 시퀀스를 구축합니다:

1. 무결한 짧은 컨텍스트: 원래의 짧은 학습 텍스트가 첫 번째 세그먼트로 보존됩니다.
2. 터미널 프롬프트: 간결하고 일반적인 프롬프트가 두 번째 세그먼트로 추가됩니다.

위치 인덱스 조작:
물리적 시퀀스 길이는 짧은 ($a + b$) 채로 유지되지만, 할당된 위치 인덱스는 목표 컨텍스트 창 ($L$) 을 spanning 하도록 조작됩니다:

• 짧은 컨텍스트는 로컬 인덱스 $[0, a-1]$을 유지합니다.
• 터미널 프롬프트는 목표 경계 근처의 인덱스 $[L-b, L-1]$을 할당받습니다.
• 위치 보간 (PI): 이 범위에 회전 위치 임베딩 (RoPE) 을 적응시키기 위해, 인덱스는 $s > 1$ 인자로 재조정되어 위치 인코딩의 각주파수를 효과적으로 감소시킵니다.

이론적 기반:
이 방법은 RoPE 와 PI 의 특성을 활용합니다:

• 부드러움 제약 (Smoothness Constraint): PI 는 위치 변화의 유효 주파수를 감소시켜 어텐션 함수에 대한 부드러움 편향을 유도합니다. 이는 관찰되지 않은 중간 거리에서의 불안정한 고주파 진동을 억제합니다.
• 공유 파라미터: 트랜스포머는 모든 거리에 대해 공유된 쿼리 및 키 프로젝션을 사용합니다. 로컬 (짧은 컨텍스트) 과 장거리 (터미널 프롬프트) 양극단에서 희소 감독을 제공함으로써, 이 방법은 공유 파라미터 공간을 제약하여 모델이 관찰되지 않은 중간 거리에 대해 독립적이고 불안정한 행동을 학습하는 것을 방지합니다.
• 의미적 무결성: 텍스트를 분할하는 조각 기반 방법과 달리, EndPrompt 는 원래 컨텍스트의 의미적 연속성을 보존하여 모델이 로컬 토큰 예측을 방해하지 않고 장거리 상호작용을 학습하도록 합니다.

학습 목적

모델은 표준 자기회귀 파인튜닝을 거칩니다. 손실 함수는 원래 컨텍스트와 터미널 프롬프트에 대한 예측을 모두 포함하며, 터미널 토큰에는 0 이 아닌 가중치가 할당됩니다. 이는 모델이 인위적으로 할당된 큰 거리를跨越하여 터미널 앵커에서 원래 컨텍스트로 어텐션하도록 강제하며, 암묵적 정규화제 역할을 합니다.

3. 주요 기여

1. EndPrompt (ET) 프레임워크: 짧은 학습 시퀀스, 위치 인덱스 조작, 그리고 추가된 엔드 프롬프트를 활용하여 장거리 위치 감독을 시뮬레이션하는 효율적인 컨텍스트 확장 방법.
2. 의미 보존: 원본 컨텍스트를 분할되지 않은 세그먼트로 유지하여 의미적 연속성을 유지하면서, 엔드 프롬프트를 안정적인 터미널 앵커로 사용하여 장거리 관계를 생성하는 설계.
3. 이론적 분석: 부드러운 위치 변화와 공유된 트랜스포머 파라미터가 어떻게 관찰되지 않은 중간 거리에 대한 일반화를 가능하게 하는지 RoPE 와 위치 보간에 기반한 설명.
4. 실증적 검증: 전체 길이 학습 없이 구조화된 희소 위치 감독이 신뢰할 수 있는 장문맥 일반화를 유도할 수 있음을 보여주는 포괄적인 평가.

4. 실험 결과

이 방법은 LLaMA 계열 모델 (LLaMA-2 7B 및 LLaMA-3 8B) 에서 평가되었으며, 컨텍스트 창을 8K 에서 64K 로 확장했습니다.

벤치마크:

• RULER (합성 벤치마크): EndPrompt 는 평균 점수 76.03을 기록하여 LCEG(72.24), LongLoRA(72.95), 그리고 전체 길이 파인튜닝 (69.23) 을 능가했습니다. 특히 복잡한 정보 검색 작업 (예: Multi-needle, Variable Tracking) 에서 뛰어난 견고성을 보여주었습니다.
• LongBench (하류 작업): 단일/다중 문서 QA, 요약, 퓨샷 학습, 코드 완성 등 다양한 작업에서 EndPrompt 는 평균 점수 38.30을 기록하여 전체 길이 파인튜닝 (35.63) 을 능가했습니다.
• 짧은 텍스트 능력: 지도 파인튜닝 후, 이 방법은 MMLU, GSM8K, HumanEval, HellaSwag 와 같은 표준 짧은 텍스트 벤치마크에서 강력한 성능을 유지하여 평균 53.56을 달성하고 다른 베이스라인들을 능가했습니다.

어블레이션 연구:

• 베이스 모델: 이 방법은 다양한 아키텍처 (Mistral-7B, LLaMA-2-7B) 에서 효과적이었습니다.
• 확장 길이: 32K, 96K, 심지어 128K 로 확장할 때 성능은 안정적으로 유지되었으며, 극단적인 길이에서만 약간의 저하가 있었습니다.
• 토큰 수량: 학습 데이터를 0.5B 에서 2.0B 토큰으로 확장하면 일관된 성능 향상을 보였습니다.
• 프롬프트 견고성: 이 방법은 엔드 프롬프트 문장의 특정 변화에 민감하지 않았으며, 특정 토큰 암기가 아닌 구조적 위치에 의존했습니다.
• 호환성: EndPrompt 를 위치 스킵 임베딩 (ET(PoSE)) 과 결합하면 두 벤치마크 모두에서 가장 높은 점수를 기록했습니다.

5. 중요성과 주장

이 논문은 신뢰할 수 있는 컨텍스트 창 확장을 위해 밀집된 장시퀀스 학습이 필요하다는 지배적인 가정을 EndPrompt 가 도전한다고 주장합니다. 짧은 시퀀스에 대한 희소 위치 감독으로부터 모델이 장문맥 능력을 획득할 수 있음을 입증함으로써, 이 연구는 전체 길이 파인튜닝에 대한 실용적이고 비용 효율적인 대안을 제시합니다.

저자들은 이 방법의 성공이 다음 요소들의 시너지에서 비롯된다고 강조합니다:

1. 텍스트 조각화를 피함으로써 의미적 무결성을 보존하는 것.
2. 위치 보간의 부드러움 편향을 활용하는 것.
3. 이중 규모 감독 (로컬 및 터미널) 을 통해 공유 파라미터를 제약하는 것.

이 논문은 신뢰할 수 있는 장문맥 적응이 정보 풍부한 위치 감독의 설계를 통해 유도될 수 있으며, 물리적 학습 시퀀스를 짧게 유지하면서도 장문맥 벤치마크에서 최첨단 성능을 달성할 수 있다고 결론 내립니다.