Beyond Exponential Decay: Rethinking Error Accumulation in Large Language Models

기술적 요약: 지수적 감쇠를 넘어

문제 제기
자기회귀 언어 모델링에서 지배적인 비관론적 관점은 정확도가 출력 길이에 따라 지수적으로 감쇠한다고 주장합니다. 이 논증은 각 토큰이 독립적인 오류 확률 $e$를 가진다면, 길이 $n$인 시퀀스가 정확할 확률은 $(1-e)^n$을 따르며 $n$이 커짐에 따라 0 에 수렴한다고 가정합니다. 이 모델은 긴 문맥 생성의 신뢰성에 대한 경직된 상한선을 시사합니다. 그러나 이러한 "독립적 오류" 가설은 모델이 긴 출력에서 일관성을 유지하고, 생성 중간에 자기 수정을 보이며, 어텐션 가중치가 문맥의 소수 부분집합에 집중된다는 실증적 관찰을 설명하지 못합니다.

방법론 및 이론적 틀
본 논문은 균일한 토큰당 오류를 가정하는 것을 거부하는 이중 오류율 모델을 제안합니다. 대신 토큰을 두 가지 명확한 범주로 분류합니다:

1. 키 토큰 ($k$): 장거리 의존성, 글로벌 일관성, 사실적 주장, 논리적 전환을 담고 있는 소수 부분집합 (실증적으로 5%~10% 로 추정). 이러한 토큰은 더 높은 오류율 ($e_{key}$) 을 가집니다.
2. 비키 토큰 ($n-k$): 지역적 구문, 빈번한 공현, 누적되는 문맥에 의해 지배되는 대부분의 토큰. 이들의 오류율 ($e_{non}$) 은 현저히 낮으며 문맥이 누적됨에 따라 0 에 수렴합니다.

이 모델은 올바른 시퀀스의 확률이 다음과 같이 근사된다고 가정합니다:
$$P(\text{correct}) \approx (1 - e_{key})^k \cdot (1 - e_{non})^{n-k}$$

중요하게도, 키 토큰의 수 $k$는 시퀀스 길이 $n$에 대해 준선형적으로 (로그적으로, 분수 거듭제곱으로, 또는 작업별 최대치 $k_{max}$에서 포화되어) 스케일링됩니다. 또한, 이 모델은 계층적 다양체 역학을 통합하여 임베딩이 저차원 의미 다양체로 조직화된다고 제안합니다. 사소한 오류 (비키) 는 종종 올바른 다양체 내에 머무르지만, 키 토큰의 오류만이 궤적을 다른 다양체로 점프시킵니다. 마지막으로, 이 틀은 앙상블 수렴을 고려하여 추론 오류는 종종 체계적이기보다 개체적 (샘플 간 변동) 이므로 다수결 방법이 정확도를 회복할 수 있음을 설명합니다.

주요 기여
본 논문은 세 가지 주요 기여를 합니다:

1. 정교화된 오류 모델: 키 토큰과 비키 토큰을 명시적으로 구분하고 신뢰성이 $k(n)$의 준선형 스케일링에 의존함을 모델링하는 이중 오류율 모델 (식 1) 을 도입합니다.
2. 실증적 증거의 종합: 모델의 구성 요소를 지지하기 위해 최근 연구의 세 가지 서로 다른 흐름을 통합합니다:
   • 어텐션 희소성: 약 9% 의 토큰만이 장거리 문맥을 필요로 한다는 증거 (Fang et al., 2024) 와 어텐션이 시퀀스의 극히 일부에 집중된다는 사실 (Liu et al., 2024).
   • 임베딩 기하학: "노이즈" 차원에서의 섭동이 의미 궤적을 변경하지 않는 계층적 저차원 다양체를 형성한다는 LLM 임베딩 발견 (Li and Sarwate, 2025; Robinson et al., 2025).
   • 앙상블 수렴: 올바른 추론 경로가 다양체에서 수렴하고 잘못된 경로는 발산하기 때문에 자기 일관성과 트리 검색 방법이 정확도를 향상시킨다는 데이터 (Wang et al., 2023).
3. 시스템 수준 결과의 재해석: 앵커 압축, 검색 증강 어텐션, 자기 일관성 등의 최근 엔지니어링 성공을 독립적인 승리로 해석하지 않고, 긴 문맥 신뢰성이 소수의 결정 지점에 달려 있다는 구조적 사실의 자연스러운 결과로 해석합니다.

결과 및 예측된 감쇠 체제
$k$와 $e_{non}$의 행동에 기반하여, 본 논문은 지수적 감쇠보다 훨씬 완만한 세 가지 감쇠 체제를 예측합니다:

• 로그 성장 ($k \sim \log n$): 다항식 감쇠 ($n^{-c}$) 를 초래합니다.
• 분수 거듭제곱 성장 ($k \sim \sqrt{n}$): 늘어난 지수적 감쇠를 초래합니다.
• 포화 ($k \to k_{max}$): 임계 수의 키 사실이 확정되면 $n$에 대한 신뢰성이 일정해집니다.

본 논문은 세 번째 체제가 왜 99% 문맥 축소에도 최소한의 정확도 손실로 시스템을 달성할 수 있는지 (Pang et al., 2024) 그리고 왜 128K 토큰 문맥이 소비자용 GPU 에서 가능하게 되는지 (Liu et al., 2024) 설명한다고 강조합니다.

의의 및 함의
본 논문은 독립적 오류 모델이 이질적인 토큰 집단을 평균화하고 오류 상관관계를 무시하기 때문에 근본적으로 결함이 있다고 주장합니다. 이 연구의 의의는 "균일한 토큰당 정확도"에서 "키 결정 지점의 식별 및 확보"로 초점을 이동하는 데 있습니다.

실질적으로, 이 틀은 다음을 시사합니다:

• 희소 어텐션: 밀집 어텐션은 불필요하며, 연산은 키 토큰의 희소 신호에 집중되어야 합니다.
• 표적 연산: 자원은 균일하게 분배되는 것이 아니라 "다양체 전환" (높은 불확실성 지점) 에 할당되어야 합니다.
• 전략적 앙상블: 다수결 투표는 오류가 개체적인 추론 작업에서는 효과적이지만, 오류가 체계적인 지식 검색에서는 그렇지 않습니다.
• 평가: 표준 퍼플렉시티는 하류 작업 성능의 나쁜 예측 변수입니다. 키 토큰에 국한된 지표 (예: LongPPL) 가 작업 성공과 훨씬 더 강하게 상관합니다.

한계
저자들은 이 틀이 첫 번째 원리에서 유도된 것이 아니라 기존 증거의 종합이라고 지적합니다. 매개변수 $k$, $e_{key}$, $e_{non}$은 아직 단일 벤치마크에서 공동 측정되지 않았습니다. 또한, 개체적 오류와 체계적 오류 간의 구별은 현재 정량적 사전 기준보다는 사후 관찰에 의존합니다.

결론
본 논문은 현대 LLM 이 긴 출력에서 일관성을 유지하는 이유가 엔지니어링이 지수적 감쇠 장벽을 극복했기 때문이 아니라, 그 장벽 자체가 문제의 오해였기 때문이라고 결론지었습니다. 신뢰성은 모든 토큰의 균일한 정확도가 아니라, 제한되거나 준선형적으로 성장하는 키 결정의 수에 달려 있습니다.