🤖 AI

When Entropy Is Not Enough: Reclaiming Lost Semantics in LLM Output Length Prediction

이 논문은 토큰 엔트로피와 어텐션 기반의 의미론적 중요도 점수를 결합하여 더 효율적인 길이 인식 스케줄링을 가능하게 하고 계산 오버헤드를 줄임으로써 LLM 출력 길이 예측을 개선하는 경량 프레임워크인 ESTP를 소개한다.

원저자: Feiyang Ren, Shengtao Wen, Lingbing Guo, Yu Tian, Yuanning Cui, Xiang Chen

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Feiyang Ren, Shengtao Wen, Lingbing Guo, Yu Tian, Yuanning Cui, Xiang Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 거대 언어 모델은 문장에서 다음 단어를 예측함으로써 질문에 답하고 문제를 해결하며 텍스트를 생성하는 강력한 엔진 역할을 합니다. 이러한 엔진을 컴퓨터 하드웨어에서 효율적으로 실행하기 위해, 엔지니어들은 종-처럼 여러 명의 승객을 실은 버스처럼 많은 요청을 하나로 묶곤 합니다. 그러나 하드웨어가 그룹 내의 모든 요청을 가장 긴 요청인 것처럼 취급해야 하기 때문에, 짧은 응답을 이에 맞추기 위해 빈 공간으로 패딩(padding)을 채우는 과정에서 지속적인 비효전성이 발생합니다. 이 낭비되는 공간은 모델이 복잡한 추론을 수행하거나 길고 상세한 답변을 생성하도록 요청받을 때 시스템 전체를 느리게 만듭니다. 이를 해결하기 위해 연구자들은 오랫동안 답변이 완전히 작성되기 전에 그 길이가 정확히 얼마가 될지를 예측하여, 시스템이 자원을 정밀하게 할당할 수 있는 방법을 찾아왔습니다. 한동안 이러한 예측을 위한 주요 방법은 모델의 불확실성, 즉 모델이 다음 단어에 대해 얼마나 확신이 없는지를 측정하는 '엔트로피'라는 개념에 의존해 왔습니다.

새로운 연구는 불확실성만이 이 과업을 위한 최선의 지침이라는 가설에 이의를 제기합니다. 연구진은 불확실성이 유용하기는 하지만, 그것이 의미의 결정적인 층위를 놓치고 있다는 사실을 발견했습니다. 텍스트를 생성하는 과정에서 모델은 방대한 양의 신호를 생성하는데, 어떤 신호는 혼란이나 망설임을 나타내는 반면, 다른 신호는 가장 중요한 사실, 숫자 또는 지침을 강조합니다. 불확실성에 크게 의존했던 기존 방식들은 종종 불확실한 전이 단어들을 가장 중요한 것으로 취급하는 반면, 정작 응답의 길이와 구조를 결정하는 견고하고 사실적인 토큰들은 의도치 않게 경시하는 경향이 있었습니다. 이는 마치 안개 낀 교차로에만 주의를 기울이고 명확한 표지판은 무시한 채 도시를 항해하려는 것과 같습니다. 그 결과, 핵심 콘텐츠를 놓치게 되어 예측이 자주 틀리게 됩니다.

이를 해결하기 위해 연구팀은 불확실성 측정치와 각 단어의 중요성을 직접적으로 결과를 결합한 ESTP라는 새로운 프레임워크를 도입했습니다. 이 새로운 방법은 단순히 모델이 얼마나 확신이 없는지를 묻는 대신, 모델이 특정 단어에 얼마나 많은 주의(attention)를 기울이고 있는지도 함께 묻습니다. 이러한 모델의 구조에서 '어텐션'은 현재 사고 과정을 주도하고 있는 단어가 무엇인지 보여주는 스포트라이트 역할을 합니다. 연구진은 핵심 개체, 특정 숫자, 핵심 지침과 같이 의미론적 무게가 큰 단어들이 모델이 매우 확신하고 있을 때조차 높은 어텐션을 받는다는 것을 발견했습니다. 이 어텐션 기반의 중요도와 전통적인 불확실성 신호를 결합함으로써, 새로운 시스템은 텍스트에 대한 균형 잡힌 시각을 만들어냅니다. 이 시스템은 답변의 길이를 정의하는 데 필요한 결정적인 정보를 가치 있게 여기는 동시에, 더 많은 상세 설명이 필요함을 알리는 불확실한 부분들도 인정하는 법을 배웁니다.

연구진은 여러 가지 거대 언어 모델을 사용하여 복잡한 수학적 추론 및 동적 샘플링 시나리오를 포함한 다양한 도전적인 과업에서 이 접근 방식을 테스트했습니다. 그 결과, 이 결합된 방법이 기존의 최선 기법들보다 출력 길이를 더 정확하게 예측한다는 것을 발견했습니다. 많은 경우, 특히 기존 방식들이 가장 어려움을 겪었던 복잡한 추론 과업에서 오류율이 크게 감소했습니다. 연구는 기존 시스템에 의해 과대평가되었던 토큰들의 상당 부분이 실제로는 가치가 낮은 채우기용 단어였던 반면, 과소평가되었던 토큰들 중 다수가 최종 길이를 결정하는 바로 그 사실들이었다는 것을 보여주었습니다. 이러한 불일치를 바로잡음으로써, 새로운 시스템은 컴퓨터 하드웨어에 훨씬 더 명확한 신호를 제공했습니다.

이 방법이 AI 요청을 관리하도록 설계된 전체 시스템에 통합되었을 때, 이러한 개선은 실질적인 현실 세계의 이점으로 이어졌습니다. 시스템은 작업을 더 효율적으로 스케줄링할 수 있었고, 이는 패딩으로 채워져야 했던 낭비되는 빈 공간을 줄이는 결과로 이어졌습니다. 이는 하드웨어가 요청을 처리하는 속도를 눈에 띄게 높이고 작업 완료 시간을 단축했습니다. 이 방법은 모델이 이미 생성하고 있는 내부 신호를 재사용했기 때문에 추가적인 메모리를 요구하거나 모델을 느리게 만들지 않고도 이러한 이득을 달Ach했습니다. 연구 결과는 AI 시스템이 진정으로 효율적이 되기 위해서는 단순한 불확실성 측면을 넘어, 그들이 처리하는 단어의 의미론적 중요성을 인식하는 법을 배워야 함을 시사합니다. 이러한 전환은 기술이 복잡하고 긴 형태의 추론을 이전에는 도달할 수 없었던 수준의 정밀도로 처리할 수 있게 하여, 더 빠르고 신뢰할 수 있는 AI 서비스를 위한 길을 열어줍니다.

기술 요약: 엔트로피만으로는 부족할 때: LLM 출력 길이 예측에서 손실된 의미론적 정보의 회복

문제 정의

효율적인 대규모 언어 모델(LLM) 서빙은 배치 내의 짧은 시퀀스가 가장 긴 시퀀스에 맞춰 패딩(padding)되어 계산 자원을 낭비하고 처리량을 저하시키는 "배럴 효과(barrel effect)"에 의해 빈번하게 병목 현상을 겪습니다. 길이를 인지하는 스케줄링(length-aware scheduling)이 사전에 출력 길이를 예측함으로써 이를 완화할 수 있지만, 기존의 예측 방법들은 상당한 한계에 직면해 있습니다.

EGTP(Entropy-Guided Token Pooling)와 같은 현재의 최첨단 방식들은 주로 토큰 단위의 엔트로피에 의존하여 중요도를 결정합니다. 그러나 본 논문은 이러한 방식이 심각한 사각지대를 가지고 있음을 식별했습니다. 즉, 엔트로피는 생성의 불확실성을 측정할 뿐 의미론적 중요성을 측정하지 못한다는 것입니다. 결과적으로, 높은 의미적 가치(예: 핵심 개체, 제약 조건, 지시 사항)를 가진 토큰들은 낮은 엔트로피(높은 확신도)를 나타내어 과소 가중치 처리되는 경st입니다. 반대로, 전이적 단어나 채움말(filler words)과 같이 엔트로피가 높은 토큰들은 과도하게 증폭됩니다. 이러한 불일치는 중요한 의미론적 신호의 손실을 초래하여, 특히 복잡한 추론 및 동적인 강화 학습(RL) 시나리오에서 길이 예측의 신뢰성을 떨어뜨립니다.

방법론: ESTP 프레임워크

저자들은 상당한 계산 오버헤드를 도입하지 않으면서 손실된 의미론을 회복하기 위해 설계된 경량 프레임워크인 **ESTP(Entropy-and-Semantic Token Pooling)**를 제안합니다. 이 방법은 세 가지 주요 단계로 작동합니다.

어텐션 기반 의미론적 중요도 모델링:
ESTP는 엔트로피에만 의존하는 대신, LLM의 최종 레이어에서 다른 모든 유효한 토큰으로부터 받은 어텐션 값들을 평균하여 각 토큰 $j$ 의 의미론적 가중치( $S_j$ )를 계산합니다. 이는 높은 어텐션을 받는 토큰이 종종 의미론적 중요성과 상관관계가 있다는 관찰에 기초합니다.
$S_j = \frac{1}{N} \sum_{i=1}^{N} A_{ij}$
여기서 $A_{ij}$ 는 토큰 $i$ 에서 토큰 $j$ 로 향하는 어텐션 가중치입니다.
의미론-엔트로피 결합 가중치 융합:
프레임워크는 의미론 점수( $S_i$ )와 토큰의 엔트로피( $H_i$ )를 결합하여 통합된 중요도 점수( $T_i$ )를 생성합니다.
$T_i = \lambda_1 S_i + \lambda_2 H_i$
이 점수들은 소프트맥스(softmax) 함수를 통해 정규화되어 최종 풀링 가중치( $e_i$ )를 생성하며, 이때 분포의 집중도를 조절하기 위해 온도 계수 $\alpha$ 가 도입됩니다.
$e_i = \frac{\exp(T_i)}{\sum_{j=1}^{n}\exp(T_j)}$
이러한 융합을 통해 모델은 불확실성 신호와 의미론적 콘텐츠 사이의 균형을 맞출 수 있습니다.
소프트 라벨 분포 회귀:
출력 길이 분포의 헤비 테일(heavy-tailed) 특성을 처리하기 위해, ESTP는 길이 예측을 분포 문제로 취급하는 예측 헤드를 채택합니다. 목표 길이는 빈(bin)으로 이산화되며, 소프트 확률 분포가 생성됩니다. 모델은 분류 안정성을 위한 교차 엔트로피(Cross-Entropy)와 정밀한 회귀를 위한 평균 제곱 오차(Mean Squared Error)를 결합한 손실 함수를 사용하여 최적화되며, 이를 통해 분포의 형태와 정확한 기대 길이를 모두 학습할 수 있습니다.

결정적으로, ESTP는 표준 LLM 프리필(prefill) 단계에서 생성된 은닉 상태(hidden states)와 어텐션 가중치를 재사용하므로, VRAM 오버헤드와 추론 지연 시간이 매우 적습니다.

주요 기여

불일치의 실증적 검증: 본 논문은 엔트로피와 의미론적 중요성이 종종 불일치한다는 정량적 증거를 제공합니다. 진단 연구에 따르면, 상위 40% 고엔트로피 그룹 내 토큰의 20% 이상이 낮은 의미론적 중요성을 가졌으며, 반대로 저엔트로피 토큰 중 상당수가 높은 의미론적 가치를 지니고 있음이 밝혀졌습니다.
ESTP 프레임워크: 엔트로피와 어텐션 기반 의미론 점수를 융합하는 새로운 경량 풀링 메커즘입니다. 이는 엔트로피 전용 방식이 놓치는 의미론적 신호를 회복하며, 내부 LLM 활성화 값을 재사용함으로써 추가 비용을 최소화합니다.
포괄적인 평가: ForeLen 벤치마크를 통해 네 가지 LLM 백본(Qwen2.5-3B/7B, Llama3.2-1B/3B)과 세 가지 도전적인 시나리오(Long-Sequence, Complex Reasoning, Dynamic RL Sampling)에 대해 광범위한 실험을 수행했습니다.

실험 결과

예측 정확도: ForeLen 벤치마크에서 ESTP는 EGTP, TRAIL 및 외부 보조 모델(SSJF-Reg/MC)을 포함한 베이스라인 모델들을 일관되게 능가합니다. ESTP는 모든 모델에서 가장 낮은 평균 절대 오차(MAE)를 달ol하며, EGTP 대비 평균 MAE를 9점 이상 낮추었으며, RL 시나리오에서는 20점 이상의 개선을 보였습니다.
강건성: ESTP는 더 낮은 평균 제곱근 오차(RMSE)를 보여주며, 이는 큰 예측 편차를 더 잘 처리함을 나타냅니다.
시스템 효율성: 엔드 투 엔드 시스템 테스트(vLLM 사용)에서 길이 인지 스케줄러와 통합되었을 때, ESTP는 처리량을 크게 향상시키고 패딩 비율을 줄입니다. 예를 들어, 추론(Reasoning) 시나리오에서 패딩 비율이 1.18(EGTP)에서 0.37(ESTP)로 감소하였고, 평균 작업 완료 시간(JCT)도 단축되었습니다.
절제 연구(Ablation Studies): 실험을 통해 엔트로피와 의미론적 특징이 모두 필수적임을 확인했습니다. 둘 중 하나만 사용할 경우 결합된 접근 방식보다 성능이 떨어지는 것으로 나타났습니다.

의의 및 한계점

본 논문은 ESTP를 길이 인지 LLM 서빙 시스템을 위한 실용적이고 효과적인 구성 요소로 포지셔닝합니다. 엔트로피 전용 방식의 의미론적 사각지대를 해결함으로써, 더 정확한 자원 할당과 스케줄링을 가능하게 하여 하드웨어 활용도와 처리량을 직접적으로 개선합니다.

저자들은 다음과 같은 특정 한계점을 인정합니다:

의미론적 중요성에 대한 어텐션 기반 프록시는 인과 관계가 아닌 상관 관계에 기반합니다.
이 방법은 내부 활성화 값에 의존하므로, 이러한 상태에 접근할 수 없는 폐쇄형(closed-source) 모델에는 즉각적인 적용이 제한됩니다.
향후 연구로는 인과적 귀속(causal attribution), 블랙박스 적응, 그리고 더 넓은 시나리오 강건성을 위한 다중 특징 융합 탐구가 제안되었습니다.