💬 NLP

AsymSpec: Context-Asymmetric Speculative Decoding for Agentic LLMs

AsymSpec은 경량화된 드래프터(drafter)가 전체 입력 컨텍스트에 접근할 수 있도록 하는 동시에 대규모 검증기(verifier)는 압축된 뷰(view)를 통해 작동하게 함으로써, 에이전틱 LLM을 위한 추론 속도와 정확도의 균형을 효과적으로 맞추고 상당한 연산 비용 절감만으로도 거의 전체 컨텍스트 성능을 달성하는 비대칭적 투기적 디코딩(asymmetric speculative decoding) 프레임워크입니다.

원저자: Sheng Liang, Yongyue Zhang, Nathanael Brian, Hang Lv, Hao Wang, Chen Zhang, Yong Liu

게시일 2026-08-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sheng Liang, Yongyue Zhang, Nathanael Brian, Hang Lv, Hao Wang, Chen Zhang, Yong Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대의 인공지능 시스템은 문서를 검색하고, 소프트웨어 도구를 사용하며, 복잡한 문제를 해결하기 위해 다회차 대화를 수행할 수 있는 자율적인 에이전트로서 점점 더 많이 기능하고 있습니다. 이러한 에이전트들이 작업하는 동안, 이들은 검색 결과, 도구 출력값, 과거 메시지 등 점점 늘어나는 정보의 이력을 축적합니다. 이러한 시스템을 실제 환경에서 사용할 수 있을 만큼 빠르게 만들기 위해, 엔지니어들은 종 종 긴 문서를 짧은 문장으로 요약하거나 상세한 이미지를 제거하여 이력을 압축하곤 합니다. 그러나 이러한 압축에는 가혹한 대가가 따릅니다. AI는 정확한 추론에 필요한 세밀한 디테일을 잃게 되며, 이는 속도와 지능 사이의 어려운 선택을 강요합니다. 작고 빠른 모델이 크고 느린 모델이 할 말을 추측하는 방식인 '투기적 디코딩(speculative decoding)'이라는 표준 기술은 AI의 속도를 높이는 주요 솔루션이 되어 왔습니다. 하지만 이 전통적인 방식은 에이전트 환경에서 한계에 부딪히는데, 그 이유는 작은 추측 모델과 큰 검증 모델이 반드시 동일한 정보를 보아야 하기 때문입니다. 만약 시간을 아끼기 위해 정보가 압축된다면, 추측 모델은 검증 모델과 마찬가지로 중요한 세부 정보를 잃게 되며, 결과적으로 속도 향상이 손실된 정확도를 회복할 수 없게 됩니다.

화웨이 테크놀로지스(Huawei Technologies)와 중국과학기술대학교(University of Science and Technology of China)의 연구진은 두 모델이 동일한 이야기의 서로 다른 버전을 볼 수 있게 함으로써 이 교착 상태를 깨뜨리는 ASYMSPEC이라는 새로운 접근 방식을 제안했습니다. 이 시스템에서 최종 결정을 내리는 강력하고 거대한 모델은 낮은 지연 시간을 유지하기 위해 압축된 빠른 버전의 입력값만을 처리합니다. 반면, 훨씬 작고 가벼운 모델은 배경에서 전체의 압축되지 않은 이력을 읽습니다. 이 작은 모델은 가이드 역할을 하며, 압축 과정에서 정확히 어떤 정보가 손실되었는지 식별하고, 대형 모델의 예측에 누락된 세부 사항을 포함하도록 미묘하게 유도합니다. 연구진은 이러한 비대칭적 설정이 전체 컨텍스트 분석의 정확도를 거의 그대로 유지하면서도 압축된 버전의 속도로 작동할 수 있음을 발견했습니다. 복잡한 다단계 질문과 도구 사용을 포함한 네 가지 서로 다른 에이전트 역량에 대한 테스트에서, 이 방법은 전체 컨텍스트 분석의 약 90%에 달하는 정확도를 회복하면서도 계산 비용은 20~30%만 사용했습니다.

핵심 혁신은 두 모델이 소통하는 방식에 있습니다. 단순히 작은 모델이 추측하고 큰 모델이 동의하기를 바라는 대신, 이 시스템은 전체 텍스트에 대한 작은 모델의 반응과 압축된 텍스트에 대한 작은 모델의 반응을 비교합니다. 이 두 반응 사이의 차이는 압축이 무엇을 제거했는지를 정확히 드러냅니다. 시스템은 이 구체적인 신호를 사용하여 대형 모델의 출력을 조정하며, 이를 통해 대형 모델이 무거운 전체 길이의 데이터를 직접 처리할 필요 없이도 누락된 부분을 효과적으로 채워 넣습니다. 스마트한 게이트키퍼 메커니즘은 이 가이드가 꼭 필요할 때만 적용되도록 보장하여, 압축이 경미할 때 시스템이 혼란을 겪는 것을 방지합니다. 이 방식은 입력값이 다양한 유형의 미디어를 포함하는 경우에도 작동합니다. 예를 들어, 작은 모델은 원본 이미지를 보고 대형 모델은 텍스트 설명만을 볼 때, 작은 모델은 대형 모델이 볼 수 없는 시각적 세부 사항을 이해하도록 유도할 수 있습니다.

연구진은 여러 문서를 검색해야 하거나 다회차 지시사항을 따라야 하고 소프트웨어 도구를 사용하는 등의 실제 세계 에이전트 작업에서 이 방법을 테스트했습니다. 그들은 모든 것을 느리게 처리하거나 모든 것을 빠르게 압축하는 기존 방식들과 이 시스템을 비교했습니다. 결과에 따르면, 전통적인 투기적 디코딩은 압축으로 인해 손실된 정확도를 회복할 수 없었으며, 단지 손실이 발생하는 과정을 빠르게 만들 뿐이었습니다. 반면, 새로운 비대칭 방식은 격차를 성공적으로 메워, 느린 전체 컨텍스트의 이상적인 성능에 근접한 성능을 내면서도 훨씬 적은 시간으로 구현해 냈습니다. 긴 문서가 포함된 특정 벤치마크에서, 이 시스템은 압축되지 않은 베이스라인 대비 1.3배에서 1.7배의 속도 향상을 달성하는 동시에, 필요한 컴퓨팅 파워를 약 5분의 1 수준으로 줄였습니다. 이 연구는 이 기술이 압축이 심할 때 특히 가치가 있음을 시사하는데, 이는 초기 단계에서 얼마나 많은 디테일이 제거되었는지에 따라 정보 회복 능력이 직접적으로 확장되기 때문입니다.

이 연구는 AI 에이전트의 속도와 정확도 사이의 트레이드오프가 반드시 경직될 필요는 없다는 것을 보여줍니다. 빠른 모델이 보는 것과 느린 모델이 보는 것을 분리하고, 가벼운 가이드를 통해 핵심 통찰력을 전달함으로써, 효율성과 고품질의 추론을 모두 가질 수 있습니다. 연구 결과는 컨텍스트가 무겁고 디테일이 쉽게 손실되는 작업에서, 전체 그림을 읽는 작은 모델이 요약본을 가지고 작업하는 대형 모델을 효과적으로 조종할 수 있음을 나타냅니다. 이 접근 방식은 지연 시간과 비용이 중요한 제약 조건인 생산 환경에서, 복잡한 의사결정에 필요한 신뢰성을 희생하지 않으면서도 정교한 AI 에이전트를 배포할 수 있는 실질적인 경로를 제공합니다.

기술 요약: AsymSpec: 에이전틱 LLM을 위한 문맥 비대칭 추측 디코딩 (Context-Asymmetric Speculative Decoding)

1. 문제 정의

검색(retrieval), 도구 사용(tool use), 다회차 상호작용(multi-turn interactions)을 포함하는 현대의 에이전틱 LLM 파이프라인은 문맥이 누적됨에 따라 추론 비용이 급격히 상승하는 문제에 직면해 있습니다. 지연 시간(latency)을 관리하기 위해, 실제 운영 시스템에서는 입력 데이터를 압축(예: 검색된 구절을 요약하거나, 전체 문서 대신 API 시그니처를 사용하거나, 원본 이미지를 캡션으로 대체하는 방식)하여 사용하곤 합니다. 그러나 이러한 압축은 작업 정확도에 필수적인 미세한 세부 정보를 체계적으로 누락시키며, 이로 인해 다음과 같은 엄격한 트레이드오프가 발생합니다: 즉, 전체 문맥 생성을 통한 높은 정확도를 선택할 것인지, 아니면 심각한 정확도 저하를 감수하며 낮은 지연 시간을 선택할 것인지 결정해야 합니다.

기존의 추측 디코딩(Speculative Decoding, SD) 방식은 경량 드래프터(drafter)가 토큰을 제안하고 대형 검증기(verifier)가 이를 검증함으로써 가속화를 구현하지만, 이 문제를 해결하지 못합니다. 표준 SD는 **대칭적 문맥 제약(symmetric context constraint)**을 강제합니다. 즉, 드래프터와 검증기가 동일한 입력 토큰을 처리해야 합니다. 결과적으로, 지연 시간을 줄이기 위해 검증기를 압축하면 드래프터 또한 압축된 뷰(view)를 바탕으로 작동해야 하므로, 압축으로 인한 정확도 손실을 그대로 물려받게 됩니다. SD는 압축된 모델의 속도를 높일 수는 있지만, 압축 과정에서 버려진 정보를 복구할 수는 없습니다.

2. 방법론: AsymSpec

저자들은 문맥 접근의 대칭성을 깨뜨리는 프레임워크인 ASYMSPEC을 제안합니다. 핵심 통찰은 구조적 계산 비대칭성(structural compute asymmetry)에 있습니다. 즉, 단계별 지연 시간은 대형 검증기에 의해 지배되는 반면, 경량 드래프터가 추가하는 오버헤드는 무시할 수 있을 정도로 작다는 점입니다. ASYMSPEC은 이를 활용하기 위해 문맥 접근을 분리합니다:

검증기(Verifier): 낮은 지연 시간을 유지하기 위해 엄격하게 **압축된 뷰( $x_{comp}$ )**를 기반으로 작동합니다.
드래프터(Drafter): 압축으로 인해 누락된 정보를 재구성하기 위해 **전체 입력( $x_{full}$ )**을 읽습니다.

이 프레임워크는 두 가지 결합된 메커니즘을 통해 전체 문맥 추론 충실도(fidelity)를 복구합니다:

2.1 대비적 $\delta$ -퓨전 (Contrastive $\delta$ -Fusion)

검증기가 $x_{full}$ 을 직접 참조하지 않고도 전체 문맥을 가진 드래프터를 통해 압축된 검증기를 유도하기 위해, ASYMSPEC은 다음과 같은 대비 메커니즘을 사용합니다:

드래프터( $S$ )는 두 번의 순전파(forward pass)를 수행합니다: 하나는 $x_{full}$ 에 대한 것(로짓 $a$ 생성), 다른 하나는 $x_{comp}$ 에 대한 것(로짓 $b$ 생성).
문맥 이득(context-gain) 신호는 압축된 로짓을 전체 문맥 로짓에서 빼냄으로써 격리됩니다: $\delta = a - b$ .
이 뺄셈 연산은 드래프터의 문맥 독립적인 선호도를 상쇄하여, 압축되지 않은 입력이 제공하는 특정 정보 이득만을 분리해냅니다.
추출된 신호 $\delta$ 는 가중 합산 방식을 통해 검증기의 로짓( $t$ )에 퓨전됩니다: $t' = t + \beta \delta$ (여기서 $\beta$ 는 유도 강도를 조절함).

2.2 문맥 발산 수용 (Context-Divergence Acceptance, CDA) 게이트

표준 SD는 고정된 수용 임계값을 사용합니다. 그러나 전체 뷰와 압축된 뷰가 크게 다를 경우, 고정된 임계값은 중요한 복구 정보를 담고 있는 드래프트(draft)를 과도하게 거부할 수 있습니다. ASYMSPEC은 매개변수가 필요 없는 문맥 발산 수용(CDA) 게이트를 도입합니다:

유효 임계값 $\gamma_{eff}$ 는 전체 문맥과 압축된 문맥 사이의 발산 정도에 비례하여 완화됩니다.
발산( $D_i$ )은 $x_{full}$ 과 $x_{comp}$ 에 대한 드래프터의 분포 간 젠슨-샤논 발산(Jensen-Shannon Divergence, JSD)을 사용하여 측정됩니다.
임계값은 $\gamma_{eff}(i) = \gamma \cdot \exp(-D_i)$ 로 조절됩니다.
이를 통해 문맥으로 인한 발산이 높은 위치(압축된 검증기가 유용한 전체 문맥 드래프트를 과소 평가할 가능성이 높은 곳)에서는 드래프트를 더 쉽게 수용하면서도 안정성을 유지합니다.

2.3 교차 모달 확장 (Cross-Modal Extension)

이 프레임워크는 교차 모달 설정으로 자연스럽게 확장됩니다. 시각-언어 드래프터는 원본 이미지( $x_{full}$ )를 처리할 수 있는 반면, 텍스트 전용 검증기는 캡션( $x_{comp}$ )을 기반으로 작동할 수 있습니다. 출력 토큰 어휘집(vocabulary)이 공유되므로, $\delta$ 신호와 수용 로직이 명확하게 정의되어 텍스트 검증기가 직접 소비할 수 없는 시각적 정보에 의해 유도될 수 있습니다.

3. 주요 기여

비대칭적 추측 디코딩 프레임워크: ASYMSPEC은 대칭적 SD 방식으로는 도달할 수 없는 구성인, '전체 문맥 드래프터를 활용하여 근사치 상한(near-ceiling)의 정확도를 달리는 압축된 검증기'라는 운용 지점을 제시합니다.
이중 메커니즘: 이를 위해 (1) 문맥 이득을 격리하기 위해 용량 편향을 상쇄하는 동일 모델 기반의 교차 문맥 $\delta$ -퓨전과 (2) 데이터셋별 튜닝 없이도 조절 가능한 매개변수 프리 CDA 게이트를 구현했습니다.
교차 모달 능력: 본 프레임워크는 시각-언어 드래프터를 통해 텍스트 전용 검증기가 시각적 추론을 수행할 수 있게 함으로써, 검증기 측의 멀티모달 인프라 업그레이드 없이도 시각적 추론 작업을 가능하게 합니다.

4. 실험 결과

네 가지 에이전틱 능력(장문맥 다단계 QA, 다회차 지시 이행, 도구 사용, 멀티모달 추론)과 두 가지 엔드 투 엔드 벤치마크(GAIA, SimpleQA)를 통해 평가한 결과는 다음과 같습니다:

정확도 복구: ASYMSPEC은 평균적으로 전체 문맥 정확도의 약 **90%**를 복구합니다. 예를 들어, LongBench의 multi-hop 서브셋에서 압축된 "Floor"와 전체 문맥 "Ceiling" 사이의 격차를 59~94%까지 좁혔습니다.
효율성: 이 방법은 전체 문맥 생성 대비 1.3~1.7배의 처리량(throughput) 향상을 제공하면서도, 독립적인 텍스트 능력 측면에서 **0.2~0.3배의 연산 비용(FLOPs)**만 사용합니다.
압축 민감도: 정확도 이득은 압축의 심각도에 따라 단조 증가합니다. 손실이 거의 없는 압축(예: MultiChallenge)에서는 ASYMSPEC의 개선 효과가 미미했는데, 이는 이 메커니즘이 버려진 신호를 복구할 때만 활성화됨을 확인시켜 줍니다.
교차 모달 성능: MathVista에서 ASYMSPEC은 대칭적 SD보다 10.1포인트 높은 성능을 보였으며, 텍스트 전용 검증기가 실패할 수 있는 시각적 질의응답 및 도표 질의응답 작업에서 상당한 정확도를 복구했습니다.
강건성: 이 방법은 하이퍼파라미터( $\beta, \gamma$ ) 및 압축 유형(요약, 절단, 토큰 프루닝)에 대해 강건합니다. 신뢰할 수 있는 문맥 이득 신호를 추출하기 위해서는 최소 1.7B 파라미터 이상의 드래프터 용량이 필요합니다.

5. 의의 및 주장

본 논문은 ASYMSPEC이 에이전틱 LLM의 효율성 운용 지점을 근본적으로 변화시킨다고 주장합니다. 문맥의 대칭적 제약을 깨뜨림으로써, 압축된 추론의 낮은 지연 시간을 유지하면서도 전체 문맥 생성의 추론 충실도를 복구할 수 있게 합니다.

저자들은 이 접근 방식이 문맥 길이가 오버헤드의 주된 원인인 실제 운영 에이전트 파이프라인에서 특히 가치가 있다고 강조합니다. 이 방법은 비대칭적 유도가 필요한 시점에 대한 명확한 기준을 제공합니다: 즉, 압축이 중요한 추론 신호를 누락시킬 때 ASYMSPEC이 필요합니다. 결론적으로 ASYMSPEC은 검증기의 기본 아키텍처를 변경하거나 검증 단계에서 독점적인 전체 문맥 데이터에 접근할 필요 없이, 정확도와 오버헤드 사이의 트레이드오프에 대한 실질적인 해결책을 제공합니다.