기술 요약: 효율적인 다단계 LLM 상호작용을 위한 동적 혼합 정밀도 라우팅

문제 제기

대형 언어 모델 (LLM) 은 도구 사용 및 환경 상호작용이 필요한 에이전트 환경과 같은 장기 계획 의사결정 과업에서 강력한 능력을 입증해 왔습니다. 그러나 이러한 복잡하고 다단계인 과업을 수행하기 위해 고정밀 LLM 을 배포하는 것은 과도한 추론 비용을 초래합니다. 양자화는 효율성을 위한 유망한 대안이지만, 최근 연구에 따르면 에이전트의 실행 전반에 걸쳐 저정밀도 양자화를 단순하게 적용하면 실제 세계의 에이전트 과업에서 성능이 크게 저하된다고 합니다. 이러한 저하는 균일하지 않습니다. 양자화된 모델은 표준 추론 단계에서는 적절하게 작동하지만 정밀한 배치나 복잡한 도구 선택과 같은 특정 "중요 단계"에서 실패하여 되돌릴 수 없는 궤적 수준의 실패를 초래합니다. 기존 라우팅 방법들은 일반적으로 정적인 단일 턴 쿼리를 위해 설계되었거나 거시적인 질문 수준에서 작동하므로, 장기 계획 에이전트 상호작용에 필요한 세밀한 단계 수준의 의사결정에는 적합하지 않습니다.

방법론: 동적 혼합 정밀도 라우팅 (DMR)

저자들은 에이전트 궤적의 각 의사결정 단계에서 고정밀 (예: BF16) 과 저정밀도 (예: Int4) LLM 사이를 적응적으로 선택하는 경량 프레임워크인 **동적 혼합 정밀도 라우팅 (DMR)**을 제안합니다. 핵심 통찰력은 상호작용 단계들이 양자화에 대해 다양한 민감도를 보인다는 점이며, 라우터를 통해 고정밀도가 필요한 중요 단계를 식별하고 비중요 단계는 더 저렴한 저정밀도 추론을 활용하도록 할 수 있다는 것입니다.

1. 라우터 아키텍처

DMR 은 행동 생성과 분리된 경량 트랜스포머 라우터를 사용하여 궤적 수준의 입력 (작업 설명, 행동/관측 이력) 을 받아 현재 단계에 대한 정밀도 선택 ($r_t \in \{1, \dots, K\}$) 을 출력합니다. 라우터는 매개변수 $\theta$로 정의되며, 라우팅되는 LLM 들보다 훨씬 작습니다 (매개변수의 약 2~3%).

2. 2 단계 학습 파이프라인

라우터는 2 단계 프로세스를 통해 학습됩니다:

• 1 단계: KL 발산 기반 지도 학습 (KL-ST)

  • 동기: 저정밀도 모델은 일반적으로 고정밀도 모델의 동작과 일치하지만, 중요 단계에서 큰 편차를 보입니다.
  • 과정: 저자들은 고정밀도 롤아웃을 사용하여 궤적을 수집합니다. 각 단계에서 저정밀도 모델과 고정밀도 참조 모델의 행동 분포 간의 Kullback-Leibler (KL) 발산을 계산합니다.
  • 레이블링: KL 분포는 이모달 (밀집된 저발산 영역 대 희소한 고타발산 꼬리) 로 관찰됩니다. 임계값 $\tau$를 적용하여 연속적인 KL 값을 이진 레이블로 변환합니다 ($y_t=1$은 고정밀도 필요, 그렇지 않으면 0).
  • 학습: 라우터는 이러한 레이블을 예측하기 위해 클래스 가중 교차 엔트로피를 사용하여 미세 조정되며, 이는 워밍업 역할을 합니다.
  • 보정: 학습 (고정밀도 이력) 과 배포 (혼합 정밀도 이력) 간의 분포 변화를 해결하기 위해, 특정 고정밀도 예산 제약 ($\rho$) 을 충족시키기 위해 홀드아웃 보정 풀에서 분위수 기반 임계값을 계산합니다.

• 2 단계: 그룹 상대 정책 최적화 (GRPO)

  • 동기: KL-ST 는 국소적 단계 민감도를 최적화하지만, 궁극적인 목표는 지연 예산 하에서의 궤적 수준 과업 성공입니다.
  • 과정: KL-ST 라우터에서 시작하여 정책을 GRPO 를 사용하여 정제합니다. 이 방법은 궤적 그룹을 샘플링하고 과업 성공과 실행 비용을 균형 있게 조정하는 보상 함수를 최적화합니다.
  • 보상 함수: $R(\tau) = \mathbb{I}[\text{성공}] - \lambda \cdot C(\tau)$, 여기서 $C(\tau)$는 고정밀도/저정밀도 모델이 생성한 토큰 수와 라우터 오버헤드를 기반으로 계산된 총 실행 시간입니다. GRPO 는 별도의 가치 함수 학습을 필요로 하지 않으므로 희소하고 장기적인 보상에 적합합니다.

주요 기여

1. 동적 혼합 정밀도 프레임워크: 정적 양자화와 동적 에이전트 요구 사항 간의 불일치를 해결하면서 장기 계획 에이전트 과업의 추론 비용을 크게 줄이고 과업 성공률을 유지하는 새로운 접근법.
2. 경량 라우터: 라우팅된 LLM 의 매개변수 중 약 2~3% 만을 사용하는 라우터 도입으로, 정밀도 중요 단계를 식별하고 효과적인 라우팅 정책을 학습하기에 충분함.
3. RL 기반 최적화: GRPO 를 사용하여 과업 성능과 추론 비용을 공동으로 최적화하여, 정적 지도 학습을 넘어 정확도와 지연 시간의 파레토 프론티어를 균형 있게 조정하는 정책을 학습함.

실험 결과

이 프레임워크는 Qwen3 모델 (1.7B 및 4B) 과 AWQ 및 GPTQ 양자화를 사용하여 두 가지 텍스트 기반 에이전트 벤치마크인 WebShop(온라인 쇼핑) 과 ALFWorld(구체화된 가정용 과업) 에서 평가되었습니다.

• 정확도 - 비용 트레이드오프: DMR 은 "항상 양자화된" 베이스라인보다 일관되게 우수한 성능을 보입니다. 많은 구성 (예: ALFWorld 의 4B AWQ) 에서 DMR 은 고정밀도 (BF16) 성공률을 맞추거나 초과하면서도 훨씬 적은 시간이 소요됩니다.
• 저하로부터의 회복: 항상 양자화된 베이스라인이 성능이 낮은 시나리오 (예: WebShop 의 1.7B GPTQ) 에서 DMR 은 양자화 모델과 고정밀도 모델 간의 성능 격차의 최대 93% 를 회복합니다.
• 예산 제어: 고정밀도 예산 매개변수 ($K$) 가 트레이드오프를 효과적으로 제어합니다. 낮은 $K$ 값은 지연 시간 감소를 우선시하고, 높은 $K$ 값은 더 많은 정확도를 회복합니다.
• 어블레이션 연구:
  • RL 정제: GRPO 정제는 복잡한 설정에서 특히 단일 지도 학습 KL-ST 라우터에 비해 일반적으로 최상의 작동 지점을 제공합니다.
  • 라우터 깊이: 라우터 용량은 병목 현상이 아닙니다. 8 층 라우터가 거의 최적인 것으로 발견되었으며, 더 깊거나 얕은 라우터는 성능에 미미하거나 부정적인 영향을 미쳤습니다.
  • 임계값 민감도: KL 임계값 $\tau$의 선택은 KL 분포의 "희소 영역" 내에서 견고하지만, 임계값이 유사한 값의 밀집 영역을 관통할 경우 실패합니다.

중요성 및 주장

이 논문은 **동적 혼합 정밀도 라우팅 (DMR)**이 순차적 의사결정 관점에서 정밀도 선택을 효과적으로 재검토한다고 주장합니다. 이는 동적이고 단계 수준의 정밀도 제어가 에이전트 환경에서 실현 가능한 전략임을 보여주며, 에이전트가 고정밀도 및 양자화 모델의 상호 보완적 강점을 활용할 수 있게 합니다. 중요 단계에만 고정밀도를 식별하고 선택적으로 적용함으로써 DMR 은 단일 정밀도 베이스라인에 비해 우수한 정확도 - 비용 트레이드오프를 달성합니다. 저자들은 이 작업을 복잡하고 실제 세계의 상호작용에 필요한 견고성을 희생하지 않으면서 장기 계획 LLM 에이전트를 더 계산적으로 실현 가능하게 만드는 한 걸음으로 위치시킵니다. 향후 연구는 DMR 을 더 풍부한 정밀도 세트와 네이티브 저비트 커널이 있는 배포 환경으로 확장하는 것이 제안됩니다.