기술 요약: R2V-Agent – SLM 에게 언제 도움을 요청할지 가르치기

문제 제기

소프트웨어 공학, 웹 탐색, 시스템 관리와 같은 상호작용 환경에서 작동하는 효율적인 에이전트 시스템은 신뢰성과 비용 사이의 근본적인 트레이드오프에 직면해 있습니다. 신뢰성은 종종 장기적 계획, 실패한 도구 호출에서의 복구, 또는 불완전한 관찰 하의 추론과 같은 작업을 수행할 때 고비용의 최첨단 대규모 언어 모델 (LLM) 에 의존합니다. 반면, 소형 언어 모델 (SLM) 은 비용 효율적이지만 분포 외 (out-of-distribution) 교란에 취약합니다.

기존의 LM 캐스케이드와 라우터는 일반적으로 실행 시작 전이나 전체 응답이 생성된 후에 어떤 모델을 사용할지 결정하는 쿼리 수준의 할당을 수행합니다. 이 접근 방식은 작업 난이도가 궤적 의존적인 에이전트 부분 관찰 마르코프 결정 과정 (POMDP) 에는 적합하지 않습니다. 작업은 분포 내 (in-distribution) 상태에서 시작할 수 있지만, 불안정한 도구 호출, 잘린 관찰, 또는 누적된 국소 오류로 인해 궤적 중간에 위험해질 수 있습니다. 전체 작업을 SLM 으로 라우팅하는 것은 취약하며, 전체 작업을 LLM 으로 라우팅하는 것은 불필요하게 비용이 많이 듭니다. 핵심적인 과제는 다단계 에이전트 궤적 실행 중 deployed 된 로컬 SLM 이 언제 더 강력한 교사 LLM 에게 위임해야 하는지를 결정하는 것입니다.

방법론

저자들은 단계별 SLM-LLM 라우팅을 위한 위험 보정 프레임워크인 R2V-Agent를 제안합니다. 이 시스템은 실행을 네 가지 구성 요소로 분해합니다:

1. 증류된 SLM 정책 ($\pi_\theta$): 일상적인 단계를 처리하도록 훈련된 로컬 모델.
2. 교사 LLM ($\pi_T$): 필요할 때만 호출되는 더 강력한 모델.
3. 프로세스 검증기 ($V_\phi$): 각 단계에서 후보 행동을 점수화하는 경량 모듈.
4. 보정된 라우터 ($r_\psi$): 핵심 기여로, 각 단계에서 잔여 실패 위험을 추정합니다.

훈련 파이프라인

라우터가 고정된 정책의 실패 모드를 학습하도록 보장하기 위해, 시스템은 결합된 다중 손실 목적 함수가 아닌 순차적 파이프라인으로 훈련됩니다:

1. 오프라인 증류 (SLM 훈련):

   • 행동 복제 (BC): SLM 은 도구 실패, 누락된 관찰, 프롬프트 주입 등을 시뮬레이션하는 교란 연산자가 추가된 교사 궤적을 사용하여 워밍업됩니다.
   • 검증기 안내 DPO: BC 정책이 후보 행동을 생성하면 검증기가 이를 점수화합니다. 검증기 승인/교사 복구된 행동과 저품질 BC 샘플 사이에 선호도 쌍이 구성됩니다. SLM 은 BC 정책을 참조로 고정하고 직접 선호도 최적화 (DPO) 를 사용하여 정제됩니다.
   • 일관성 정규화: 제이슨-샤논 발산 (JSD) 항은 동일한 잠재 상태에 대한 다양한 교란 실현에서 SLM 이 안정적인 행동 분포를 생성하도록 장려하여 견고성을 향상시킵니다.

2. 라우터 훈련:

   • SLM 정책이 고정되면, 라우터는 이 정책의 잔여 실패에 대해 훈련됩니다.
   • 특징: 라우터는 토큰 수준의 엔트로피, 검증기 점수 통계 (평균, 분포, 최상/최하), 후보 일관성, 그리고 궤적 상태 특징을 포함하는 15 차원 벡터를 입력받습니다.
   • 레이블: 라우팅 레이블 $y_t$는 이진값으로, 현재 컨텍스트를 포함하는 SLM 만의 롤아웃이 결국 에피소드를 실패했는지를 나타냅니다.
   • 목적 함수: 라우터는 에피소드 실패의 조건부 확률을 추정하기 위해 브라이어 보정 (Brier-calibrated) 손실을 최소화합니다. 핵심적으로, 이는 조건부 위험 가치 (CVaR) 제약 목적 함수를 사용합니다. 이는 평균적으로는 저렴하지만 최악의 교란 시드 하에서 취약한 라우터를 처벌하여 꼬리 위험에 대한 견고성을 보장합니다.

추론

테스트 시, 증류된 SLM 이 기본적으로 실행됩니다. 라우터는 잔여 위험 $p_t = r_\psi(f_t)$를 추정합니다. $p_t$가 보정된 임계값 $\tau^*_{route}$를 초과하고 LLM 예산이 남아 있는 경우, 시스템은 교사 LLM 으로 에스컬레이션합니다. 그렇지 않으면 SLM 행동으로 진행합니다.

주요 기여

1. 상태 기반 단계별 라우팅 공식화: 이 논문은 교란된 POMDP 에서의 정적 쿼리 수준 결정을 넘어, 상태 기반 할당 문제로서 SLM-LLM 에이전트 라우팅을 공식화합니다.
2. 잔여 위험 라우팅 목적 함수: 저자들은 브라이어 보정 확률 추정과 CVaR 제약 꼬리 위험 통제를 결합한 라우팅 목적 함수를 도입합니다. 이는 라우터가 추정된 위험이 비용을 정당화할 때만 에스컬레이션하도록 하여 취약한 정책을 방지합니다.
3. 실증적 검증: 이 프레임워크는 HumanEval+, TextWorld, TerminalBench 의 세 가지 벤치마크와 Gemma-9B, LLaMA-3.1-8B, Qwen2.5-7B/14B 의 네 가지 SLM 백본에 걸쳐 평가되었으며, 보정된 단계별 라우팅이 높은 작업 성공률을 유지하면서 최첨단 모델 호출을 크게 줄인다는 것을 입증했습니다.

결과

R2V-Agent 는 모든 테스트된 벤치마크에서 신뢰성 - 비용 프론티어를 개선합니다:

• HumanEval+(코드 생성): 저실패 영역에서 R2V 는 0.6% 의 LLM 에스컬레이션으로 94.3% 의 성공률을 달성하여, SLM 만의 기준선 (91.9%) 대비 비용은 무시할 수준으로 크게 개선되었습니다.
• TextWorld (구현 제어): R2V 는 64.6%(SLM 만) 에서 **98.2%**의 성공률로 회복되며 41.7% 의 에스컬레이션을 보입니다. 이는 사후 오라클 비율 (35.4%) 에 근접하며, 유사한 성공률을 달성하기 위해 거의 100% 에스컬레이션이 필요한 휴리스틱 라우터보다 훨씬 효율적입니다.
• TerminalBench(쉘 엔지니어링): R2V 는 33.9% 의 LLM 호출을 사용하여 성공률을 **81.1%**에서 **93.3%**로 향상시킵니다. 이는 유사한 신뢰성에서 휴리스틱 라우터 (66.0% 에스컬레이션) 비용의 약 절반 수준입니다.

추출 연구는 일관성 정규화 (SLM 안정성 향상) 와 전체 특징 세트 (검증기 신호와 엔트로피 결합) 가 모두 중요함을 확인했습니다. 시스템은 토큰 로그 확률을 사용할 수 없는 폐쇄형 환경에서도 검증기 점수에서 유래한 "의사 엔트로피"를 사용하여 우아하게 저하되는 것을 보여줍니다.

중요성

이 논문은 효율적인 에이전트가 저렴하지만 취약한 SLM 실행과 비싼 전체 LLM 실행 사이에서 선택할 필요가 없다고 주장합니다. 잔여 위험 추정에 기반한 상태 기반 단계별 결정으로서 라우팅을 처리함으로써, R2V-Agent 는 실용적인 중간 지점을 제공합니다. 이 연구는 다음과 같은 점을 강조합니다:

• 에이전트에서의 작업 난이도는 동적이고 궤적 의존적이므로, 정적 쿼리 수준 라우팅으로는 부족합니다.
• 꼬리 위험 목적 함수 (CVaR) 로 제약된 보정 확률 라우팅은 상호작용 환경에서 컴퓨팅 할당을 관리하기 위해 휴리스틱 또는 엔트로피 기반 임계값보다 우수합니다.
• 안정적인 로컬 정책의 훈련과 라우터의 훈련을 분리함으로써, 컴퓨팅 할당 전략을 정책 개선 기법으로부터 정밀하게 격리할 수 있습니다.

저자들은 시스템의 성능이 검증기와 위험 특징의 품질에 의존하며, 특히 복잡한 쉘 작업과 같은 일부 실패는 온라인에서 감지하기 어렵다고 지적합니다. 이는 검증기 개선과 동적 예산 적응에 대한 향후 연구의 여지를 남깁니다.