기술 요약: Hera – 장치-클라우드 협업 LLM 에이전트를 위한 장기적 조정 학습

1. 문제 제기

대형 언어 모델 (LLM) 에이전트는 환경과의 자율적 상호작용을 통해 복잡하고 장기적인 과제를 해결하는 능력을 입증해 왔습니다. 그러나 실제 세계 배포는 근본적인 장치 - 클라우드 딜레마에 직면해 있습니다:

• 장치 측 제약: 온디바이스 모델 (일반적으로 10B 파라미터 미만) 은 효율적이고 저지연이지만, 복잡한 다단계 계획에 필요한 추론 깊이가 부족하여 성능 저하와 일관성 없는 궤적을 초래합니다.
• 클라우드 측 한계: 강력한 클라우드 모델은 우수한 추론 능력을 제공하지만, 상당한 네트워크 지연, 높은 계산 비용, 개인정보 보호 문제를 야기하여 로봇 공학이나 대화형 GUI 탐색과 같은 실시간 응용에는 실용적이지 않습니다.

기존 장치 - 클라우드 라우팅 방법은 일반적으로 대략적인 작업 수준 결정을 내려, 추정된 난이도나 신뢰도에 따라 전체 쿼리를 장치 또는 클라우드 중 하나로 할당합니다. 이러한 "전부 아니면 전무" 방식은 난이도가 다양한 상호의존적 단계의 연속으로 전개되는 장기 에이전트 작업에는 적합하지 않습니다. 본 논문은 작업 성공과 추론 비용을 효과적으로 균형시키기 위해 더 세분화된 단계 수준 조정 전략이 필요하다고 주장합니다.

2. 방법론: Hera 프레임워크

저자들은 작업 성공과 클라우드 사용량 간의 균형을 최적화하도록 설계된 경량 단계 수준 장치 - 클라우드 조정기인 Hera를 제안합니다. Hera 는 500M 파라미터의 디코더 전용 Transformer 로, 각 상호작용 단계 $t$에서 상태를 로컬 장치 정책 ($\pi_{\theta_d}$) 또는 클라우드 정책 ($\pi_{\theta_c}$) 으로 라우팅할지 결정하는 이진 분류 헤드를 갖습니다.

Hera 는 새로운 2 단계 학습 패러다임을 사용합니다:

1 단계: 모방 학습 (IL) 을 통한 콜드 스타트

직접적인 강화 신호 없이 라우팅 정책을 초기화하기 위해 저자들은 모방 학습을 사용합니다:

1. 궤적 수집: 장치 및 클라우드 에이전트 모두를 롤아웃하여 일련의 작업에 대한 궤적을 생성합니다.
2. 필터링: 클라우드가 장치보다 현저히 우수한 성능 (마진 $\delta$ 초과) 을 보이는 작업을 선택하여 클라우드 지원이 필요한 영역을 정의합니다.
3. 감독: 장치 에이전트를 클라우드의 성공적인 궤적 상태에서 "재플레이"합니다. 단계 수준 일관성 레이블 $y_t$가 생성됩니다:
   • $y_t = 1$(클라우드로 라우팅): 장치의 행동 $a^d_t$가 클라우드의 행동 $a^c_t$와 불일치하는 경우.
   • $y_t = 0$(장치로 라우팅): 행동이 일치하는 경우.
4. 학습: 라우터는 이 데이터셋에서 이진 교차 엔트로피 (BCE) 손실을 사용하여 이진 분류기로 훈련되며, 두 모델 간의 성능 차이에 맞춰 잠재 공간을 정렬합니다.

2 단계: 상태 그룹화를 통한 비용 인식 강화 학습 (RL)

IL 단계는 사전 정보를 제공하지만, 반환을 극대화하면서 클라우드 호출을 최소화하는 공동 목적을 직접 최적화하지는 않습니다. Hera 는 RL 을 사용하여 정제됩니다:

1. 롤아웃: 현재 라우터를 사용하여 각 작업에 대해 여러 궤적 ($N$) 을 수집하며, 탐험을 장려하기 위해 온도 스케일링된 베르누이 분포를 통해 확률성을 도입합니다.
2. 상태 그룹화: 서로 다른 롤아웃에서 만난 동일한 상태를 그룹화합니다. 각 고유 상태 $s$에 대해 시스템은 다음을 추정합니다:
   • $\hat{R}(d; s)$: 결정 $d$(장치 또는 클라우드) 가 내려졌을 때의 예상 궤적 반환.
   • $\hat{C}(d; s)$: 결정 $d$가 내려졌을 때의 예상 미래 클라우드 호출 (현재 단계 포함).
3. 선호 레이블링: 더 높은 예상 반환을 가진 결정을 선택하여 선호 레이블 $y(s)$를 유도합니다. 반환이 비교 가능할 경우 (마진 $\epsilon$ 이내), 예상 미래 클라우드 사용량이 더 낮은 결정을 선호합니다.
4. 최적화: 라우터는 이러한 선호 레이블에 대한 BCE 손실을 최소화하도록 업데이트되며, IL 로 초기화된 매개변수로부터의 과도한 이탈을 방지하기 위해 $L_2$ 정규화 항이 추가됩니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. 최초의 단계 수준 조정기: Hera 는 장기 작업을 위해 단계 수준에서 작동하는 최초의 장치 - 클라우드 에이전트 조정기로 제시되어, 이전 작업 수준 라우터보다 더 세분화된 성능 - 비용 균형을 다룹니다.
2. 2 단계 학습 프레임워크: 저자들은 행동 일관성에 기반한 콜드 스타트 초기화를 위한 모방 학습과 궤적 반환 및 클라우드 비용의 공동 최적화를 위한 상태 그룹화 강화 학습을 결합한 특정 학습 파이프라인을 개발했습니다.
3. 실증적 우위: 광범위한 실험을 통해 Hera 가 최첨단 베이스라인을 능가하여 작업 성공과 클라우드 사용량 간의 더 강력한 파레토 프론티어를 달성함을 입증했습니다.

4. 실험 결과

Hera 는 세 가지 도전적인 장기 벤치마크인 ALFWorld(구체화된 가정 작업), WebShop(전자상거래 탐색), AppWorld(멀티 앱 코딩 작업) 에서 평가되었습니다. 장치 모델은 Qwen2.5-7B-Instruct 이었고, 클라우드 모델은 Qwen-Max 였습니다.

주요 발견:

• 성능 - 비용 균형: Hera 는 클라우드만 사용할 때의 성공률의 **92.5%**를 달성하면서 단계의 **46.3%**에서만 클라우드를 사용했습니다.
• 베이스라인 비교:
  • ALFWorld 에서 Hera 는 $4.0 \times 10^{-3}$의 비용으로 86.1% 성공률을 달성하여, 클라우드만 사용 시 (90.9% 성공, $11.7 \times 10^{-3}$ 비용) 및 기타 모든 라우팅 베이스라인 (예: RouteLLM, FrugalGPT) 보다 현저히 우수했습니다.
  • WebShop 에서 Hera 는 $8.1 \times 10^{-3}$의 비용으로 34.1% 성공률을 기록한 반면, 클라우드만 사용 시는 $14.7 \times 10^{-3}$의 비용으로 35.6% 성공률을 보였습니다.
  • AppWorld 에서 Hera 는 $31.3 \times 10^{-3}$의 비용으로 19.7% 성공률을 달성한 반면, 클라우드만 사용 시는 $43.8 \times 10^{-3}$의 비용으로 22.6% 성공률을 보였습니다.
• 지연 시간: 클라우드 호출을 줄임으로써 Hera 는 높은 성공률을 유지하면서 종단간 지연 시간을 크게 단축했습니다 (예: ALFWorld 에서 105.5 초 vs 174.1 초).
• 애블레이션 연구: RL 단계를 제거하면 성공률이 낮아지고 클라우드 사용량이 증가했습니다. IL 단계를 제거하면 불안정한 학습과 poorer 성능이 나타나 2 단계 파이프라인의 필요성을 확인했습니다.
• 마이크로 벤치마크: 분석 결과, Hera 는 깊은 컨텍스트 추적이나 복잡한 제약 조립이 필요한 "중요 단계"를 효과적으로 식별하여 클라우드로 라우팅하고, 일상적인 단계는 로컬에서 처리하는 것을 보여주었습니다.

5. 중요성과 주장

본 논문은 Hera 가 대략적인 작업 수준 라우팅에서 세분화된 동적 협업으로의 중대한 전환을 나타낸다고 주장합니다. 그 중요성은 다음과 같습니다:

• 고급 에이전트의 민주화: 중요한 단계 중 소수만 클라우드 개입이 필요함을 입증함으로써, Hera 는 사용자 장치에 정교한 에이전트를 배포하는 데 필요한 계산 및 재정적 장벽을 낮춥니다.
• 실시간 응용 가능: 지연 시간에 민감한 응용 (예: 로봇 제어, 대화형 어시스턴트) 을 prohibitive 비용이나 지연 없이 장치 하드웨어에서 실현 가능하게 합니다.
• 확장성: Hera 는 강력한 성능 - 비용 파레토 프론티어를 설정하여, 자원 제약이 최우선인 실제 환경에서 확장 가능하고 지속 가능하며 보편적인 자율 에이전트로 향하는 실현 가능한 경로를 제시합니다.

저자들은 동기식 신뢰할 수 있는 연결에 대한 가정과 오프로딩된 데이터에 대한 내장형 개인정보 보호 메커니즘의 부재 등 한계를 지적하며, 이를 향후 연구 영역으로 규정했습니다.