기술 요약: PANDO – 온라인 기술 증류를 통한 효율적인 멀티모달 AI 에이전트

문제 제기

최근 멀티모달 웹 에이전트의 발전은 대부분 "토큰 경제"에 의존해 왔으며, 여기서 향상된 성능은 증가된 추론 비용을 통해 구매됩니다. 여기에는 확장된 롤아웃 검색 (예: Best-of-N) 확장, 검증자 통과 추가, 오프라인 도구 발견 수행, 또는 전문 모델 적층과 같은 전략들이 포함됩니다. 벤치마크 점수에는 효과적이지만, 이 접근 방식은 토큰 지출과 성공 사이에 선형 또는 초선형 관계를 만들어내어 높은 지연 시간, 에너지 소비, 그리고 사전 평가 발견과 관련된 숨겨진 비용을 초래합니다.

저자들은 VisualWebArena(VWA) 벤치마크에서 현재 에이전트 궤적의 세 가지 특정 기계적 비효율성을 식별했습니다:

1. 반복 행동 루프: 에이전트는 반복되는 행동의 루프에 자주 갇힙니다 (이미지 주석 부착 실패의 34~42%).
2. 숨겨진 발견 비용: WALT와 같은 시스템은 보고된 작업당 지표에서 종종 제외되는 상당한 오프라인 탐색 비용을 incur합니다.
3. 프롬프트 아키텍처 비효율성: 텍스트/캡션 방법은 에이전트가 경험을 축적함에 따라 안정적인 접두사를 활용하지 못해 낮은 프롬프트 캐시 활용도 (<11%) 를 보입니다.

제기된 핵심 질문은 에이전트가 매 작업마다 고정된 "추론 세금"을 지불하는 대신 경험을 축적함에 따라 더 효율적으로 될 수 있는지 여부입니다.

방법론: PANDO 프레임워크

PANDO(많은 줄기를 지지하는 단일 뿌리 시스템인 Pando 아스펜 숲에서 명명됨) 는 사전 평가 발견 예산을 필요로 하지 않고 평가 중에 구조화된 기술 라이브러리를 성장시키도록 설계된 단일 롤아웃, 온라인 기술 증류 프레임워크입니다. 이는 계획 (Plan) → 실행 (Act) → 반성 (Reflect) → 학습 (Learn) 루프에서 작동합니다.

핵심 구성 요소

1. 구조화된 기술 라이브러리 ($S_t$):

   • 라이브러리는 규칙(결정론적, 패턴 트리거 보호 장치) 과 루틴(매개변수화되고 실행 가능한 프로그램 - 행동 기술) 의 불연속 합집합입니다.
   • 검색: 임베딩 기반 검색과 달리 PANDO 는 결정론적이고 감사 가능하며 캐시 친화적인 검색을 위해 리터럴 키워드 포함을 사용합니다.
   • 수명 주기 관리: 라이브러리는 정적이지 않으며 온라인으로 성장합니다. 성공한 부분 궤적은 루틴으로 유도되고, 실패한 궤적은 추적됩니다.

2. 학습 및 증류:

   • 유도: 성공적인 궤적 후, 학습 모듈은 재사용 가능한 하위 목표 템플릿과 검증된 선택자 패턴을 갖는 경우 후보 기술을 추출합니다.
   • 극성 쌍 병합: 라이브러리의 불필요한 팽창을 방지하기 위해 방향만 다른 루틴 (예: "가장 저렴한" 대 "가장 비싼") 은 단일 매개변수화 루틴 $f_{\pm}(x, d)$로 병합됩니다.
   • 신뢰도 기반 강등: 기술은 실행 중인 신뢰도 추정치 ($c_s = \alpha_s / (\alpha_s + \beta_s)$) 를 유지합니다. 기술이 반복적으로 실패하면 강등 블랙리스트로 이동하여 에이전트가 취약한 루틴을 재발견하고 재실패하는 것을 방지합니다.

3. 실행 경제:

   • 계층적 라우팅: 강력한 모델 (Planner) 은 분해 및 반성을 위해 희소하게 사용됩니다. 더 저렴한 모델 (Actor) 은 고빈도 그라운딩을 처리합니다.
   • 시각 압축: 지배적인 Actor 항의 토큰 부하를 줄이기 위해 시각 입력을 압축합니다.
   • 캐시 인식 프롬프팅: 프롬프트 레이아웃은 안정적인 지시 사항과 기술 요약을 변동성이 큰 관찰 사항 앞에 배치하도록 구조화되어, 라이브러리가 성장함에 따라 KV 캐시 활용도를 극대화합니다.

4. 비용 분해:
   논문은 에이전트 비용을 네 가지 가산 항으로 공식화합니다:
   $$C(\pi; B) = \frac{C_{pre}}{|B|} + N_{rollout} C_{exec} + C_{verify} + C_{induce}$$
   PANDO 는 $C_{pre}=0$(오프라인 발견 없음), $N_{rollout}=1$(단일 롤아웃), 그리고 작업 스트림 내에서 엄격히 지불되는 작은 $C_{induce}$를 목표로 하며, 기술 재사용을 통해 $C_{exec}$를 최소화합니다.

주요 기여

1. 토큰 경제 프레임: 저자들은 사전 평가 발견, 롤아웃 확장, 검증, 그리고 온라인 유도를 분리하는 비용 정체성을 공식화하여, 현재 벤치마크가 종종 이러한 서로 다른 비용 통화를 모호하게 만든다고 주장합니다.
2. 구조화된 기술 학습 프레임워크: PANDO 는 패턴 인덱싱 규칙, 매개변수화 루틴, 온라인 증류, 극성 쌍 병합, 신뢰도 기반 강등, 그리고 캐시 인식 프롬프팅을 단일 에이전트에 통합합니다.
3. 고유 효율성 지표: 성공률 (SR) 을 넘어, 논문은 궤적 수준의 비효율성을 진단하기 위해 행동 반복률 (ARR), 단계 오버헤드 비율 (SOR), 그리고 프롬프트 캐시 활용도를 도입합니다.
4. 최첨단 결과: PANDO 는 VWA 에서 새로운 파레토 전선을 달성하여, 평가된 모든 베이스라인보다 훨씬 적은 토큰으로 더 높은 성공률을 달성했습니다.

실험 결과

VisualWebArena 벤치마크의 910 개 작업 전체에서 평가됨:

• 성공률 (SR): PANDO 는 **58.3%**를 달성하여 SGV(54.0%) 와 WALT 재현 (45.2%) 을 능가했습니다.
• 토큰 효율성: PANDO 는 작업당 평균 115K 토큰을 사용합니다. 이는 SGV(275K) 보다 58% 적고 WALT(294K) 보다 61% 적습니다.
• 고유 지표:
  • ARR: 9.1%(자동화 방법 중 최저), 효과적인 루프 방지를 나타냅니다.
  • SOR: 1.8 배 (최저), 실패한 작업이 과도한 단계 패널티를 부과하지 않음을 보여줍니다.
  • 캐시 활용도: 72.4%(최고), 안정적인 프롬프트 접두사의 효과를 입증합니다.
• 절대 연구 (VWA-300):
  • 기술 구성 요소: 규칙, 루틴, 그리고 온라인 증류는 성공률 상승의 대부분을 제공했습니다 (38.6% 에서 57.3% 로).
  • 효율성 구성 요소: 계층적 라우팅, 시각 압축, 그리고 캐시 인식 프롬프팅은 성공률에는 미미하게 기여했으나 토큰 감소 (147K 에서 117K 로) 와 증가된 캐시 활용도의 대부분을 담당했습니다.
• 학습 역학: 시스템은 라이브러리가 성숙함에 따라 ~30 단계/작업에서 ~8.5 단계/작업으로 안정화되는 "콜드 스타트" 단계를 보입니다. 기술 라이브러리는 스트림을 통해 12 개의 시드 루틴에서 47 개의 유도 루틴 (강등 후 32 개 활성) 으로 성장했습니다.

중요성 및 주장

이 논문은 PANDO 가 웹 에이전트의 진보가 증가된 롤아웃, 숨겨진 발견 예산, 또는 단계별 전문 모델 적층을 통해서만 구매될 필요가 없음을 보여준다고 주장합니다.

• 자본으로서의 재사용성: 핵심 통찰력은 과거 토큰 지출이 재사용 가능한 자본이 되어야 한다는 것입니다. 경험을 구조화되고 감사 가능한 라이브러리로 증류함으로써 에이전트는 시간이 지남에 따라 한계 추론 부하를 낮춥니다.
• 투명성: 블랙박스 벡터 저장소나 오프라인 발견 단계와 달리 PANDO 의 기술 라이브러리는 검사 가능, 결정론적이며 프롬프트 캐싱 하에서 안정적입니다.
• 벤치마크 보고: 저자들은 컴퓨터 사용 벤치마크가 에이전트 효율성의 완전한 그림을 제공하기 위해 원시 토큰, 캐시된 토큰 비율, 숨겨진 발견 지출, 그리고 지연 시간과 함께 성공률 (SR) 을 보고해야 한다고 주장합니다.

이 논문은 PANDO 가 더 높은 정확도와 더 낮은 한계 비용으로 새로운 파레토 최적점을 달성했다고 결론지으며, "효율성은 덜 함으로써 얻어지는 것이 아니라, 행해진 일이 어디로 향하는지 보장함으로써 얻어진다"고 시사합니다.