기술 요약: 에이전트형 AI 시스템 구성 학습 (ARC)

문제 정의

대형 언어 모델 (LLM) 기반 에이전트 시스템을 구성하는 것은 워크플로우, 도구, 토큰 예산, 프롬프트로 구성된 방대한 조합 설계 공간에서 선택하는 과정을 수반합니다. 현재 접근 방식은 쿼리 난이도와 관계없이 고정된 구성을 적용하는 정적 휴리스틱이나 "키친 싱크 (kitchen sink)" 전략에 의존합니다. 이러한 "일률적 (one-size-fits-all)" 접근 방식은 두 가지 주요 문제를 초래합니다:

1. 성능 저하: 긴 컨텍스트는 종종 관련 정보에 주의를 기울이지 못하는 "중간 손실 (lost-in-the-middle)" 현상으로 고통받습니다.
2. 비효율성: 정적 시스템은 사소한 쿼리에 대해 무겁고 반복적인 워크플로우 (예: 웹 검색을 통한 다중 홉 추론) 를 적용하여 계산 자원을 낭비함으로써 불필요한 지연 시간과 비용을 초래합니다.

핵심적인 도전 과제는 설계 공간이 무차별 대입 검색이나 수동 튜닝에는 너무 방대하다는 점입니다. 예를 들어, 몇 가지 워크플로우 패턴, 도구, 예산 수준을 갖춘 소규모 시스템만으로도 수만 가지의 구조적 구성을 산출할 수 있으며, 여기에 프롬프트 변형을 포함하면 $10^5$개 이상으로 확장됩니다. 또한, 에이전트 워크플로우는 원자적 (atomic) 행동이 아니라 가변적인 지속 시간과 비용을 가진 시간적으로 확장된 프로세스이므로, 표준 마르코프 결정 과정 (MDP) 공식화는 부적절합니다.

방법론: ARC (에이전트 자원 및 구성 학습기)

저자들은 에이전트 구성을 **준-마르코프 결정 과정 (SMDP)**으로 공식화하는 계층적 강화 학습 프레임워크인 ARC를 제안합니다. 이 공식화에서 각 구성은 에이전트 시스템이 쿼리를 처리하는 방식을 결정하는 시간적으로 확장된 "옵션 (option)"으로 작용합니다.

1. SMDP 공식화

고정된 지속 시간을 갖는 행동이 있는 표준 MDP 와 달리, ARC 는 실행 시간 (LLM 호출 수) 과 비용이 가변적인 옵션으로서 구성을 모델링합니다.

• 상태 ($S$): 쿼리의 의미 임베딩과 수동으로 설계된 특징 (예: 쿼리 길이, 수치 밀도) 을 연결한 것.
• 옵션 ($O$): 각 옵션은 완전한 구성 $(\omega, t, b, p)$을 나타내며, 여기서 $\omega$는 워크플로우, $t$는 도구, $b$는 토큰 예산, $p$는 프롬프트입니다.
• 보상: 정확성과 비용 사이의 균형을 맞추는 유틸리티 함수: $U(q, c) = I[\hat{a} = a] - \lambda C_{cost}(c)$. 보상에는 토큰 사용량, 실행 시간, 지속 시간 (LLM 호출 수) 에 대한 패널티가 포함됩니다.

2. 계층적 정책 분해

조합적 복잡성을 관리하기 위해 정책 $\pi_{arc}$는 두 수준으로 분해됩니다:

• 구조 정책 ($\pi_{struct}$): 워크플로우 토폴로지, 도구 할당, 예산 계층을 선택합니다.
• 프롬프트 정책 ($\pi_{prompt}$): 구조적 선택에 기반하여 의미 조각 라이브러리에서 특정 프롬프트 지시를 autoregressively(자기회귀적으로) 구성합니다.
• 행동 마스킹: 구조적 무효성 (예: 단일 에이전트 "Direct" 워크플로우에 도구를 할당하는 경우) 을 처리하기 위해, 시스템은 훈련 중 무효 구성을 제거하기 위해 행동 마스킹을 적용합니다.

3. 훈련 파이프라인

훈련 과정은 강화 학습 (RL) 과 지도 미세 조정 (SFT) 을 결합합니다:

1. RL 단계: 설계 공간을 탐색하기 위해 모양이 잡힌 보상 (shaped rewards) 을 사용하는 Proximal Policy Optimization (PPO) 을 사용합니다. 보상 함수는 정확성, 단계 패널티, 토큰 패널티, 도구 할당과 실제 사용 사이의 불일치를 해결하기 위한 도구 모양 잡기 (tool shaping) 항으로 분해됩니다.
2. SFT 정제: RL 이 수렴한 후, 시스템은 "엘리트" 궤적 (높은 보상을 가진 정답) 을 재생 버퍼에서 필터링합니다. 그런 다음 지도 미세 조정 단계에서 이러한 성공적인 전략을 정책 네트워크에 증류합니다. 이 단계는 학습을 안정화하고 분산을 줄이며 성능 바닥을 제공합니다.

4. 이론적 보장

이 논문은 두 가지 이론적 결과를 제시합니다:

• 수렴: SMDP 공식화는 고유한 최적 가치 함수 $Q^*$를 허용하여 RL 목표가 잘 정의되도록 합니다.
• 정책 집중: SFT 단계는 최종 정책이 고보상 구성에 집중되도록 보장하여 최소 성능 임계값을 확보합니다.

주요 기여

1. SMDP 공식화: 저자들은 에이전트 구성을 SMDP 문제로 제시하여 워크플로우를 시간적으로 확장된 옵션으로 취급함으로써 가변적인 계산 발자국을 자연스럽게 처리합니다.
2. ARC 프레임워크: 기본 LLM 을 업데이트하지 않고도 쿼리별 구성 (워크플로우, 도구, 예산, 프롬프트) 을 동적으로 선택하는 경량 계층적 정책 도입.
3. 하이브리드 훈련: 희소 보상 하에서 학습을 안정화하고 일관성을 개선하기 위해 엘리트 궤적에 대한 마스킹된 PPO 와 SFT 를 결합한 파이프라인.
4. 실증적 검증: 정적 설계에 비해 쿼리별 구성을 학습하는 것이 우월한 대안임을 보여주는 광범위한 실험.

실험 결과

저자들은 Qwen 2.5 7B 와 Gemini 2.5 Flash Lite 를 사용하여 추론, 도구 사용, 에이전트형 벤치마크 전반에 걸쳐 ARC 를 평가했습니다.

• 추론 작업: ARC 는 예산이 일치하는 도구 증강 LLM 대비 평균 추론 정확도를 31.3% 향상시켰습니다. GSM8k 에서 ARC 는 88.6% 의 정확도를 달성하여 GEPA (83.6%) 및 RL Episodes (85.2%) 와 같은 강력한 베이스라인을 능가했습니다.
• 도구 사용 작업: ARC 는 도구 사용 정확도를 13.95% 증가시켰습니다. HotpotQA 에서 AutoGen (34.1%) 과 동급이었으며, 가장 강력한 RL 베이스라인보다 6.3% 더 높은 성능을 보였습니다.
• 에이전트형 작업: $\tau$-Bench (Airline) 에서 ARC 는 고정 프롬프트 최적화 (DSPy) 가 성능을 저하시킨 반면, Pass$^1$ 성공률을 **9.0% 에서 18.0%**로 두 배로 늘렸습니다.
• 효율성: ARC 는 정확도 - 비용 트레이드오프에서 파레토 최적 영역을 차지하여 고정 또는 검색 기반 베이스라인보다 낮은 비용으로 더 높은 정확도를 달성합니다.
• 일반화: 학습된 정책은 추론 작업 간 (예: GSM8k 에서 DROP 로) 에 moderate(중등도) 한 전이성을 보였으며, 모델 크기 (7B 에서 72B 로) 에 따른 제로샷 확장성을 입증하여 구조적 사전 지식이 규모에 거의 불변임을 나타냈습니다.

중요성 및 주장

이 논문은 **"쿼리별 에이전트 구성 학습"**이 "일률적" 설계에 대한 강력한 대안임을 주장합니다. 이 작업의 중요성은 다음을 입증하는 데 있습니다:

• 적응성: 에이전트 시스템은 작업 난이도에 따라 계산 발자국을 동적으로 적응시켜 정확성과 효율성 사이의 균형을 맞출 수 있습니다.
• 확장성: 경량 컨트롤러는 기본 LLM 을 재훈련하지 않고도 방대한 조합 설계 공간을 효과적으로 관리할 수 있습니다.
• 실용성: RL 탐색과 SFT 정제의 결합은 복잡한 에이전트 아키텍처를 탐색하기 위한 실행 가능한 방법을 제공하며, 유연하고 계산 효율적인 LLM 기반 에이전트 시스템을 구축하기 위한 실용적인 방향을 제시합니다.

저자들은 지식 집약적 도메인에서는 프롬프트 의미론이 지배적일 수 있지만, ARC 가 제공하는 구조적 최적화는 자원 할당 및 복잡한 다단계 상호작용 처리에 필수적이라고 강조합니다.