기술 요약: 파레토 최적 도구 통합 에이전트를 향한 파레토 순위 정책 최적화(ParetoPO)

1. 문제 정의

최근 도구 통합 대규모 언어 모델(LLM) 에이전트의 발전은 복잡한 추론 과제를 해결하는 능력을 향상시켰습니다. 그러나 기존의 정렬(alignment) 방법들은 주로 최종 과제 정확도를 극대화하는 데 집중하며, 도구 사용 효율성(예: 도구 호출 횟수)과 같은 부차적인 목표는 간과하는 경향이 있습니다. 실제 배포 환경에서는 추론 효율성과 단계별 의사결정 품질이 자원 사용량과 신뢰성에 직접적인 영향을 미칩니다.

현재 LLM의 다중 목표 정렬 접근 방식은 두 가지 주요 한계에 직면해 있습니다:

1. 고정 가중치 스칼라화(Fixed-weight scalarization): 정적 가중 합을 통해 목표를 결합하는 방법은 근본적인 한계가 있습니다. 이러한 방식은 학습 역학이 변화함에 따라 학습 노력을 잘못 할당할 수 있으며, 트레이드오프 곡선의 볼록한(convex) 부분에서만 파레토 최적 해를 복구할 수 있어 비볼록(non-convex) 영역을 놓치게 됩니다.
2. 그래디언트 기반 다중 목표 RL: 이론적으로는 타당하지만, 이러한 방법들은 계산 비용이 많이 들고 단순한 설정에만 적용되며, 일반적으로 도구 호출 효율성과 같은 액션 수준의 결정보다는 고수준의 의미론적 목표(예: 유용성)에 초점을 맞춥니다.

핵심 과제는 도구를 사용하는 LLM 에이전트가 올바른 솔루션을 생성하면서도 높은 효율성으로 도구를 사용하도록, 고정된 보상 가중치에 의존하지 않고 이러한 상충하는 목표들 사이의 균형을 맞추는 것입니다.

2. 방법론: ParetoPO

저자들은 상충하는 목표 하에서 도구 사용 LLM을 정렬하기 위해 설계된 2단계 다중 목표 강화 학습(RL) 프레임워크인 ParetoPO를 제안합니다. 이 프레임워크는 도구 사용 에이전트의 학습을 다중 목표 마르코프 결정 과정(MOMDP)으로 취급하며, 여기서 보상 벡터는 과제 성능($r_{task}$)과 도구 사용 효율성($r_{tool}$)으로 구성됩니다.

1단계: 하이퍼볼륨 가이드 동적 스칼라화(Hypervolume-Guided Dynamic Scalarization)

정적 가중치의 한계를 해결하기 위해, ParetoPO는 전역 파레토 프런티어(Pareance frontier) 진행 상황에 따라 보상 가중치를 적응적으로 조정하는 동적 스칼라화 전략을 채택합니다.

• 메커니즘: 이 방법은 현재 파레토 아카이브에 대한 새로운 결과의 하이퍼볼륨 기여도($\Delta HV$)를 계산합니다. 노이즈가 있는 도구 사용 시나리오에 대한 안정성을 보장하기 위해, 평활화된(smoothed) 하이퍼볼륨 이득이 메타 레벨 신호로 사용됩니다.
• 적응: 이 신호는 실시간으로 유효 보상 가중치를 조절합니다. 파레토 프런트의 저평가된 영역을 탐색하도록 장려함으로써, 이 단계는 목표 공간의 효율적인 탐색을 촉진하고 정책을 지지되는 파레토 영역으로 유도합니다.
• 이론적 보장: 명제 3.1은 이 단계가 모든 지지되는 파레토 최적점(달성 가능한 목표의 볼록 껍질)을 점근적으로 커버함을 명시합니다.

2단계: 파레토 순위 기반 정책 최적화(Pareto-Ranking-Based Policy Optimization)

특정 가중치 설정에 편향될 수 있는 스칼라화된 리턴(return)에 의존하지 않고 정책을 정교화하기 위해, 2단계에서는 지배력 인식 어드밴티지(dominance-aware advantage) 계산을 도입합니다.

• 메커니즘: 스칼라 리턴 대신, 배치 내의 궤적(trajectory)들은 **비지배 정렬(non-dominated sorting)**을 사용하여 순위가 매겨집니다. 궤적은 다른 얼마나 많은 궤적이 자신을 지배하는지에 따라 파레토 순위(rank)를 부여받습니다.
• 어드밴티지 할당: 어드밴티지 값은 이러한 순위를 기반으로 계산됩니다. 기본 어드밴티지는 순위에 따라 할당되며, 이후 해당 궤적의 구체적인 결과와 사용자 정의 선호 가중치를 통합하여 정교화됩니다. 결정적으로, 이 공식화는 더 나쁜 순위의 궤적이 더 좋은 순위의 궤적보다 높은 어드밴티지를 받지 않도록 보장합니다.
• 최적화: 정책은 이러한 정교화된 어드밴티지를 사용하여 그룹 상대 정책 최적화(GRPO)를 통해 업데이트됩니다.
• 이론적 보장: 정리 3.6은 표준 확률적 근사 조건 하에서, 이 단계가 모든 목표에 대해 공통된 1차 개선 방향이 존재하지 않는 **파레토 상승 정체점(Pareto-ascent stationary points)**으로 수렴함을 입증합니다.

3. 주요 기여

1. 새로운 프레임워크: 고정 가중치 스칼라화의 함정을 피하기 위해, 목표 강조점을 동적으로 조정하고 파레토 순위를 사용하여 크레딧 할당(credit assignment)을 수행하는 2단계 RL 방법인 ParetoPO를 도입했습니다.
2. 액션 수준의 최적화: 이 방법은 단순히 고수준의 의미론적 목표를 넘어 액션 수준의 결정(도구 호출)을 명시적으로 타겟팅하여, 정확도와 효율성 같은 상충하는 목표 간의 미세한 최적화를 가능하게 합니다.
3. 이론적 분석: 논문은 1단계가 지지되는 파레토 프런티어를 커버하고, 2단계가 그래디언트 추정기의 유계된 2차 모멘트를 가진 파레토 상승 정체점으로 수렴한다는 이론적 증명을 제공합니다.
4. 실증적 검증: 수학적 추론 및 멀티홉 QA 태스크에 대한 광범위한 실험을 통해, ParetoPO가 정적 및 휴리스틱 베이스라인에 비해 우수한 정확도-효율성 트레이드오프를 가진 정책을 발견함을 입증했습니다.

4. 실험 결과

저자들은 다섯 가지 수학적 추론 벤치마크(MATH500, AIME2024/2025, OlympiadBench, AMC23)와 두 가지 멀티홉 QA 데이터셋(Natural Questions, HotpotQA)에서 ParetoPO를 평가했습니다.

• 성능: ParetoPO는 대부분의 데이터셋과 모델 크기(1.5B 및 7B)에서 가장 낮은 평균 도구 호출 횟수를 유지하면서 일관되게 가장 높은 Exact Match (EM) 점수를 달성했습니다.
• 비교:
  • ToRL-GRPO(정확도 중심)와 비교했을 때, ParetoPO는 훨씬 적은 도구 호출을 사용하면서도 유사하거나 더 나은 정확도를 달성했습니다.
  • OTC-GRPO(효율성 중심)와 비교했을 때, ParetoPO는 도구 호출을 과도하게 처벌하는 베이스라인에서 나타나는 심각한 성능 저하 없이 더 높은 정확도를 유지했습니다.
  • MO-GRPO(다중 목표)와 비교했을 때, ParetoPO는 다양한 데이터셋에서 더 일관된 성능을 보여주었습니다.
• 절제 연구(Ablation Studies): 1단계(동적 스칼라화) 또는 2단계(파레토 순위) 중 하나라도 제거하면 성능 저하가 발생하여, 전역 탐색과 지배력 인식 정교화가 모두 필요함을 확인했습니다.
• 학습 역학: 분석 결과, ParetoPO는 정확도를 해치지 않으면서 시간이 지남에 따라 도구 사용을 줄이는 반면, Search-R1과 같은 베이스라인은 도구 사용 및 응답 길이를 증가시키는 경향이 있음을 보여주었습니다.

5. 의의 및 주장

이 논문은 ParetoPO가 도구 사용 에이전트의 다중 목표 정렬을 위한 원칙적인 접근 방식을 제공한다고 주장합니다. 문제를 전역 탐색(1단계)과 국소 정교화(2단계)로 분리함으로써, 이 방법은 과제 정확도와 도구 사용 효율성 사이의 트레이드오프를 효과적으로 탐색합니다.

저자들은 자사의 접근 방식이 비효율적인 로컬 옵티마(local optima)에서 벗어나 더 나은 파레토 영역으로 이동한다고 강조합니다. 과도한 도구 사용은 노이즈를 유발하고 궤적을 길게 만들 수 있으므로, 파레토 최적성을 위해 최적화하는 것은 불필요한 도구 호출을 줄임으로써 효율성과 정확도 모두를 본질적으로 개선한다는 것입니다. 이 방법은 스칼라화 가중치 선택에 강건함을 보여주며, 이는 강력한 다중 목표 성능을 달기 위해 좁은 하이퍼파라미터 튜닝에 의존하지 않음을 시사합니다.

본 연구는 정확도와 함께 여러 행동 목표의 균형을 맞추는 것이 이 2단계 프레임워크를 통해 가능하다는 결론을 내리며, 자원이 제한된 환경에서 더 효율적이고 제어 가능한 의사결정 시스템을 위한 경로를 제공합니다.