기술 요약: TRUST – 에이전트 도구 호출을 위한 불확실성 정렬 강화 학습

문제 정의

대규모 언어 모델(LLM) 기반 에이전트는 지원되지 않거나 불필요한 도구를 호출하거나, 필수적인 도구 호출 없이 직접 답변을 생성하는(환각된 직접 답변) 두 가지 주요 실패 모드로 특징지어지는 최적화되지 않은 도구 사용 결정을 빈번하게 내립니다. 이러한 결정 실패는 단순한 텍스트 환각과 달리 중간 상태를 오염시키고 다단계 상호작용 전반에 걸쳐 오류를 전파하여, 실제 에이전트 작업에서 실행 실패, 비용 발생, 정보 유출을 초래합니다.

이러한 문제를 완화하기 위한 기존 접근 방식은 주로 추론 시점의 교정이나 결정 결과 및 구조화된 체크리스트에 기반한 거친 입도의 보상 신호에 의존합니다. 그러나 이러한 방법들은 에이전트 결정의 불확실성 특성을 충분히 탐구하지 못합니다. 저자들은 표준적인 결정 지향적 강화 학습(RL)이 올바른 행동과 잘못된 행동 사이의 불확실성 분리를 약화시키는 경향이 있음을 관찰했습니다. 구체적으로, RL 최적화는 높은 보상을 받는 샘플링된 행동에 대한 자신감은 높이는 반면, 의도치 않게 불확실성 격차를 붕괴시켜 모델이 잘못된 결정(예: 지원되지 않는 도구 호출)에 대해 과도하게 확신하도록 만듭니다. "잘못된 결정이지만 낮은 불확실성(Wrong Decision But Low Uncertainty)"이라고 불리는 이 현상은 모델의 캘리브레이션(calibration) 능력을 저해하고, 더 신뢰할 수 있는 대안으로 정책을 업데이트하는 데 필요한 탐색 신호를 감소시킵니다.

방법론: TRUST 프레임워크

이러한 한계를 해결하기 위해, 저자들은 불확실성 정량화(UQ)를 보상 설계에 직접 통합하여 올바른 결정과 잘못된 결정 사이에 명확한 분리를 유지하는 반발력(repulsive force) 역할을 수행하게 하는 TRUST(Tool-calling decision Reward with Uncertainty-Separated post-Training) 프레임워크를 제안합니다.

1. 턴 단위 UQ 정렬 보상 (Turn-Level UQ-Aligned Reward)

불확실성을 사후 진단용으로만 사용하는 대신, TRUST는 이를 보상 함수에 통합하여 결정의 정확성과 모델의 확신도를 정렬합니다.

• 불확실성 지표: 이 방법은 시퀀스 퍼플렉시티(PPL)를 사용하여 불확실성을 구현합니다.
• 확신성 마진 ($m(s)$): 각 결정 지점에서 시스템은 부정적인(잘못된) 결정의 예상 퍼플렉시티와 정답 결정 사이의 마진을 계산합니다.
• 확신 계수 ($c(s)$): 이 마진은 시그모이드 함수를 사용하여 제한된 확신 계수로 변환됩니다. 마진이 크다는 것은 모델이 정답 결정에 대해 부정적 결정보다 낮은 퍼플렉시티를 할당함을 의미합니다.
• 보상 함수 ($R_{UQ}$): 총 보상은 형식 유효성, 답변 일관성, 그리고 행동 정확성을 결합하며, 확신 계수에 의해 가중치가 부여됩니다:
  $$R_{UQ}(z) = R_{fmt}(z) + R_{ans}(z, z^*) + c(s) \cdot R_{cls}(a, a^*)$$
  여기서 $c(s) \cdot R_{cls}$는 반발력 역할을 합니다. 이는 잘못된 결정을 높은 불확실성(높은 PPL) 쪽으로 밀어내고, 올바른 결정을 낮은 불확실성 쪽으로 끌어당김으로써, 정책이 불확실하거나 신뢰할 수 없는 결정으로부터 멀어져 탐색하도록 유도합니다.

2. 궤적을 위한 통합 사후 학습 (Unified Post-Training for Trajectories)

에이전트의 실패는 초기 오류가 후속 상태를 오염시키는 다회차 궤적 내에서 발생하는 경우가 많다는 점을 인식하여, TRUST는 이 학습 패러다임을 단독 결정에서 전체 궤적으로 확장합니다.

• 경량 키 턴 주석 (Lightweight Key-Turn Annotation): 대화 전체를 철저히 재라벨링하는 대신, 이 프레임워크는 다음 행동 결정이 중요한 특정 "키 턴(key turns)"에 경량 주석을 추가하여 궤적을 보강합니다. 라벨링 모델은 궤적당 최대 두 개의 결정 결정적 턴을 선택하여 $\{DIRECT, TOOL, ASK, UNABLE\}$ 공간으로부터 정답 행동을 할당합니다.
• 혼합 보상 최적화: 학습은 작업 완료 및 도구 실행 품질을 감독하는 기존의 궤적 수준 체크리스트 보상($R_{CM2}$)과, 주석이 달린 키 턴에 희소하게 적용되는 턴 단위 $R_{UQ}$를 결합한 혼합 보상 함수를 활용합니다. 이를 통해 기존의 성능 중심 보상을 재설계하지 않고도 전체 작업 성공과 턴 단위 도구 호출 캘리브레이션을 공동으로 최적화할 수 있습니다.

주요 기여

1. 불확실성 분리형 보상 설계: 본 논문은 UQ를 RL 목적 함수 내에서 반발력으로 사용하는 새로운 보상 메커니즘을 도입합니다. 이는 표준적인 결정 지향적 RL에서 흔히 발생하는 문제인 올바른 행동과 잘못된 행동 사이의 불확실성 붕괴를 명시적으로 방지합니다.
2. 통합 학습 패러다임: TRUST는 턴 단위 결정 캘리브레이션과 궤적 단위 작업 최적화를 통합하는 통합 사후 학습 프레임워크를 제안합니다. 키 턴만을 주석 처리함으로써, 즉각적인 결정 품질과 장기적 작업 성능을 모두 향상시키는 효율적인 학습을 달성합니다.
3. 불확실성 캘리브레이션의 실증적 검증: 본 연구는 결정의 정확성만을 최적화하는 것이 불확실성 캘리브레이션을 저하시킬 수 있는 반면, TRUST는 내부 불확실성을 결정의 정확성과 성공적으로 정렬하여 잘못된 결정이 더 쉽게 식별되고 재강화될 가능성을 낮춘다는 것을 보여줍니다.

실험 결과

저자들은 세 가지 벤치마크인 When2Call(턴 단위 결정), BFCL-V4(다회차 함수 호출), ToolSandbox(대화형 도구 사용)에서 TRUST를 평가했습니다.

• 턴 단위 성능 (When2Call): Qwen3-4B-Thinking 백본에서, TRUST는 베이스 모델 대비 정규화된 정확도를 11.47% 향상시켰으며, 가장 우수한 베이스라인(TRUST가 없는 GRPO)보다 8.37% 높은 성능을 보였습니다. 결정적으로, 잘못된 직접 답변율(FDAR)을 5.07%로 낮추었으며 표준 GRPO에 비해 전체 환각 지표를 크게 감소시켰습니다.
• 궤적 수준 성능 (BFCL-V4 & ToolSandbox):
  • BFCL-V4에서, TRUST는 48.04%의 종합 점수(Qwen3-4B-Thinking 기준)를 달성하여 베이스 모델보다 9.43% 높았으며, 30B-A3B-Instruct와 같은 더 큰 모델보다 우수한 성능을 보였습니다. 특히 다회차(Multi-Turn, 49.62%) 및 무관성(Irrelevance, 84.84%) 시나리오에서 눈에 띄는 이득이 관찰되었습니다.
  • ToolSandbox에서, TRUST는 68.28%의 SOTA(State-of-the-art) 점수(Qwen3-8B-Base 기준)를 기록하여 궤적 수준의 GRPO 베이스라인보다 7.07% 높은 성능을 보였으며, 235B 파라미터 모델의 성능에 근접했습니다.
• 불확실성 캘리브레이션: 퍼플렉시티 분포 분석 결과, 표준 RL은 올바른 결정과 잘못된 결정 분포 사이의 중첩을 증가시킨 반면(IoU가 34.50%에서 70.21%로 상승), TRUST는 명확한 분리를 유지하여(IoU가 35.29%로 감소) 잘못된 결정이 높은 불확실성을 유지하도록 보장했습니다.
• 절제 연구 (Ablation Studies): 불확실성 반발 성분($c(s)$)을 제거했을 때 가장 큰 성능 저하가 발생하여, 지원되지 않는 도구 호출과 환각된 직접 답변을 억제하는 데 있어 이 성분의 결정적인 역할을 확인했습니다.

의의 및 주장

본 논문은 TRUST가 에이전트 RL에서의 "과도한 확신을 가진 실수(overconfident mistake)" 문제에 대한 강력한 솔루션을 제공한다고 주장합니다. 불확실성 정량화를 보상 함수에 직접 통합함으로써, TRUST는 모델의 내부 확신도가 결정의 정확성과 일치하도록 보장합니다. 이러한 정렬은 즉각적인 도구 호출 정확도를 높일 뿐만 아니라, 오류 전파를 방지함으로써 다회차 상호작용의 신뢰성을 향상시킵니다.

저자들은 TRUST가 의사결정 로직을 모델 가중치에 내재화함으로써 배포 시 추가적인 추론 지연이나 계산 오버헤드 없이 이러한 이득을 얻을 수 있다고 강조합니다. 또한, 이 프레임워크는 정밀한 턴 단위 결정 학습이 복잡하고 긴 의존성을 가진 도구 체인 워크플로우에서 일반화된 개선을 촉진할 수 있음을 보여줍니다. 결론적으로, 퍼플렉시티 기반 UQ 및 사전 정의된 행동 공간에 대한 의존성이라는 현재의 한계가 존재하지만, 제안된 접근 방식은 더 신뢰할 수 있고 자기 인식이 가능한 에이전트 시스템을 향한 중요한 진전입니다.