기술 요약: TIER – 다단계 도구 조합을 위한 궤도 불변 실행 보상

문제 제기

대형 언어 모델 (LLM) 은 단일 단계 도구 사용에서 뛰어난 능력을 입증해 왔으나, 다단계 도구 조합이 요구되는 작업에서는 심각한 어려움을 겪습니다. 필요한 도구 호출의 깊이가 증가할수록 (예: 목적지를 결정하기 위해 항공편 정보를 검색한 후 해당 목적지의 날씨를 확인하는 경우) 성능이 급격히 저하됩니다. 기존 강화 학습 (RL) 접근법은 보상 설계의 한계로 인해 이러한 환경으로 확장하는 데 실패합니다:

1. 결과 기반 보상: 작업 완료 시에만 희소하고 이진적인 피드백 (성공/실패) 을 제공합니다. 이는 도구 선택, 인수 지정, 실행 순서와 같은 중간 단계의 의사결정에 대한 신용 할당을 극도로 어렵게 만들어, 얕은 깊이 이상에서 학습 붕괴를 초래합니다 (예: 1 단계에서 94% 이상의 정확도에서 4 단계 이상에서는 0% 로 하락).
2. 궤도 감독 보상: 세밀한 피드백을 제공하기 위해 주석 처리된 참조 궤도에 의존합니다. 더 밀집된 신호를 제공하지만, 특정 참조 경로에서 벗어난 유효한 대안 솔루션에 대해 패널티를 부과합니다. 이러한 경직성은 조합 깊이에 따라 유효한 실행 경로의 수가 증가함에 따라 치명적인 병목 현상이 되어, 더 깊은 수준에서 학습 불안정성과 실패를 초래합니다.

방법론: TIER 프레임워크

저자들은 주석 처리된 참조 궤도가 필요 없는 함수 스키마와 런타임 실행에서 직접 감독 신호를 도출하는 보상 프레임워크인 **TIER(궤도 불변 실행 보상)**를 제안합니다.

핵심 원칙: 궤도 불변성

보상 함수가 생성된 시퀀스의 검증 가능한 속성과 도구 환경에만 의존하고, 참조 궤도와의 유사성에는 의존하지 않을 때 이를 궤도 불변이라고 합니다. 이는 다음을 보장합니다:

• 모든 유효한 솔루션 경로는 순서나 교환 법칙적 연산과 관계없이 최대 보상을 받습니다.
• 유효하지 않은 솔루션은 위반하는 특정 속성에 따라 차별화되어, "황금" 경로에 대한 참조 없이도 등급이 매겨진 학습 신호를 제공합니다.

보상 분해

총 보상 $R_{total}$은 생성된 도구 호출 시퀀스당 계산되며 $[0, 1]$로 스케일링됩니다. 이는 네 가지 고유한 구성 요소로 분해됩니다:

1. 형식 유효성 ($R_{format}$): 도구 호출의 추문 구문 트리 (AST) 가 잘 형성되어 파싱 가능한지 확인하는 이진 체크 (0 또는 1) 입니다. 여기서 실패하면 하류 모든 보상이 0 이 됩니다.
2. 스키마 준수 / 파싱 ($R_{parse}$): 다음을 확인하는 등급 점수 (0~3) 입니다:
   • 이름 유효성: 모든 도구 이름이 스키마에 존재하는지 여부.
   • 인수 및 타입 정확성: 함수 스키마에 대한 인수 이름과 데이터 타입의 불일치에 대한 패널티.
3. 실행 성공 ($R_{exec}$): 시퀀스 내 모든 도구 호출이 런타임 오류 없이 성공적으로 실행되는지 확인하는 이진 체크 (0 또는 1) 입니다. $k$단계에서의 실패가 하류 종속 호출을 무효화하므로 "전부 아니면 전무" 규칙을 사용합니다.
4. 정답 정확도 ($R_{answer}$): 최종 합성된 답변이 기대되는 정답과 일치하는지 확인하는 이진 체크 (0 또는 5) 입니다. 이 구성 요소는 형식 및 실행 제약 조건은 충족하지만 실제 작업에는 실패하는 "보상 해킹"을 방지하기 위해 가중치가 높게 설정됩니다.

학습 설정

• 알고리즘: 이 프레임워크는 그룹 정규화 이점을 사용한 GRPO 스타일 정책 경계 목적 함수로 최적화됩니다.
• 중간 표현 (IR): 모델은 JSON 기반 AST 로 구조화된 도구 호출을 생성하며, 이는 결정론적 백엔드에 대해 파싱되고 실행됩니다.
• 중립성: 보상 수식은 특정 RL 최적화 알고리즘과 무관합니다 (GRPO, 배치 정규화 GRPO, DAPO 에서 검증됨).

주요 기여

1. TIER 보상 프레임워크: 함수 스키마와 실행 피드백을 활용하여 비용이 많이 드는 인간 주석 참조 궤도에 대한 의존성을 제거하는 궤도 불변 보상 시스템.
2. DepthBench: 0 에서 6 단계까지의 깊이로 계층화된 다단계 도구 조합을 평가하도록 특별히 설계된 새로운 벤치마크. 실행 가능한 백엔드를 갖춘 163 개의 수동 제작 도구에 대한 1,710 개의 쿼리를 포함하여 구성 일반화의 체계적인 분석을 가능하게 합니다.
3. 다단계 감독의 실증적 검증: 논문은 구성 도구 학습이 구문 (형식), 구조 (스키마), 기능 (실행) 수준에서 동시적인 감독을 필요로 함을 입증합니다. 제거 실험 (Ablation studies) 은 어떤 구성 요소라도 제거하면 더 깊은 조합에서 치명적인 실패가 발생함을 보여줍니다.

실험 결과

저자들은 TIER 를 DepthBench, BFCL v3, NestFUL 에서 평가하여 결과 기반 베이스라인 (Simple-RL) 과 궤도 감독 베이스라인 (ToolRL) 과 비교했습니다.

• DepthBench 성능:
  • TIER: 모든 조합 깊이 (1~6 단계) 에서 90% 이상의 정확도를 달성했으며, 5 단계 및 6 단계에서도 90% 의 정확도를 기록했습니다.
  • Simple-RL(결과 기반): 1 단계에서 94% 였던 정확도가 4 단계 이상에서는 **0%**로 붕괴되었습니다.
  • ToolRL(궤도 감독): 5 단계 및 6 단계에서 성능이 크게 저하되어 **0%**의 정확도에 도달했으며, 유효한 대안 경로에 패널티를 부과하는 것이 깊은 조합을 방해함을 확인했습니다.
• 외부 벤치마크:
  • BFCL v3: TIER 는 전체 정확도 (68.92%) 에서 ToolRL(37.27%) 과 Simple-RL(66.30%) 을 능가하는 최상의 성과를 거두었습니다. 특히 ToolRL 은 적응형 의사결정이 필요한 "멀티턴" 및 "무관함" 카테고리에서 실패했습니다.
  • NestFUL: TIER 는 0.684 의 정확한 일치 정확도를 달성하여 ToolRL(0.476) 을 크게 능가했으며, 3 샷 설정에서 GPT-4o, DeepSeek-V3 와 같은 훨씬 더 큰 모델들을 능가했습니다.
• 제거 실험 통찰:
  • 부분 보상 (예: 파싱 없이 실행 추가) 은 모델이 정확성을 무시하고 실행 보상을 극대화하기 위해 "안전한" 도구로 쿼리를 라우팅하는 "보상 해킹"을 초래했습니다.
  • 오직 완전하고 분해된 보상만이 높은 성능으로의 안정적인 수렴을 가능하게 했으며, 이는 구성 요소들이 상호 보완적이며 교체 불가능함을 강조합니다.

의의 및 주장

이 논문은 RL 기반 LLM 의 다단계 도구 조합에서 보상 설계가 주요 병목 현상이라고 주장합니다. 참조 궤도 의존성에서 실행 기반 궤도 불변 감독으로 전환함으로써 TIER 는 이전에 해결 불가능했던 복잡한 다단계 추론 전략을 모델이 학습할 수 있게 합니다.

저자들은 다음을 강조합니다:

• 확장성: TIER 는 참조 데이터의 재주석이 필요 없이 진화하는 도구 인터페이스에 자연스럽게 적응합니다.
• 일반화: 이 접근법은 실제 세계 함수 호출 환경 (BFCL v3) 과 중첩된 API 조합 (NestFUL) 으로 효과적으로 이전됩니다.
• 세분화의 필요성: 성공적인 구성적 추론은 단일 목표가 아니라 형식, 스키마, 실행 수준에서 동시적인 감독을 필요로 하는 다단계 신용 할당 문제입니다.

이 작업은 TIER 가 확장 가능한 다단계 도구 사용을 위한 견고한 기반을 제공한다고 결론지었으며, 확률적 실제 세계 환경에 대한 한계와 현재 단일 턴 학습에 초점을 맞추고 있다는 점을 인정합니다.