JTPRO: 대규모 도구 인벤토리를 위한 결합 도구 - 프롬프트 반성 최적화 프레임워크

이 논문은 외부 도구를 활용하는 대규모 언어 모델 (LLM) 에이전트가 도구의 수가 증가하고 도메인 특화될 때 발생하는 신뢰성 문제를 해결하기 위해 제안된 JTPRO (Joint Tool-Prompt Reflective Optimization) 프레임워크에 대해 다룹니다. Oracle AI 연구팀이 개발한 이 방법은 모델의 가중치 수정 (파인튜닝) 없이, 실행 궤적 (trace) 을 기반으로 전역 지시문과 도구 스키마를 동시에 최적화하여 도구 호출의 정확성을 극대화합니다.

1. 문제 정의 (Problem Statement)

LLM 에이전트가 외부 도구 (API 등) 를 활용하는 환경에서 도구의 수가 수백 개로 늘어나고 도메인이 특화되면 다음과 같은 주요 문제가 발생합니다.

• 도구 오선택 (Tool Mis-selection): 모호한 도구 설명과 불충분한 지시문으로 인해 에이전트가 잘못된 도구를 선택합니다.
• 슬롯/값 인스턴스화 오류 (Incorrect Slot/Value Instantiation): 올바른 도구를 선택하더라도, 인자 (argument) 의 형식이나 값이 잘못 채워지는 경우가 빈번합니다.
• 기존 접근법의 한계:
  • 전역 프롬프트의 취약성: 모든 도구를 설명하는 긴 전역 프롬프트는 에이전트가 이를 따르기 어렵게 만들며, 도구 간의 모호성을 해결하지 못합니다.
  • 고립된 최적화: 기존 연구들은 전역 지시문 (Global Instructions) 만 최적화하거나 도구 스키마 (Tool Schemas) 만 최적화하는 경우가 많았습니다. 그러나 도구 선택과 인자 채움은 서로 밀접하게 연관되어 있어, 한 부분만 고립적으로 최적화하면 전체 성공률 (OSR) 향상에 한계가 있습니다.
  • 스케일링 실패: 도구의 수가 300 개에서 1000 개로 증가할수록 도구 선택 정확도 (TSA) 가 급격히 떨어지며, 이는 전체 성공률 저하로 이어집니다.

2. 방법론 (Methodology: JTPRO)

JTPRO 는 모델 가중치를 변경하지 않고, 반성 (Reflection) 기반의 최적화 루프를 통해 전역 지시문 ($P$) 과 각 도구의 스키마/인자 설명 ($\{T_i\}$) 을 동시 (Jointly) 로 개선하는 프레임워크입니다.

핵심 프로세스

1. 후보 선택 (Candidate Selection): Pareto 기반 샘플링을 사용하여 현재 가장 좋은 성능을 보이는 전역 지시문과 도구 스키마 조합을 선택합니다.
2. 롤아웃 및 진단 (Rollouts & Diagnostics): 선택된 컨텍스트로 에이전트를 실행 (Rollout) 하고, 정답 (Gold Trace) 과 비교하여 실패 신호 (Tool confusion, 누락된 슬롯, 형식 오류 등) 를 추출합니다.
3. 반성 기반 로컬 편집 (Reflective Localized Edits): 추출된 실패 신호를 바탕으로 'Reflector'가 전역 지시문과 관련된 특정 도구 스키마에 대해 표적 편집 (Targeted Edits) 을 제안합니다.
   • 예: 두 개의 유사한 도구 (get_all_countries vs get_countries_list) 가 혼동될 경우, 각 도구의 설명에 구체적인 사용 조건 (예: "투자 관련 쿼리는 get_countries_list 사용") 을 추가합니다.
4. 점진적 통합 (Merge-with-Best): 새로 편집된 지시문과 기존에 검증된 최선의 지시문을 병합하여 "성장하는 플레이북 (Growing Playbook)"을 유지합니다. 이는 새로운 도구가 추가되더라도 기존 규칙이 유지되도록 합니다.
5. 슬롯 의미의 전역화 (Globalizing Slot Semantics):
   • 여러 도구에 반복적으로 나타나는 공통 슬롯 (날짜/시간, 숫자 범위, 부울 값, 통화 단위 등) 에 대한 설명을 도구별 스키마에서 제거하고 전역 지시문 ($P$) 에 하나의 표준 규칙으로 통합합니다.
   • 각 도구 스키마에서는 이 전역 규칙을 참조하는 짧은 포인터만 남깁니다.
   • 효과: 중복된 텍스트를 줄이고, 일관된 의미 체계를 강제하며, 도구별 예외 사항 (Disambiguation cues) 에 집중할 수 있는 공간을 확보합니다.

3. 주요 기여 (Key Contributions)

1. 결합 최적화 (Joint Optimization): 전역 지시문과 도구별 스키마/인자 설명을 분리하지 않고 동시에 최적화합니다. 이는 도구 선택과 인자 채움의 상호 의존성을 해결하여 전체 성공률 (OSR) 을 극대화합니다.
2. 반성 기반의 국소적 편집과 통제된 성장: 실행 피드백을 기반으로 체계적인 오류를 진단하고, 전역 규칙과 도구별 설명에 표적 수정을 가합니다. 전역화 (Globalization) 기법을 통해 컨텍스트의 불필요한 팽창 (Context Bloat) 을 방지하면서도 도구별 고유한 구별 기준은 유지합니다.
3. 실제 제약 조건 하의 실증 평가: 단일 도구, 다중 도구 병렬 호출, 대규모 도구 인벤토리 (1000 개 이상) 등 다양한 시나리오에서 JTPRO 의 유효성을 입증했습니다. 모델 파인튜닝 없이도 기존 강력한 베이스라인 (CoT, GEPA 등) 을 능가하는 성능을 보여줍니다.

4. 실험 결과 (Results)

논문은 세 가지 벤치마크 (ToolACE, ETID, SEAL-Tools) 를 통해 JTPRO 를 평가했습니다.

• ToolACE (도구 확장성 테스트):

  • 도구 수가 500 개에서 1000 개로 증가할 때, 베이스라인의 도구 선택 정확도 (TSA) 와 전체 성공률 (OSR) 이 급격히 하락했습니다.
  • JTPRO 는 모든 모델 (GPT-4o mini, o3-mini, GPT-5) 에서 OSR 을 5%~20% (상대적) 개선했습니다. 특히 1000 개 도구 환경에서 o3-mini 기준 OSR 이 13.2%p 상승했습니다.
  • 도구 선택의 정확도 향상과 함께, 도구별 모호성을 해결하여 인자 채움 정확도도 함께 개선되었습니다.

• ETID (복잡한 슬롯 채움 테스트):

  • 복잡한 스키마를 가진 기업용 도구 환경에서는 도구 선택이 잘 되더라도 (TSA 높음), 인자 채움 오류 (SFA 낮음) 로 인해 전체 성공률이 낮았습니다.
  • JTPRO 는 슬롯 채움 정확도 (SFA) 를 크게 향상시켜 OSR 을 15~20%p 이상 끌어올렸습니다. 이는 복잡한 인자 구조를 가진 환경에서 전역 규칙과 도구 설명의 결합 최적화가 필수적임을 보여줍니다.

• SEAL-Tools (다중 도구 병렬 호출):

  • 하나의 쿼리에 대해 평균 3.2 개의 도구를 병렬로 호출해야 하는 환경에서도 JTPRO 는 SFA 와 OSR 을 일관되게 개선했습니다.

• 분석:

  • JTPRO 는 도구 설명의 모호성을 제거하기 위해 약 11% 의 도구 설명을 수정했으며, 유사한 도구 그룹 간의 의미적 유사성 (Cosine Similarity) 을 평균 16.6% 감소시켜 구별력을 높였습니다.
  • 슬롯 의미의 전역화 기법은 중복된 설명을 줄이고 일관성을 높이는 데 기여했습니다.

5. 의의 및 결론 (Significance)

JTPRO 는 대규모 도구 인벤토리 환경에서 LLM 에이전트의 신뢰성을 높이는 실용적이고 효율적인 프레임워크를 제시합니다.

• 파인튜닝 불필요: 모델 재학습 없이 프롬프트와 스키마만 최적화하여 비용과 시간을 절감합니다.
• 상호 의존성 해결: 도구 선택과 인자 채움이라는 두 가지 핵심 실패 모드를 동시에 해결함으로써, 단순한 도구 선택 개선만으로는 달성할 수 없는 높은 전체 성공률 (OSR) 을 달성합니다.
• 확장성: 전역화 (Globalization) 기법을 통해 도구 수가 수천 개로 늘어나도 컨텍스트 크기를 통제하면서 일관된 성능을 유지할 수 있습니다.

이 연구는 에이전트 시스템이 복잡한 현실 세계의 도구 생태계에서 안정적으로 작동하기 위해서는 전역적인 의사결정 규칙과 도구별 세부 스키마의 동시 최적화가 필수적임을 입증했습니다.