기술 요약: GOAT: 도구를 활용한 목표 지향적 에이전트 훈련 프레임워크

문제 제기

대형 언어 모델 (LLM) 은 외부 도구 (API) 를 호출할 수 있는 상호작용형 에이전트로 진화했습니다. 그러나 목표 지향적 쿼리를 처리하는 데에는 여전히 상당한 격차가 존재합니다. 단일 단계 쿼리나 명시적으로 지정된 지시를 포함하는 단순한 작업과 달리, 목표 지향적 작업은 에이전트가 고수준 목표를 상호 의존적인 API 호출 시퀀스로 분해해야 합니다. 이는 작업 분해를 위한 복잡한 추론, 장거리 계획 수립, 그리고 이전 호출의 출력에 기반하여 API 함수에 적합한 인자를 추론할 수 있는 능력을 요구합니다.

이러한 작업을 수행하는 에이전트를 훈련시키는 현재의 접근 방식은 고품질 훈련 데이터의 부재로 인해 제한을 받습니다. API 간 상호 의존성을 포착하는 데이터셋을 구축하는 것은 일반적으로 비용이 많이 드는 인간 주석이 필요하며, 이는 확장성이 없습니다. 결과적으로 대부분의 기존 방법은 작업별 감독 없이 복잡한 추론을 수행할 것으로 기대되는 제로샷 (zero-shot) 평가에 의존합니다. 독점 모델 (예: GPT-4) 은 일부 능력을 보여주지만, 더 작은 오픈소스 모델들은 종종 이러한 복잡한 도구 사용 시나리오를 효과적으로 실행하지 못합니다.

방법론: GOAT 프레임워크

데이터 부족 문제를 해결하기 위해 저자들은 GOAT(도구를 활용한 목표 지향적 에이전트) 를 제안합니다. 이는 인간 주석 없이 기존 API 문서에서 목표 지향적 API 실행 데이터를 합성하는 완전 자동화된 훈련 프레임워크입니다. 이 프레임워크는 대상 도메인의 API 문서가 일반적으로 제공되며 이를 훈련 데이터 구축에 활용할 수 있다는 전제에 기반합니다.

1. 자동 데이터셋 구축

GOAT 의 핵심 혁신은 기존 작업에서 사용된 "지시 우선 (instruction-first)"전략 (LLM 이 먼저 쿼리를 생성한 후 이를 API 호출에 매핑하려는 방식) 과 대비되는 호출 우선 (call-first) 생성 패러다임입니다. GOAT 는 "쉬운"사례에 대한 자기 강화 편향을 피하기 위해 이 흐름을 반전시킵니다.

데이터 구축 과정은 세 가지 주요 단계를 포함합니다:

• API 의존성 그래프 구축:

  • 파싱: API 문서를 파싱하여 입력/출력 사양을 추출합니다.
  • 그래프 초기화: 엣지가 잠재적 의존성 (API A 의 출력을 API B 의 입력으로 사용) 을 나타내는 완전 연결 다중 방향 그래프를 초기화합니다.
  • 점진적 필터링: 신뢰성을 확보하기 위해 그래프는 세 가지 필터링 단계를 거쳐 정제됩니다:
    1. 임베딩 유사성: SBERT 임베딩을 사용하여 의미적으로 호환되지 않는 엣지를 폐기하는 coarse 필터링.
    2. LLM 검증: 설명만으로 LLM 이 의미적 타당성을 평가합니다.
    3. 실행 검증: 가장 엄격한 단계로, LLM 이 인자를 생성하고 소스 API 를 실행한 후, 해당 출력이 목적지 API 의 매개변수를 유효하게 채울 수 있는지 확인합니다. 이를 통해 실행 가능한 워크플로우만 유지됩니다.

• 목표 지향적 데이터 합성:

  • 샘플링: 의존성 그래프에서 연결된 서브그래프 (유효한 API 시퀀스를 나타냄) 를 추출합니다.
  • 호출 우선 인스턴스화: 프레임워크는 API 시퀀스를 인스턴스화하고 실행하여 구체적인 출력을 생성합니다.
  • 쿼리 및 응답 생성: 실행된 시퀀스와 출력을 기반으로 LLM 은 고수준 목표를 포괄하는 자연어 사용자 쿼리와 결과를 해석하는 최종 응답을 생성합니다. 이를 통해 감독 신호 (API 호출 시퀀스) 가 현실에 기반하고, 쿼리가 그 현실의 추상화인 데이터셋이 생성됩니다.

2. 에이전트 훈련

이 프레임워크는 합성된 데이터셋에서 두 가지 구성 요소를 미세 조정합니다:

• LLM 에이전트: 올바른 호출 시퀀스를 계획하고, 인자를 채우며 (훈련 중 특정 값에 과적합을 방지하기 위해 인자 값은 마스킹됨), 최종 자연어 응답을 생성하도록 지시 미세 조정됩니다.
• 검색기 (Retriever): 사용자 쿼리를 관련 API 사양에 매핑하기 위해 진리값 (ground-truth) 쿼리-API 문서 쌍으로 훈련된 SBERT 기반의 밀집 검색 모델입니다.

주요 기여

1. GOAT 프레임워크: 인간 주석 없이 API 문서에서 목표 지향적 API 실행 데이터셋을 구축하는 독창적이고 완전 자동화된 훈련 프레임워크입니다. 실행 가능한 API 워크플로우에 데이터를 기반을 두어 복잡한 추론 학습을 위한 신뢰할 수 있는 감독을 제공하는 호출 우선 생성 전략을 도입했습니다.
2. 최첨단 성능: 광범위한 실험을 통해 GOAT 로 훈련된 에이전트가 오픈소스 모델을 사용하여 여러 기존 목표 지향적 벤치마크에서 최첨단 성능을 달성했으며, 일부 경우 강력한 추론 능력을 가진 독점 모델을 능가함을 입증했습니다.
3. GOATBench: 목표 지향적 작업을 위한 새로운 대규모 평가 벤치마크의 도입입니다. 경량 인간 검증을 통해 GOAT 파이프라인을 사용하여 구축되었으며, 다양한 도메인 (엔터테인먼트, 금융, 음식, 여행) 을 포괄하며 일반화를 테스트하기 위해 "보인 (seen)"및 "보이지 않은 (unseen)"API 조합을 모두 포함합니다.

실험 결과

저자들은 RestBench, API-Bank, 그리고 새로운 GOATBench에서 GOAT 를 평가했습니다.

• RestBench: GOAT 로 미세 조정된 오픈소스 모델 (Llama-2-13B, Vicuna-13B) 은 제로샷 베이스라인 및 이전 오픈소스 방법 (RestGPT) 보다 상당한 개선을 보였습니다. 일부 경우 GPT-4 와 같은 독점 모델을 능가했습니다.
• API-Bank: GOAT 로 훈련된 모델은 제로샷 베이스라인 및 기타 합성 데이터 접근법보다 현저히 우수한 성과를 거두었으며, 더 높은 성공률과 올바른 경로 비율을 달성했습니다.
• GOATBench: GOAT 로 훈련된 에이전트는 미세 조정되지 않은 모델 및 지시 우선 데이터 (예: ToolLLM 에서의 데이터) 로 훈련된 모델보다 일관된 향상을 보였습니다. 이 프레임워크는 단일 도구 및 도구 간 (다중 API) 시나리오 모두에서 효과적이었습니다.
• Ablation 연구:
  • 호출 우선 vs. 지시 우선: 호출 우선 데이터로 훈련된 모델은 일관되게 지시 우선 데이터로 훈련된 모델보다 높은 성공률을 달성하여, 복잡한 추론에 대한 더 나은 감독을 제공할 수 있음을 검증했습니다.
  • 일반화: GOATBench 로 훈련된 모델은 보이지 않는 API 및 벤치마크 간 일반화 (예: GOATBench 에서 훈련하고 RestBench 에서 테스트) 에서 성능 향상을 보였으나, 도메인 내에서의 개선이 더 두드러졌습니다.

중요성 및 주장

이 논문은 GOAT 가 복잡한 추론과 도구 사용을 수행할 수 있는 견고한 오픈소스 LLM 에이전트 구축을 위한 실용적이고 확장 가능한 경로를 제공한다고 주장합니다. 비용이 많이 드는 인간 주석에 대한 의존성을 제거하고 "호출 우선"패러다임을 활용함으로써 GOAT 는 LLM 의 효율적인 도메인별 적응을 가능하게 합니다. 결과는 이러한 합성 데이터로 적절히 미세 조정된 오픈소스 모델이 목표 지향적 도구 사용에서 독점 모델과 경쟁하거나 그 성능을 능가할 수 있음을 시사하며, 에이전트 AI 시스템 배포의 중요한 병목 현상을 해결합니다.

저자들은 한계를 인정하며, 프레임워크가 도메인 내 성능을 향상시키지만 완전히 보이지 않는 시나리오로의 일반화는 여전히 제한적이며, 생성된 데이터의 품질은 소스 API 문서의 품질에 의존한다고 지적합니다. 그럼에도 불구하고 이 작업은 인간 개입 없이 상호 의존적인 도구 사용을 위한 에이전트 훈련을 위한 새로운 기준을 확립합니다.