🤖 AI

Simulating Complex Multi-Turn Tool Calling Interactions in Stateless Execution Environments

본 논문은 상태 없는 실행 환경에서 사용자 요청 내에 도구 호출을 암시적으로 표현함으로써 복잡한 다회전 도구 호출 대화를 합성하는 새로운 데이터 생성 방법인 DiGiT-TC를 소개하며, 이를 통해 상태 유효성 검사에 의존하지 않고도 소형 언어 모델을 효과적으로 미세 조정할 수 있게 합니다.

원저자: Maxwell Crouse, Ibrahim Abdelaziz, Kshitij Fadnis, Siva Sankalp Patel, Kinjal Basu, Chulaka Gunasekara, Sadhana Kumaravel, Asim Munawar, Pavan Kapanipathi

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Maxwell Crouse, Ibrahim Abdelaziz, Kshitij Fadnis, Siva Sankalp Patel, Kinjal Basu, Chulaka Gunasekara, Sadhana Kumaravel, Asim Munawar, Pavan Kapanipathi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇 집사를 복잡한 용건을 처리하도록 가르친다고 상상해 보세요. 예를 들어 "영화를 찾고, 상영 시간을 확인한 뒤, 이용 가능한 첫 번째 영화의 티켓을 구매하라"는 명령을 내리는 것입니다.

실제 세계에서는 이 로봇을 테스트할 때, 실제 영화관 시스템에서 해당 명령을 실제로 실행하게 합니다. 데이터베이스를 확인하는 과정을 지켜보고, 결과를 본 뒤 티켓을 구매하게 하죠. 만약 성공한다면, 로봇이 잘 학습했다는 것을 알 수 있습니다. 지금까지 대부분의 AI 연구자들이 해온 일이 바로 이것입니다. 로봇이 실제로 무언가를 만지고 변경할 수 있는 '장난터' (stateful environment) 를 구축한 것이죠.

문제점:
하지만 로봇이 실제 세계에 손을 대게 할 수 없는 경우가 있습니다. 데이터가 너무 민감할 수 있습니다 (예: 은행의 비밀 고객 명단). 혹은 '장난터'를 구축하는 비용이 너무 비쌀 수도 있습니다. 이런 경우, 로봇을 실행시켜 테스트할 수 없습니다. 대신 실제 결과를 한 번도 보지 못한 채 도구 명세 (tool specifications) 라는 명령 목록만으로 로봇을 가르쳐야 합니다.

대부분의 기존 방법들은 로봇이 실제로 명령을 실행한 것처럼 가장함으로써 이를 모방하려 했습니다. 하지만 그들은 인간 대화의 중요한 부분을 놓쳤습니다. 바로 **암시적 단계 (Implicit Steps)**입니다.

인간 비서에게 "첫 번째 상영 시간에 티켓을 예약하라"고 요청할 때, 당신은 "먼저 '상영 시간 확인' 도구를 실행하고, 그 다음 '티켓 예약' 도구를 실행하라"고 말하지 않습니다. 단지 목표만 제시할 뿐입니다. 비서는 당신이 말하지 않았더라도 먼저 확인해야 한다는 것을 알고 있습니다. 이것이 바로 암시적 도구 호출입니다. 기존 방법들은 로봇이 스스로 이러한 숨겨진 단계를 찾아내도록 가르치는 훈련 데이터를 만드는 데 어려움을 겪었습니다.

해결책: DiGiT-TC (역공학 방법)
IBM 연구자들은 DiGiT-TC라는 새로운 방법을 도입했습니다. 로봇에게 "다음에 무엇을 해야 할까?"라고 묻는 대신, 접근 방식을 뒤집은 것입니다.

이를 마치 영화 감독이 거꾸로 작업하는 것과 같이 생각해 보세요:

감독이 먼저 대본을 씁니다: 시스템은 먼저 강력한 AI 에게 문제를 해결하기 위해 로봇이 취해야 할 전체 행동 순서를 작성하도록 요청합니다 (예: 상영 시간 확인 -> 티켓 예약).
'편집자'가 단서를 숨깁니다: 시스템은 그 다음 교묘한 편집자 역할을 합니다. 그 완전한 대본을 가져와 '사용자'에게 숨겨야 할 단계를 결정합니다. 최종 목표 (티켓 예약) 는 보이게 하되, 중간 단계 (상영 시간 확인) 는 숨깁니다.
'번역가'가 프롬프트를 작성합니다: 이제 시스템은 AI 에게 오직 보이는 부분에만 부합하는 사용자 요청을 작성하도록 요청합니다. 따라서 사용자는 "첫 번째 상영 시간에 티켓을 예약해 달라"고 말하고, AI 는 숨겨진 "상영 시간 확인" 단계를 스스로 찾아내야 한다는 것을 알게 됩니다.
'이중 확인' (역번역): AI 가 혼동하지 않았는지 확인하기 위해 시스템은 "역방향 테스트"를 실행합니다. 사용자의 요청 ("티켓을 예약해...") 을 가져와 AI 에게 처음부터 이를 해결하도록 요청합니다. 만약 AI 가 원래 대본과 정확히 동일한 숨겨진 단계를 도출해 낸다면, 그 데이터는 양호한 것입니다. 만약 AI 가 잘못하면 그 데이터는 폐기됩니다.

이것이 중요한 이유:
이러한 "역공학" 접근 방식을 통해 연구자들은 로봇이 빈칸을 채우는 법을 배우는 방대한 훈련 데이터 라이브러리를 만들었습니다. 그들은 이를 표준 "시험" 벤치마크 (BFCL 및 τ-bench 등) 에서 테스트한 결과, 다음과 같은 사실을 발견했습니다:

이 데이터로 훈련된 로봇은 다단계 작업 처리 능력이 크게 향상되었습니다.
최상위 폐쇄형 소스 모델로 생성된 훨씬 더 비싼 데이터로 훈련된 로봇만큼, 혹은 그 이상으로 성능을 발휘했습니다.
이 방법은 로봇을 테스트할 실제 "장난터"가 없어도 작동하므로, 은행이나 병원과 같은 민감한 환경에서도 안전하게 사용할 수 있습니다.

결론:
이 논문은 "거꾸로" 데이터를 생성함으로써 (해결책에서 시작해 질문으로 나아가는 방식), 실제 민감한 데이터 시스템에 접근하지 않고도 작고 저렴한 AI 모델이 크고 비싼 모델만큼 복잡한 다단계 작업을 처리하도록 가르칠 수 있다고 주장합니다. 연구자들은 모든 코드와 데이터를 누구나 사용할 수 있도록 공개했습니다.

기술 요약: 상태 비저장 실행 환경에서 복잡한 다회전 도구 호출 상호작용 시뮬레이션

문제 제기

합성 데이터는 복잡한 다회전 도구 호출을 처리하도록 비용 효율적인 소형 대규모 언어 모델 (LLM) 을 미세 조정하는 데 필수적인 자원입니다. 그러나 이러한 데이터를 생성하는 기존 프레임워크들은 종종 상태 저장 실행 환경의 가용성을 전제합니다. 이러한 환경에서 상호작용의 유효성은 실행 상태가 사전에 지정된 목표와 일치하는지에 따라 결정됩니다.

이 가정은 많은 실제 시나리오, 특히 데이터 보안이 라이브 백엔드에 대한 특권적 접근을 금지하는 기업 환경이나 통합된 상태 없이 여러 소스에서 도구 명세가 합성된 경우 등에서 실패합니다. 또한, 최상위 오픈 언어 모델 중 다수는 오직 시뮬레이션만 가능한 LLM 생성 도구에 기반한 합성 데이터로 훈련됩니다. 현재 방법론들은 실제 상태 저장 백엔드에 접근하지 않고서는 암시적 도구 호출(사용자 요청이 필요한 모든 도구를 명시적으로 지정하지 않는 경우) 을 포함하는 의미 있게 복잡한 다회전 상호작용을 생성하는 데 어려움을 겪습니다.

방법론: DiGiT-TC

저자들은 DiGiT-TC(Tool-Calling 을 위한 데이터 생성 및 변환) 를 소개합니다. 이는 상태 저장 탐색의 복잡성을 모방하는 합성 다회전 도구 호출 대화를 생성하도록 설계된 프레임워크로, 상태 비저장 환경에서 운영됩니다. 핵심 혁신은 생성 과정의 "반전"에 있습니다. 사용자 요청을 생성한 후 도구 호출을 유도하는 대신, DiGiT-TC 는 먼저 도구 호출 시퀀스를 생성한 후 이에 상응하는 사용자 요청을 구성합니다.

이 프레임워크는 다음과 같은 단계를 통해 작동합니다:

초기화: 대화는 빈 메시지 목록, 샘플링된 도구 집합, 그리고 사용자 페르소나로 초기화됩니다. 페르소나는 샘플링된 도구와 관련된 구체적인 세부 사항 (예: 위치, 직업) 으로 보강됩니다.
계획 증류 (Plan Distillation):
- LLM 이 페르소나와 도구를 기반으로 도구 호출의 원시 시퀀스 ( $S$ ) 를 생성합니다. 이러한 호출에는 도구 간 참조 (예: 호출 간 데이터 전달을 위한 Pythonic 도트 표기법인 $1.output 사용) 가 포함됩니다.
- 이 시퀀스는 방향성 비순환 그래프 (DAG) 로 간주됩니다. 프레임워크는 가장 큰 연결 요소를 선택하고 중복되거나 연결되지 않은 도구 호출을 필터링하여 이를 더 간결한 부분 시퀀스로 증류합니다.
요청 생성 (암시적 도구 호출 선택):
- 증류된 시퀀스 $S$ 는 명시적 ( $E$ ) 과 암시적 ( $I$ ) 두 집합으로 분할됩니다.
- 알고리즘이 암시적 집합의 목표 크기를 무작위로 선택합니다. 그런 다음 다른 요소들의 의존성이 아닌 $S$ 의 요소들을 반복적으로 제거하여, 남은 암시적 집합이 명시적 집합에 필수적이지만 사용자가 직접 언급하지 않은 도구 호출을 포함하도록 합니다.
- LLM 은 $I$ 의 도구를 직접 언급하지 않으면서 시퀀스 $E$ 를 명시적으로 타겟팅하는 사용자 요청 ( $r$ ) 을 생성합니다.
- 검증: 사용자 요청이 도구 시퀀스의 단순한 전사가 아님을 보장하기 위해, 프레임워크는 도구 호출의 인자 순위와 사용자 요청에 나타나는 순서 간의 켄달의 $\tau_b$ 상관 계수를 계산합니다. 상관 계수가 너무 높다면 (선형적이고 명시적인 매핑을 나타냄), 해당 예시는 필터링됩니다.
역번역 (Back Translation):
- 노이즈를 완화하고 생성된 사용자 요청이 의도된 도구 시퀀스로 실제로 이어지도록 보장하기 위해, 프레임워크는 역번역 단계를 수행합니다.
- LLM 은 생성된 사용자 요청 ( $r$ ) 과 사용 가능한 도구 만을 기반으로 새로운 도구 시퀀스 ( $S'$ ) 를 예측하도록 프롬프트됩니다.
- 시스템은 원래 시퀀스 $S$ 의 "리프 (최종 출력)"가 $S'$ 에 표현되어 있는지 검증합니다. 조건 leaves(S) \ leaves(S') = ∅가 실패하면 해당 예시는 폐기됩니다.
종료 및 증강:
- 실행 및 요약: 도구 호출은 LLM 을 통해 시뮬레이션 (실행) 되어 변수 값을 대체하고 결과 요약을 생성합니다.
- 오류 증강: 프레임워크는 두 가지 유형의 오류를 시뮬레이션하여 복잡성을 도입합니다:
  - 인간 오류: 명확화가 필요한 해결 불가능하거나 불완전한 사용자 요청.
  - 도구 실행 오류: 올바른 해결책으로 모델을 안내하는 힌트 (LLM 에 의해 생성됨) 가 뒤따르는 시뮬레이션된 잘못된 도구 호출.

주요 기여

암시적 호출의 상태 비저장 생성: DiGiT-TC 는 상태 저장 실행 백엔드가 필요 없이 암시적 도구 호출을 포함하는 복잡한 다회전 상호작용을 체계적으로 생성하는 최초의 프레임워크입니다.
선택적 생성 전략: 생성 순서를 반전 (도구 호출 $\to$ 사용자 요청) 함으로써, 어떤 호출이 명시적이고 어떤 호출이 암시적인지에 대한 세밀한 제어를 얻습니다.
역번역을 통한 노이즈 완화: 역번역 단계의 도입은 생성된 사용자 요청이 견고하며 의도된 도구 시퀀스에 충실히 매핑되도록 보장하여 환각이나 불일치를 필터링합니다.
오픈 소스 생태계: 저자들은 데이터 생성 프레임워크, 프롬프트, 그리고 결과 데이터셋 (5,000 개 데이터 포인트) 을 완전히 오픈 소스로 공개했습니다. 이 모든 것은 라이선스 친화적인 오픈 가중치 교사 모델인 GPT-OSS-120B를 사용하여 생성되었습니다.

실험 결과

저자들은 DiGiT-TC 를 BFCL(Berkeley Function Calling Leaderboard), $\tau$ -bench, ACEBench라는 세 가지 표준 벤치마크에서 평가했습니다.

성능 향상: DiGiT-TC 데이터로 베이스 모델 (예: Granite-4.1-3B, Llama3.1-8B-Inst) 을 미세 조정한 결과, 베이스 모델 대비 유의미한 성능 향상 (6~25 퍼센트 포인트 범위) 이 나타났습니다.
벤치마크 비교:
- BFCL Multi-Turn 카테고리에서 DiGiT-TC(Llama3.1-8B-Inst 사용) 는 **35.5%**의 정확도를 달성하여 ToolWeave(25.0%) 와 Magnet(26.5%) 과 같은 다른 오픈 데이터 접근법을 능가했으며, 프런티어 데이터로 훈련된 모델 (예: 40.3% 의 ToolACE-MT) 의 성능에 근접했습니다.
- 이 방법은 $\tau$ -bench와 ACEBench 전반에서 강력한 일반화 능력을 보여주었으며, 오픈 소스 데이터만으로 훈련된 기존 접근법들을 일관되게 능가했습니다.
Ablation 연구:
- 암시적 도구 호출을 제거하면 성능이 4% 하락하여 복잡한 추론에 대한 이들의 필요성이 확인되었습니다.
- 역번역을 제거하면 3% 하락하여 노이즈 감소에서의 역할을 강조했습니다.
- 더 작은 교사 모델 (GPT-OSS-20B) 을 사용하면 약 2% 하락하여, 더 큰 모델이 도움이 되지만 접근 가능한 소형 모델로도 방법이 효과적임을 시사했습니다.

중요성과 주장

이 논문은 DiGiT-TC 가 에이전트 AI 개발의 중요한 격차를 해소한다고 주장합니다. 즉, 실제 상태 저장 백엔드에 접근하는 것과 관련된 개인정보 보호 위험과 비용을 없이 복잡한 다회전 도구 호출 데이터로 소형 모델을 훈련할 수 있는 능력입니다.

개인정보 보호 및 확장성: 도구 명세와 오픈 가중치 모델에만 의존함으로써 기업 백엔드와의 인터페이스에서 발생하는 데이터 보안 위험을 회피합니다.
비용 효율성: 저자들은 GPT-OSS-120B 를 사용하는 것이 GPT-4o 와 같은 프런티어 모델을 사용하는 것보다 훨씬 저렴하다고 지적합니다 (예시당 약 $0.015 대 GPT-4 의 훨씬 높은 비용). 이는 고품질 합성 데이터 생성을 더 넓은 범위의 실무자들이 접근 가능하게 만듭니다.
오픈 모델의 최첨단 성능: 이 작업은 오픈 소스 오픈 가중치 교사 모델이 생성한 데이터만으로 훈련된 모델들 간의 다회전 도구 호출 성능에 있어 새로운 최첨단 (State-of-the-Art) 을 설정합니다.

저자들은 시스템 상태의 완전한 시뮬레이션이 가능한 작업의 경우, 그 상태를 활용하는 방법들이 여전히 우월할 수 있음을 겸손하게 인정합니다. 그러나 DiGiT-TC 는 그러한 환경이 부재할 때 고품질 훈련 데이터를 생성하기 위한 견고하고 반복 가능한 프로세스를 제공합니다.