Dynamic Tool Dependency Retrieval for Efficient Function Calling

이 논문은 실행 컨텍스트와 초기 쿼리를 모두 고려하여 도구 간 동적 의존성을 모델링하는 '동적 도구 의존성 검색 (DTDR)'을 제안함으로써, 기존 정적 검색 방식 대비 함수 호출 성공률을 23% 에서 104% 까지 획기적으로 향상시킨다고 요약할 수 있습니다.

핵심

🍳 비유: "요리사 (AI) 와 거대한 주방 도구장"

상상해 보세요. 당신은 **유능한 요리사 (AI)**를 고용했습니다. 이 요리사는 사용자의 주문 (예: "오늘 저녁 메뉴를 만들어줘") 을 듣고, 수천 개의 주방 도구가 꽂혀 있는 거대한 주방에서 필요한 도구만 골라와서 요리를 해야 합니다.

❌ 기존 방식의 문제: "무작정 모든 도구 가져오기"

기존의 AI 는 사용자의 주문을 듣고, "아, 요리해야 하니까 모든 도구를 다 가져와야겠다!"라고 생각하거나, 단순히 "요리"라는 단어와 비슷한 이름의 도구들만 가져옵니다.

• 문제점 1: 주방 도구장에 수천 개의 도구가 있는데, 그중 10 개만 쓰면 됩니다. 그런데 모든 도구를 가져오면 요리사 (AI) 가 어떤 도구를 써야 할지 혼란을 겪고, 시간도 오래 걸립니다.
• 문제점 2: 요리사가 "감자를 깎았다"고 했을 때, 다음 단계는 "감자를 삶는 것"이어야 합니다. 하지만 기존 방식은 "감자"라는 단어만 보고 "감자 껍질 벗기기" 도구를 다시 가져오거나, 전혀 상관없는 "스팀기"를 가져와서 요리 실패를 초래합니다.

✅ 이 논문의 해결책: "DTDR (동적 도구 의존성 검색)"

이 논문은 **"DTDR"**이라는 새로운 비서 (검색 시스템) 를 제안합니다. 이 비서는 요리사의 현재 상황과 앞으로의 계획을 모두 고려해서 도구만 골라줍니다.

1. "현재 상황"을 파악합니다 (Query + History)

• 기존: "무엇을 만들고 싶은가요?" (주문만 보고 도구 선택)
• DTDR: "무엇을 만들고 싶은가요?" + "지금까지 감자를 깎았어요" (주문 + 과거 행동) 를 함께 봅니다.
• 비유: 요리사가 "감자를 깎았어요"라고 말하면, 비서는 "아, 그럼 이제 감자를 삶는 냄비가 필요하겠구나!"라고 바로 추론해서 냄비만 가져옵니다.

2. "도구 간의 연결고리"를 기억합니다 (Tool Dependencies)

• 이 비서는 과거의 성공적인 요리 기록 (데이터) 을 공부했습니다. 그래서 "감자 깎기" 다음에는 반드시 "삶기"가 온다는 순서와 의존 관계를 알고 있습니다.
• 필요 없는 도구 (예: "스팀기"나 "커피머신") 는 아예 주방에서 치워버려서 요리사의 시선을 방해하지 않습니다.

3. 가볍고 빠릅니다 (Lightweight & Efficient)

• 이 비서는 무거운 두뇌 (거대한 AI 모델) 가 아니라, 작고 빠른 보조 도구로 작동합니다. 스마트폰 같은 작은 기기에서도 빠르게 돌아갈 수 있도록 설계되었습니다.

---

🚀 이 방법의 놀라운 효과

연구 결과, 이 새로운 비서 (DTDR) 를 도입한 AI 는 다음과 같은 성과를 냈습니다.

1. 성공률 대폭 상승: 기존 방식보다 23% 에서 104% 까지 더 정확하게 일을 끝냈습니다. (혼란스러워서 실패하던 일이 거의 사라졌습니다.)
2. 속도 향상: 불필요한 도구 설명을 읽지 않아도 되므로, 메모리 사용량과 시간이 크게 줄어듭니다.
3. 작은 기기에서도 가능: 무거운 클라우드 서버가 없어도, 스마트폰이나 태블릿 같은 작은 기기에서도 똑똑한 AI 비서를 구동할 수 있게 되었습니다.

💡 한 줄 요약

"AI 가 복잡한 일을 할 때, 모든 도구를 다 가져와서 헷갈리게 하지 말고, '지금까지 무엇을 했는지'와 '무엇을 할지'를 보고 딱 필요한 도구만 골라주는 똑똑한 비서가 필요합니다."

이 논문은 바로 그 **똑똑한 비서 (DTDR)**를 만들어낸 연구입니다.

기술 요약

1. 문제 정의 (Problem Statement)

LLM 기반 에이전트는 복잡한 작업을 자동화하기 위해 외부 도구 (API) 를 선택하고 호출합니다. 특히 모바일 등 온디바이스 환경에서는 메모리와 지연 시간 (latency) 제약이 엄격하므로, 모든 도구를 프롬프트에 포함하는 대신 **관련 도구만 검색 (Retrieval)**하여 프롬프트에 포함하는 방식이 필수적입니다.

기존의 검색 방법들은 다음과 같은 한계를 가집니다:

• 정적 입력 의존성: 대부분의 방법은 초기 사용자 쿼리 (Query) 만을 기반으로 도구를 검색하거나, 정적인 도구 의존성 그래프를 사용합니다.
• 맥락 무시: 다단계 작업에서 도구의 순서와 의존성 (예: 이메일 주소를 먼저 가져온 후 이메일 작성) 을 고려하지 못합니다.
• 비효율성: 작업이 진행됨에 따라 변화하는 실행 맥락 (Execution Context) 을 반영하지 못해, 불필요한 도구를 포함하거나 필요한 도구를 누락시켜 에이전트의 정확도와 효율성을 저하시킵니다.

2. 제안 방법: DTDR (Dynamic Tool Dependency Retrieval)

저자들은 **동적 도구 의존성 검색 (DTDR)**을 제안합니다. 이는 초기 쿼리와 실행 중인 도구 호출의 이력 (History) 을 모두 고려하여, 작업에 가장 적합한 최소한의 도구 서브그래프를 동적으로 추출하는 경량화 검색 모듈입니다.

핵심 메커니즘

• 입력: 사용자 쿼리 ($q$) 와 현재까지 수행된 도구 호출 시퀀스 ($f_{0:t-1}$).
• 출력: 다음 단계에서 호출될 가능성이 높은 도구들의 집합 ($F_t$) 과 그 의존성 확률.
• 구현 변형 (Variants):
  1. DTDR-C (Clustering-based): 비지도 학습 방식입니다.
     • 학습 데이터 (Demonstration) 를 임베딩하여 K-Means 클러스터링을 수행합니다.
     • 테스트 쿼리가 속한 클러스터 내의 도구 의존성 그래프를 구성하고, 현재 도구 이력을 기반으로 다음 도구를 확률적으로 예측합니다.
  2. DTDR-L (Linear Classifier-based): 지도 학습 방식입니다.
     • 쿼리와 도구 이력을 연결 (Concatenation) 하여 임베딩한 후, 단일 선형 레이어 분류기를 통해 다음 도구를 예측합니다.
     • 임계값 ($\alpha$) 을 설정하여 확률이 높은 도구들만 검색 집합에 포함시킵니다.

프롬프트 인코딩 전략

검색된 도구들을 LLM 프롬프트에 어떻게 포함할지 분석했습니다.

• Hard Masking: 불필요한 도구를 프롬프트에서 완전히 제거하여 토큰 수를 줄입니다. 작은 모델에서 가장 효과적입니다.
• Weighted Hard Masking: 검색된 도구에 확률 가중치를 부여하여 LLM 에게 우선순위를 알려줍니다.
• Soft Masking: 전체 도구 목록을 유지하되, 검색된 도구를 강조합니다.

3. 주요 기여 (Key Contributions)

1. 경량화 도구 의존성 검색 프레임워크: 쿼리와 이력 (History) 을 모두 고려하여 작업별 최소 의존성 서브그래프를 복원하는 DTDR 을 제안했습니다. 정적 방법론들은 다단계 작업을 해결하는 데 한계가 있음을 실증했습니다.
2. 광범위한 평가 (Retrieval & End-to-End): 다양한 데이터셋 (TinyAgent, TaskBench 등) 과 LLM 백본 (Qwen 3 0.6B~14B, GPT-4o 등) 을 대상으로 검색 정밀도 (MRR, F1), 하류 작업 정확도 (Function Selection Accuracy), 그리고 효율성 (프롬프트 길이, 모델 크기) 을 종합적으로 평가했습니다.
3. 프롬프트 인코딩 전략 분석: 검색된 도구를 프롬프트에 포함하는 다양한 인-컨텍스트 학습 (ICL) 전략을 비교 분석하여, 모델 크기와 데이터 특성에 따라 Weighted Hard Masking이 최적의 전략임을 규명했습니다.

4. 실험 결과 (Results)

• 검색 및 선택 정확도 향상: DTDR 은 기존 최첨단 (SOTA) 정적 검색기 대비 검색 성공률을 23% 에서 104% 까지 향상시켰습니다. 특히 TinyAgent 데이터셋에서 DTDR-L 은 정적 Learned Retriever 대비 35% 이상, 정적 Dependency Retriever 대비 50~100% 향상된 성능을 보였습니다.
• 엔드 - 투 - 엔드 (End-to-End) 성공률: 도구 의존성이 있는 데이터셋에서 DTDR 을 적용한 에이전트는 ICL 이 없는 베이스라인 대비 300%~600%, 기존 최선 검색 방법 대비 **23%~104%**의 성공률 향상을 기록했습니다.
• 작은 모델의 성능 극대화: 경량 모델 (Qwen 3 4B) 에 DTDR 을 적용했을 때, 클라우드 기반 대형 모델 (Qwen 3 14B, GPT-4o) 의 정적 방법론 적용 시보다 더 높은 정확도를 달성하여, 에지 디바이스에서의 성능 격차를 해소했습니다.
• 효율성 (Prompt Efficiency): 불필요한 도구 설명을 제거하여 프롬프트 길이를 최대 **51%**까지 줄였고, 가변적인 프롬프트 부분 (Variable portion) 은 최대 **72%**까지 감소시켜 온디바이스 추론 속도를 개선했습니다.

5. 의의 및 결론 (Significance)

이 연구는 온디바이스 AI 에이전트의 핵심 병목 현상인 도구 선택의 정확성과 효율성을 동시에 해결하는 실용적인 솔루션을 제시합니다.

• 동적 맥락의 중요성: 단순한 쿼리 매칭이 아닌, 작업 수행 과정의 이력을 반영한 동적 검색이 다단계 작업 성공에 필수적임을 입증했습니다.
• 리소스 효율성: 복잡한 그래프 모델이나 대규모 파인튜닝 없이도, 경량화된 검색 모듈과 효율적인 프롬프트 전략으로 클라우드 모델에 버금가는 성능을 에지 디바이스에서 달성 가능함을 보였습니다.
• 미래 방향: 불완전한 시연 데이터 처리, 멀티모달 도구 작업 (로보틱스 등) 으로의 확장, 진화하는 도구 세트 적응 등으로 연구 범위를 넓힐 수 있는 기반을 마련했습니다.

요약하자면, DTDR 은 쿼리와 실행 이력을 결합한 동적 검색을 통해 LLM 에이전트가 복잡한 도구 체인에서 올바른 단계를 선택하도록 돕는 경량화된 프레임워크로, 온디바이스 AI 의 실용성을 크게 높이는 획기적인 접근법입니다.