ToolRegistry: A Protocol-Agnostic Tool Management Library for Function-Calling LLMs

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 응용 프로그램은 텍스트 생성을 넘어 외부 도구를 활용하여 기능을 확장하는 추세입니다. 그러나 현재 도구 통합 생태계는 다음과 같은 심각한 문제점들을 겪고 있습니다.

• 프로토콜 단편화 (Protocol Fragmentation): OpenAPI, MCP(Model Context Protocol), 로컬 Python 함수 등 다양한 프로토콜과 공급자가 혼재하여 개발자가 여러 표준을 동시에 관리해야 하는 복잡성이 발생합니다.
• 수동 구현 오버헤드: 많은 LLM 프레임워크가 간단한 함수조차도 JSON 스키마, 타입 주석, 설명 등을 수동으로 작성하도록 요구하여, 핵심 로직보다 보일러플레이트 코드가 과도하게 늘어납니다.
• 복잡한 실행 워크플로우: 동기/비동기 인터페이스의 혼재, 다양한 메시지 포맷 처리, 병렬 실행을 위한 복잡한 동시성 관리가 필요합니다.
• OpenAI 중심의 한계: Chat Completion API 가 사실상의 표준이지만, MCP 와 같은 새로운 프로토콜은 아직 생태계 전반에 널리 채택되지 않아 상호 운용성이 부족합니다.

2. 방법론 및 시스템 아키텍처 (Methodology & Architecture)

이 논문은 ToolRegistry라는 프로토콜 중립적 (Protocol-agnostic) 도구 관리 시스템을 제안합니다. 이는 단일 라이브러리에서 모듈형 3-패키지 생태계로 진화했습니다.

핵심 아키텍처 (3-패키지 생태계)

1. toolregistry (Core):
   • Tool 모델 및 레지스트리: 모든 실행 가능한 함수를 통일된 Tool 객체로 추상화합니다.
   • 스키마 생성: Python 의 타입 힌트와 docstring 을 기반으로 자동 JSON 스키마를 생성합니다.
   • 실행 엔진 (Executor): 스레드 기반 (CPU 바운드) 과 프로세스 기반 (I/O 바운드) 동시성 실행을 지원하는 듀얼 모드 엔진을 제공합니다.
   • API 호환성 레이어: OpenAI 의 Chat Completion 및 Response API 등 다양한 포맷을 통일된 ToolCall 형식으로 변환합니다.
2. toolregistry-server:
   • 프로토콜 어댑터: MCP 및 OpenAPI 를 위한 서버 어댑터를 제공합니다.
   • 라우팅 및 CLI: 도구 라우팅, 인증, 명령줄 인터페이스를 관리합니다.
3. toolregistry-hub:
   • 커레이션 도구: 계산기, 웹 검색, 날짜/시간, 파일 시스템 등 검증된 생산용 도구 구현체를 제공합니다.

주요 기술적 특징

• 자동 스키마 생성: from_function() 팩토리 메서드를 통해 Python 함수의 메타데이터를 자동으로 추출하여 JSON 스키마를 생성합니다.
• 듀얼 모드 동시성 실행:
  • Thread Pool: CPU 바운드 로컬 함수에 적합하며, 공유 메모리를 통해 낮은 오버헤드를 제공합니다.
  • Process Pool: I/O 바운드 네트워크 도구 (OpenAPI, MCP) 에 적합하며, GIL 을 우회하고 격리된 실행 환경을 제공합니다.
• 이벤트 기반 변경 전파: 도구 등록/해제/활성화/비활성화 시 이벤트 시스템이 서버 및 어댑터 계층에 변경 사항을 전파하여 일관성을 유지합니다.
• MCP 클라이언트: 공식 MCP Python SDK 를 기반으로 하며, stdio, SSE, Streamable HTTP, WebSocket 등 4 가지 전송 메커니즘을 지원합니다.

3. 주요 기여 (Key Contributions)

1. 프로토콜 중립적 통합: 네이티브 Python, MCP, OpenAPI, LangChain 도구 등을 단일 인터페이스로 통합 관리합니다.
2. 자동화된 스키마 생성: 수동 JSON 스키마 작성 오버헤드를 제거합니다.
3. 고성능 동시성 엔진: 작업 부하 특성에 맞춰 스레드/프로세스 풀을 유연하게 전환할 수 있는 듀얼 모드 엔진을 제공합니다.
4. 모듈형 생태계: 코어, 서버, 허브 패키지를 분리하여 필요한 컴포넌트만 선택적으로 도입할 수 있습니다.
5. 런타임 관리 기능: 웹 기반 관리자 패널 (Admin Panel), 이벤트 시스템, 도구 활성화/비활성화 및 이유 추적 기능을 제공합니다.
6. 독립적인 MCP 클라이언트: 공식 SDK 기반의 강력한 MCP 지원 및 4 가지 전송 프로토콜을 구현했습니다.

4. 평가 및 결과 (Evaluation & Results)

실제 사례 연구 및 벤치마크를 통해 ToolRegistry 의 효과를 검증했습니다.

• 코드 감소: 도구 통합에 필요한 코드가 60~80% 감소했습니다.
  • 네이티브 함수 통합: 82% 감소 (45 줄 → 8 줄)
  • OpenAPI 통합: 79% 감소
  • MCP 통합: 86% 감소
• 성능 향상: 동시 실행을 통해 최대 3.1 배의 성능 향상을 달성했습니다.
  • 네트워크 도구 (I/O 바운드): 프로세스 모드 사용 시 스레드 모드 대비 1.8~3.1 배 향상.
  • 네이티브 도구 (CPU 바운드): 스레드 모드 사용 시 프로세스 모드 대비 2.4~4.5 배 향상.
• 호환성: OpenAI 함수 호출 표준과 광범위하게 호환되며, LangChain 도구와의 통합을 통해 기존 생태계를 쉽게 이전할 수 있습니다.
• 실제 적용 사례:
  • 다중 프로토콜 통합: 하나의 애플리케이션에서 Python 함수, OpenAPI, MCP 서버를 동시에 통합하여 개발 시간을 70% 단축했습니다.
  • LangChain 도구 해방: LangChain 의 무거운 프레임워크 없이도 그 도구들만 선택적으로 사용하여 OpenAI SDK 와 직접 연동할 수 있게 되었습니다.
  • 기업용 API 통합: CRM, 재고 관리 등 이기종 시스템을 단일 인터페이스로 통합하여 통합 시간을 75% 단축했습니다.

5. 의의 및 결론 (Significance)

ToolRegistry 는 LLM 도구 통합의 복잡성을 해결하기 위한 가벼운 유틸리티 라이브러리로서, 무거운 프레임워크의 제약을 피하면서도 프로토콜 간의 단편화를 극복합니다.

• 개발자 경험 향상: 프로토콜 구현 세부 사항에 매몰되지 않고 비즈니스 로직에 집중할 수 있게 합니다.
• 유연성과 확장성: 모듈형 아키텍처를 통해 필요에 따라 코어 기능만 사용하거나, 서버/허브 패키지를 추가하여 확장할 수 있습니다.
• 미래 지향성: 분산 실행 (메시지 큐 기반), gRPC/A2A 프로토콜 지원, 그리고 llm-rosetta 프로젝트를 통한 다중 공급자 API 번역과 연계하여 향후 LLM 에이전트 생태계의 표준 도구 관리 솔루션으로 자리매김할 잠재력을 가지고 있습니다.

결론적으로, ToolRegistry 는 현재 LLM 도구 생태계의 단편화와 복잡성을 해결하고, 개발 효율성과 성능을 동시에 극대화하는 실용적인 솔루션을 제공합니다.