From SQL Generation to Tool Selection: A Domain-Oriented Pattern for MCP Servers
이 논문은 도메인 지향적 툴링 패턴(Domain-Oriented Tooling Pattern)과 그 오픈 소스 구현체인 MCP Blueprint를 소개하며, 이는 엔터프라이즈 데이터 액세스 시나리오에서 범용적인 SQL 생성을 도메인 특화된 툴 선택으로 대체함으로써 소규모 LLM의 정확도를 크게 향상시키고 비용을 절감합니다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
컴퓨터가 인간의 언어를 읽고 이해하여, 사람들이 정보를 저장하는 데 사용되는 비밀 코드를 배울 필요 없이 방대한 데이터 라이브러리에 대해 복잡한 질문을 던질 수 있는 세상을 상상해 보십시오. 이것이 현대 인공지능, 특히 대규모 언어 모델을 기반으로 구축된 시스템이 약속하는 미래입니다. 이러한 모델은 대화를 나누고 문제를 추론할 수 있는 지능형 비서 역할을 합니다. 이들을 기업에 진정으로 유용하게 만들기 위해, 개발자들은 고객 기록부터 재고 목록에 이르기까지 모든 것을 담고 있는 디지털 창고인 데이터베이스에 이들을 연결합니다. AI 비서가 외부 도구를 찾고 사용할 수 있도록 돕는 '모델 컨텍스트 프로토콜(Model Context Protocol)'이라는 새로운 표준이 등장했는데, 이는 마치 서로 다른 브랜드의 가전제품과 통신할 수 있게 해주는 범용 리모컨과 같습니다. 그러나 핵심적인 과제는 인간을 닮은 AI와 경직되고 구조화된 데이터베이스 사이의 연결을 어떻게 설계하느냐 하는 것입니다. 연결이 너무 느슨하면 AI가 혼란을 겪거나 위험한 실수를 할 수 있고, 너무 경직되면 사람들이 실제로 묻는 독특한 질문에 답할 수 없게 됩니다.
연구진은 비즈니스 데이터를 위해 이러한 연결을 구축하는 최선의 방법을 테스트함으로써 바로 이 문제를 탐구했습니다. 그들은 두 가지 매우 다른 접근 방식을 비교했습니다. 첫 번째, 그리고 가장 흔한 방법은 AI에게 처음부터 스스로 컴퓨터 쿼리를 작성할 수 있는 하나의 강력한 도구를 주는 것입니다. 이것은 손님에게 빈 종이 한 장과 펜을 건네주며 은행에 편지를 쓰라고 요청하면서, 그들이 은행의 특정 양식, 올바른 문법, 그리고 정확한 이자 계산 규칙을 알고 있을 것이라 기대하는 것과 같습니다. 두 번째 접근 방식은 연구진이 "도메인 지향적 도구 패턴(Domain-Oriented Tooling Pattern)"이라고 부르는 것으로, AI에게 미리 작성된 특정 버튼들을 제공하는 것입니다. 편지를 쓰는 대신, 손님은 단순히 "계좌 잔액 확인" 또는 "최근 거래 내역 보기"라고 적힌 버튼을 선택하기만 하면 됩니다. 복잡한 규칙과 계산은 이미 버튼 안에 안전하게 숨겨져 시스템 내부에 구축되어 있습니다.
어떤 방법이 더 나은지 확인하기 위해, 팀은 영화 대여 데이터베이스를 사용하여 테스트 환경을 구축했습니다. 이는 영화, 고객, 대여에 관한 수천 개의 기록이 담긴 현실적인 환경입니다. 그들은 AI가 데이터와 상호작용하는 세 가지 다른 방식을 설정했습니다. 첫 번째 설정은 AI가 데이터베이스 구조에 대한 자신의 지식에 의존하여 처음부터 직접 쿼리를 작성하도록 허용했습니다. 두 번째 설정은 고객의 연체 여부를 확인하거나 현재 재고가 있는 영화를 찾는 것과 같은 특정 비즈니스 작업에 맞게 설계된 전문화된 도구 세트를 AI에게 제공했습니다. 세 번째 설정은 중간 단계로, AI가 정보를 결합하는 데 대부분의 노력을 기울여야 하는 너무 단순한 도구 세트를 제공했습니다. 그런 다음 그들은 매우 작고 빠른 모델부터 크고 강력한 모델에 이르기까지 네 가지 서로 다른 AI 모델을 사용하여 17가지의 다양한 실무 비즈니스 질문을 해결하도록 테스트했습니다.
결과는 명확하고 놀라웠습니다. AI에게 전문화되고 미리 구축된 도구를 제공하는 방식이 AI가 직접 쿼리를 작성하게 하는 방식보다 훨씬 더 우수한 성능을 보였습니다. 전문화된 도구를 사용할 때 AI는 거의 94%의 확률로 정답을 맞혔습니다. 반면, 스스로 쿼리를 작성하도록 강요받았을 때의 성공률은 약 67%로 떨어졌습니다. 더욱 놀라운 점은 가장 단순한 AI 모델들의 성능이었습니다. 직접 쿼리를 작성할 때 어려움을 겪었던 가장 작은 모델조차 전문화된 도구를 사용할 때는 92% 이상의 성공률을 달 기록했습니다. 이 발견은 AI가 해야 할 일을 단순화하는 것, 즉 복잡한 글쓰기 작업을 간단한 선택 작업으로 바꾸는 것만으로도 개발자들이 훨씬 더 작고 저렴하며 빠른 컴퓨터를 사용하여 신뢰할 수 있는 결과를 얻을 수 있음을 시사합니다. 이는 마치 거대한 엔진이 자동차를 운전하는 것만큼이나 효율적인 작은 엔진이 자동차를 잘 몰 수 있는 것과 같은데, 단 조건은 운전자가 길을 직접 만들어가며 운전해야 하는 핸들이 아니라 돌리기 쉬운 핸들이 갖춰진 자동차여야 한다는 것입니다.
연구는 단순히 AI에게 도구를 주는 것만으로는 충분하지 않으며, 그 도구의 설계가 매우 중요하다는 사실도 밝혀냈습니다. 명확한 지침 없이 데이터 테이블에 대한 기본적인 접근권만을 제공하는 잘못 설계된 도구 세트는 오히려 AI가 직접 쿼리를 작성하게 하는 것보다 성능이 낮았습니다. 이는 잘못 설계된 도구가 AI가 스스로 실수를 바로잡을 수 있는 자유를 박탈하면서도, 성공하는 데 필요한 올바른 정보는 주지 않았기 때문입니다. 성공적인 도구들은 복잡한 비즈니스 규칙을 시스템 내부에 숨기도록 정교하게 제작되었습니다. 예를 들어, 대여가 "연체"되었는지 판단하려면 날짜를 확인하고 시간 차이를 계산해야 하는데, AI는 직접 코드를 작성할 때 이 규칙을 자주 틀렸습니다. 하지만 전문화된 도구를 사용하면 이 규칙이 이미 인간에 의해 작성되고 테스트되었으므로, AI는 단지 그 결과를 보고하기만 하면 되었습니다. 이러한 변화는 시스템을 운영하는 데 필요한 지능이 AI 모델 자체에서 도구를 설계하는 인간 엔지니어로 이동함을 의미합니다.
연구진은 정확도뿐만 아니라 프로세스의 비용과 속도도 측정했습니다. 전문화된 도구는 AI가 생각해야 할 양을 줄여주었기 때문에, 정답을 얻기 위해 훨씬 더 적은 컴퓨터 자원을 사용했습니다. 어떤 경우에는 전문화된 도구를 사용할 때 생으로 된 쿼리 방식에 비해 정답을 얻는 비용이 10배 이상 감소했습니다. 시스템 또한 더 빨랐는데, 값비싼 클라우드 서비스 대신 몇 초 만에 응답했습니다. 이러한 효율성은 기업들이 이 기술을 값비싼 클라우드 서비스 대신 자체 로컬 컴퓨터에서 실행할 수 있게 하여, 기술을 더 접근 가능하고 안전하게 만들 수 있음을 의미합니다. 연구는 결론적으로, 일상적인 비즈니스 질문을 위해서는 AI를 더 똑똑하게 만드는 것이 아니라, AI가 사용하는 인터페이스를 더 단순하고 구조화된 형태로 만드는 것이 최선이라고 말합니다. 데이터 접근을 가공되지 않은 데이터베이스 명령이 아닌 명확하고 인간 친화적인 작업 중심으로 조직함으로써, 우리는 더 정확하고 빠르며 더 작고 저렴한 하드웨어에서도 실행 가능한 시스템을 구축할 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.