The Scaffolding Matters More Than the Interface: A Controlled Comparison of MCP and CLI Tool Use Across Seven Agent Scaffoldings, Five Language Models, and One Software Task
이 연구는 에이전트 스캐폴딩(scaffolding)의 선택이 근본적인 도구 인터페이스(MCP 대 CLI)보다 AI 코딩 에이전트의 비용과 신뢰성에 훨씬 더 큰 영향을 미친다는 것을 입증하며, 이는 MCP 지원이 종종 불필요하고 직접적인 CLI 실행보다 훨씬 더 비쌀 수 있음을 드러낸다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
디지털 워크숍: 무대 설정하기
당신에게 아주 똑똑하지만 매우 문자 그대로만 이해하는 로봇 조수가 있다고 상상해 보세요. 이 로봇은 이야기를 쓰고, 수학 문제를 풀고, 무엇이든 대해 대화할 수 있지만, 밀폐된 방 안에 살고 있습니다. 이 로봇은 당신의 컴퓨터 화면을 볼 수도, 파일을 열 수도, 웹사이트의 버튼을 클릭할 수도 없습니다. 실제로 어떤 작업을 수행하려면, 로봇과 현실 세계 사이에 서 있을 '포맨(foreman, 현장 감독)'이 필요합니다. 이 포맨을 **에이전트 스캐폴딩(agent scaffolding)**이라고 부릅니다. 포맨의 역할은 로봇의 아이디어를 듣고, 이를 실제 행동(예: "이 파일 열기" 또는 "이 이메일 보내기")으로 번역한 다음, 로봇이 계속 생각할 수 있도록 그 결과를 다시 가져오는 것입니다.
오랫동안 사람들은 이 포맨을 구축하는 가장 좋은 방법에 대해 논쟁해 왔습니다. **MCP(Model Context Protocol)**라고 불리는 한 가지 인기 있는 방법은 로봇에게 그것이 언젠가 필요할지도 모르는 모든 도구가 담긴 거대하고 상세한 백과사전을 주는 것과 같습니다. 로봇이 도움을 요청할 때마다, 포맨은 만약을 대비해 백과사전 전체를 다시 건네줍니다. **CLI(Command-Line Interface)**라는 또 다른 방법은 더 단순합니다. 포맨은 로봇에게 기본적인 도구 상자만 건네주며 이렇게 말합니다. "망치와 드라이버를 사용할 줄 안다는 건 알지? 네가 필요한 특정 도구를 어떻게 사용하는지는 스스로 알아내 봐."
모두가 던지는 핵심적인 질문은 이것입니다: 어떤 방법이 비용이 적게 드는가? 로봇이 컴퓨터와 대화할 때마다 주고받는 단어(토큰)에 대한 비용을 지불해야 하기 때문에, 사람들은 "거대한 백과사전" 방식(MCP)이 훨씬 더 많은 추가 텍스트를 보내므로 엄청나게 비쌀 것이라고 가정했습니다. 일부 전문가들은 MCP 방식이 단순한 도구 상자 방식보다 35배나 더 비쌀 것이라고 추측하기도 했습니다. 하지만 아무도 이를 공정하게 측정한 적이 없었기에, 수치들은 제각각이었습니다.
위대한 도구 상자 대결
이 연구에서 연구진은 이 논쟁을 종결시키기 위해 대규모의 통제된 실험을 수행하기로 했습니다. 그들은 단순히 추측하는 대신, 코드의 버그를 찾고, 수정하고, 팀에 전달하는 것과 같은 6단계의 특정 과업이 포함된 디지털 장애물 코스를 구축했습니다. 그런 다음 동일한 과업을 **7가지 서로 다른 "포맨"(에이전트 스캐폴딩)**과 **5가지 서로 다른 로봇 두뇌(AI 모델)**를 통해 전달하여, 작업을 완료하는 데 실제로 비용이 얼마나 들었는지 확인했습니다.
여기 반전이 있습니다. 연구진은 포맨 자체가 도구 상자보다 훨씬 더 중요하다는 사실을 발견했습니다.
가장 놀라운 발견은 테스트한 7개의 포맨 중 2개는 "거대한 백과사전"(MCP) 기능조차 갖추고 있지 않았다는 점입니다. 이들은 오직 단순한 도구 상자(CLI)만을 사용했습니다. 그럼에도 불구하고 이들은 모든 과업을 완벽하게 완수했습니다. 완수했을 뿐만 아니라, 이들은 백과사전을 가진 화려한 포맨들보다 5배에서 28배 더 저렴했습니다. 실제로 한 특정 소형 로봇 두뇌의 경우, 로봇과 과업이 정확히 같았음에도 불구하고 포맨이 바뀌었다는 이유만으로 비용이 139배나 급증했습니다.
그렇다면 "거대한 백과사전"(MCP)이 비싸다는 것은 사실일까요?
연구진은 동일한 포맨 내에서 두 방법을 직접 비교하려고 시도했지만, 결과는 혼란스럽고 일관성이 없었습니다. 때로는 백과사전이 더 많은 비용이 들었고, 때로는 더 적게 들었으며, 때로는 동일했습니다. 데이터가 너무 불안정하여 어느 한쪽이 확실히 더 저렴하다고 단정 짓기 어려웠습니다. 그러나 한 가지 명확한 차이점은 발견되었습니다: 문제가 생겼을 때, 백과사전 방식이 훨씬 더 비쌌습니다. MCP 실행에 사용된 돈의 약 **12.9%**는 (과업이 실패했기 때문에) 아무것도 얻지 못한 채 낭비된 반면, 단순한 도구 상자 실행의 경우 낭비된 비율은 **2.2%**에 불가했습니다. 하지만 로봇들이 실패하는 빈도는 두 방식 모두 비슷했습니다. 단지 MCP 로봇이 실패했을 때 더 많은 돈을 낭비했다는 점이 다를 뿐입니다.
포맨의 "마법"
연구진은 숨겨진 트릭 하나를 찾아냈습니다. 연구진은 로봇에게 정확히 어떤 도구 상자를 사용할지 알려주었습니다. 하지만 로그를 확인했을 때, 로봇들이 종종 지시를 무시한다는 것을 발견했습니다. 어떤 로봇들은 "거대한 백과사전"을 부여받았지만 조용히 단순한 도구 상자를 사용했습니다. 반대로 어떤 로봇들은 그 반대의 경우였습니다. 이는 만약 당신이 로봇이 실제로 "무엇을 했는지" 확인하지 않고 단순히 "이것의 비용이 얼마인가?"라고 묻는다면, 두 방법이 뒤섞인 수치를 측정하게 되어 숫자가 무의미해질 수 있음을 의미합니다.
결론
이 연구의 핵심 요점은 어떤 도구가 마법 같거나 혹은 쓰레기라는 것이 아닙니다. 대신, 이 연구는 당신의 로봇의 포맨을 어떻게 구축하느냐가 비용에 가장 중요한 요소라는 점을 시사합니다.
- 단순하고 반복적인 작업의 경우: 거대한 범용 어시스턴트처럼 거대한 백과사전을 들고 다니는 것보다, 기본 도구 상자(CLI)만을 사용하는 작고 맞춤 제작된 포맨이 훨씬 더 저렴하고 신뢰할 수 있습니다.
- 작은 로봇 두뇌의 경우: 자신의 컴퓨터에서 더 작고 저렴한 AI 모델을 실행하고 있다면, "범용" 포맨은 너무 말이 많고 불필요한 짐을 많이 들고 다님으로써 과업 비용을 거의 140배나 높일 수 있습니다.
연구진은 결론적으로, 구체적이고 잘 정의된 과업을 위해서는 무겁고 비싼 "거대한 백과사전" 방식이 필요하지 않다고 밝혔습니다. 우리는 추가적인 무게 없이 일을 완수할 수 있는 더 가볍고 저렴한 시스템을 구축할 수 있습니다. 그리고 만약 당신이 화려한 백과사전 방식을 사용하고자 한다면, 당신의 로봇이 실제로 그것을 사용하고 있는지 반드시 확인해야 합니다. 그렇지 않으면 손도 대지 않은 도구에 대한 비용을 지불하게 될 수도 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.