Skill Blocks: How Should an Agent Load Its Skill? A Caching-Correct Comparison of Pre-load, On-Demand Tool-Loading, Progressive Disclosure, and Hybrid
이 논문은 AI 에이전트를 위한 네 가지 스킬 로딩 전략을 평가하며, 단일 방법이 보편적으로 우월한 것은 아니지만 하이브리드 및 점진적 공개 방식이 출력 품질을 저하시키지 않으면서도 특히 대규모 다회차 작업에서 토큰 소비를 유의미하게 줄인다는 것을 입증한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인공지능이 진화하는 세상에서, 컴퓨터 프로그램이 전문가처럼 행동하도록 가르쳐야 할 필요성이 커지고 있습니다. 소프트웨어의 핵심 두뇌를 새로 쓰는 대신, 엔지니어들은 이제 시스템에 '기술(skills)'이라 불리는 상세한 지침서를 부착합니다. 이 지침서는 정보 검색, 스프레드시트 조작, 또는 가상 환경 탐색과 같은 특정 작업을 수행하는 방법을 알려줍니다. AI는 무언가를 요청받을 때마다 이 매뉴얼을 읽습니다. 그러나 실질적인 문제가 발생했습니다. 이 매뉴얼은 종종 수백 페이지의 규칙과 예시를 포함할 정도로 매우 길다는 점입니다. AI가 간단한 질문을 받을 때, 수행하려는 작업과 관련 없는 내용이 90%에 달하더라도 전체 거대한 매뉴얼을 전부 읽어야 하는 경우가 많습니다. 이는 컴퓨서 리소스를 낭비하고 과정을 느리게 만드는데, 이는 마치 고객이 특정 사실 하나를 찾으려 할 때마다 도서관의 모든 책을 다 읽어야 한다고 고집하는 사서와 같습니다.
마이크로소프트의 연구진은 이 효율성 문제를 해결하기 위해 다음과 같은 단순한 질문을 던졌습니다. 만약 당신에게 큰 기술 매뉴얼이 있다면, 각 부분을 언제 AI에게 보여주어야 하는가? 그들은 네 가지 다른 정보 전달 방식을 테스트했습니다. 첫 번째 방식은 전통적인 접근법으로, 매번 매뉴얼 전체를 불러오는 것이었습니다. 두 번째 방식인 '스킬 블록(Skill Block)'은 아주 작은 핵심 지침만을 보이게 유지하고, AI가 필요하다고 느낄 때만 특정 추가 섹션을 요청할 수 있도록 했습니다. 세 번째 방식인 '레퍼런스(Reference)'는 AI에게 매뉴얼 내용의 짧은 카탈로그를 보여주고, 다음에 읽을 섹션을 직접 선택하게 했습니다. 네 번째 방식인 '하이브리드(Hybrid)'는 모든 섹션에 대한 매우 간략한 요약을 사전에 제공하여, AI가 상세 내용이 필요한지 아니면 요약만으로 충분한지를 즉시 결정할 수 있게 했습니다. 연구팀은 단일 질문부터 대화의 여러 단계에 걸쳐 정보를 기억해야 하는 복잡한 다단계 문제에 이르기까지 다섯 가지 유형의 작업에 대해 이 방식들을 테스트했습니다.
결과는 단 하나의 최선의 방법은 존재하지 않으며, 선택의 옳고 그름은 전적으로 매뉴얼의 크기와 작업의 성격에 달려 있다는 것을 보여주었습니다. 단순한 일회성 질문의 경우, '하이브리드' 방식이 가장 효율적이었습니다. 모든 섹션에 대한 짧은 요약을 제공함으로써, AI는 전체 텍스트를 요청하지 않고도 필요한 내용을 찾아낼 수 있었고, 이는 상당한 양의 데이터를 절약했습니다. 대규모 질문 세트를 포함한 한 테스트에서, 이 방식은 전체 매뉴얼을 읽는 것과 비교했을 때 AI가 처리해야 하는 정보량을 거의 28% 줄였습니다. 그러나 매뉴얼이 매우 작거나 AI가 동일한 지침을 반복해서 사용해야 하는 작업의 경우, 정보를 요청하거나 요약본을 읽는 추가적인 노력이 오히려 과정을 더 느리고 비싸게 만들어, 처음에 전체를 읽는 것보다 실질적인 이득을 주지 못했습니다.
연구진이 AI가 긴 대화 속에서 문맥을 기억해야 하는 복잡한 다단계 작업을 살펴보았을 때 결과는 더욱 흥미로워졌습니다. 이러한 시나리오에서 '스킬 블록'과 '하이브리드' 방식은 매뉴얼이 크고 잘 사용되지 않는 섹션이 많을 때 빛을 발했습니다. AI가 각 단계에 필요한 특정 부분만을 로드했기 때문에, 사용되지 않는 전체 매뉴얼을 계속 다시 보내는 과도한 비용을 피할 수 있었습니다. 과학적 추론이 포함된 한 복잡한 시뮬레이션에서, 이러한 온디맨드(on-demand) 방식은 전통적인 방식에 비해 유효 데이터 부하를 60% 이상 줄였습니다. 연구진은 이러한 절감 효과가 정보를 요청하는 데 드는 작은 비용을 상쇄할 만큼 컸다고 언급했습니다. 반대로, 지침이 짧고 매 단계마다 지침이 필요한 작업에서는 이러한 스마트 로딩 방식의 이점이 사라졌으며, 시스템은 전통적인 방식과 거의 동일하게 작동했습니다.
이 연구의 중요한 부분은 연구진이 비용을 측정하는 방법이었습니다. 그들은 단순히 AI에게 전달되는 총 단어 수를 세는 것이, 특히 긴 대화에서는 오해의 소지가 있다는 점을 깨달았습니다. 현대적인 시스템은 이전 대화의 일부를 기억하므로, 이미 본 단어들을 완전히 다시 처리할 필요가 없습니다. 연구팀은 이미 본 부분에 대해 작은 할인을 적용하면서 새로운 정보만을 계산하는 방법을 개발했습니다. 이 더 정확한 회계 방식을 적용했을 때, 크고 복잡한 작업에서 스마트 로딩 방식의 이점은 더욱 명확해졌습니다. 그러나 또한 지침이 너무 작거나 AI가 정보를 너무 자주 요청해야 하는 경우, 요청을 관리하는 데 드는 오버헤드가 절감 효과를 상쇄할 수 있다는 점도 발견했습니다.
궁극적으로 이 연구는 AI의 기술을 가르치는 최선의 전략은 전달 방식을 작업에 맞추는 것이라는 점을 시사합니다. 매뉴얼이 짧거나 작업에 동일한 지침이 지속적으로 필요한 경우에는 한꺼번에 모두 로드하는 것이 낫습니다. 하지만 매뉴얼이 길고 AI가 한 번에 아주 작은 부분만을 필요로 한다면, 필요할 때만 정보를 로드하는 스마트한 시스템이 훨씬 우월합니다. 연구진은 모든 옵션에 대한 빠른 개요를 제공하는 '하이브리드' 방식이 단순한 작업에 가장 적합하며, AI가 필요할 때만 더 깊이 파고들 수 있게 하는 '스킬 블록' 방식이 복잡하고 오래 지속되는 프로젝트에 가장 적합하다는 것을 발견했습니다. 이 연구는 모든 상황에 적용되는 보편적인 규칙을 찾았다고 주장하는 것이 아니라, 엔지니어들이 성능을 저하시키지 않으면서 시간과 자원을 절약하기 위해 AI의 지식 베이스를 어떻게 구조화할지 결정할 수 있는 명확한 지도를 제공합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.