Enrich-Retrieve-Rank: Scaling Capability Discovery Beyond In-Context Routing
이 논문은 비효율적인 인컨텍스트 라우팅을 오프라인 풍부화 및 온라인 검색 후 순위 지정(retrieve-then-rank) 방식으로 대체하여, 에이전트 생태계가 수백 개에서 수천 개의 컴포넌트로 확장됨에 따라 기존 방식보다 현저히 높은 정확도와 낮은 비용을 입증하는 확장 가능한 역량 발견 파이프라인인 "Enrich-Retrieve-Rank"를 소개한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인공지능이 급격히 진화하는 세상에서, 단순히 질문에 답하는 것을 넘어 과업을 수행하는 새로운 세대의 시스템이 등장했습니다. 에이전트라고 불리는 이 시스템들은 웹을 탐색하거나, 코드를 작성하거나, 복잡한 워크플로우를 관리할 수 있는 디지털 비서 역할을 합니다. 이를 위해 이들은 마치 인간 작업자가 망치, 드라이버, 전문 소프트웨어가 가득 찬 도구 상자에 의존하는 것처럼, 방대한 디지털 도구, 기술 및 다른 에이전트 라이브러리에 의존합니다. 이러한 생태계가 성장함에 따라, 이제는 수천 개의 뚜렷한 역량들을 포함하게 되었습니다. 이러한 지능형 시스템의 핵심 과제는 발견(discovery)입니다. 즉, 특정 과업에 직면했을 때, 시스템이 수천 개의 옵션이 담긴 라이브러리 중에서 어떤 도구를 골라야 할지 어떻게 알 수 있는가 하는 점입니다. 오랫동안 표준적인 접근 방식은 사용 가능한 도구의 전체 목록을 인공지능에게 단순히 보여주고 선택하게 하는 것이었습니다. 이 방법은 목록이 짧을 때는 잘 작동했지만, 라이브러리가 수천 개로 확장됨에 따라 시스템은 어려움을 겪기 시작했고, 종종 올바른 도구를 찾는 데 실패하거나 잘못된 것을 시도하느라 시간과 자원을 낭비했습니다.
Amazon AGI의 연구진은 이러한 역량 탐색 방식을 재구상함으로써 이 스케일링 문제를 해결하고자 했습니다. 그들은 이 문제를 단순한 선택이 아닌 검색 엔진 쿼리로 취급했습니다. 인공지능에게 모든 사용 가능한 도구의 거대하고 정리되지 않은 목록을 읽도록 강요하는 대신, 정보를 먼저 정리한 다음 가장 관련 있는 옵션들을 추출한 뒤 최종 결정을 내리는 파이프라인을 구축했습니다. 이 과정은 각 도구의 희소하고 종종 짧은 설명을 풍부하고 상세한 프로필로 다시 작성하는 오프라인 단계에서 시작됩니다. 이는 도구가 라이브러리에 추가될 때 한 번 수행되며, 요약, 특정 키워드, 그리고 해당 도구가 어떻게 사용되는지에 대한 예시를 포함하는 검색 가능한 기록을 생성합니다. 사용자가 질문을 하면, 시스템은 인공지능에게 전체 라이브러리를 보고 추측하라고 요구하지 않습니다. 대신, 이 풍부해진 인덱스를 빠르게 검색하여 가장 가능성 높은 후보들의 숏리스트(shortlist)를 뽑아낸 다음, 최종적이고 집중적인 검증을 통해 순위를 매깁니다.
연구진은 이 접근 방식을 인컨텍스트 라우팅(in-context routing)이라 불리는, 인공지텐에게 전체 목록을 보여주는 전통적인 방식과 비교 테스트했습니다. 그들은 라이브러리가 커질수록 전통적인 방식이 무너진다는 것을 발견했습니다. 라이브러리에 도구가 10개만 있을 때는 시스템이 85%의 정확도를 보였습니다. 그러나 도구의 수가 거의 7,000개로 늘어나자, 전통적인 방식의 정확도는 단 12%로 급락했습니다. 시스템은 한꺼번에 처리해야 할 정보의 양에 압도되었습니다. 반면, 새로운 검색 및 순위 지정 파이프라인은 성장을 훨씬 더 유연하게 처리했습니다. 라이브러리가 커짐에 따라 정확도가 감소하기는 했지만, 가장 큰 규모에서도 39%를 유지하며 훨씬 높은 수준을 유지했습니다. 결정적으로, 연구진은 약 500개의 도구를 기점으로 전환점(tipping point)이 존재한다는 것을 발견했습니다. 이 숫자 미만에서는 전체 목록을 보여주는 기존 방식이 여전히 잘 작동했습니다. 하지만 이 숫자를 넘어서면 새로운 검색 기반 접근 방식이 필수적이 되었으며, 기존 방식을 큰 차이로 앞질렀습니다.
연구는 또한 새로운 시스템이 훨씬 더 효율적이라는 점을 밝혀냈습니다. 먼저 숏리스트를 추출함으로써, 이 시스템은 후보를 하나씩 찾아가는 전통적인 방식과 비교했을 때 약 절반의 컴퓨팅 자원만을 사용했습니다. 전체 목록을 보여주는 방식과 비교했을 때는 비용을 70배나 절감했습니다. 이러한 효율성은 매우 중요한데, 왜냐하면 인공지능이 도구를 시도했다가 실패할 때마다 컴퓨팅 파워와 시간이 소모되며, 어떤 경우에는 도구가 무엇인지 배우기 위해 신뢰할 수 없는 시스템에서 동작을 트리거할 수도 있기 때문입니다. 새로운 파이프라인은 조치를 취하기 전에 관련 없는 옵션들을 걸러냄으로써 이러한 낭비되는 시도를 방지합니다.
이 연구의 핵심 발견은 개선이 최종 순위 지정 단계가 아니라 주로 검색 단계에서 왔다는 점이었습니다. 초기 검색에서 올바른 도구를 찾는 능력이 주요 병목 구간이었습니다. 검색 엔진이 올바른 도구를 찾았을 때, 최종 순위 지정 단계는 매우 신뢰할 만했으며, 라이브러리의 크기와 상관없이 최선의 옵션을 상단에 배치하는 데 70~87%의 성공률을 보였습니다. 이는 이러한 시스템의 미래가 최종 의사결정자를 더 똑똑하게 만드는 것보다, 방대한 도구 라이브러리를 다룰 수 있는 더 나은 검색 엔진을 구축하는 것에 달려 있음을 시사합니다. 연구진은 또한 초기 도구 설명이 희소하거나 불완전할 때 이 접근 방식이 가장 효과적이라고 언급했습니다. 이미 매우 상세한 설명을 갖춘 라이브러리의 경우, 정보를 다시 쓰는 단계가 큰 이득을 주지 못했습니다. 그러나 설명이 짧은 경우가 많은 실제 세계의 방대한 도구 라이브러리에서는, 이 정보 보강 단계가 성공의 핵심이었습니다.
팀은 이 파이프라인을 대규모 멀티 에이전트 플랫폼의 기본 발견 레이어로 실제 운영 환경에 배포했습니다. 이 실제 환경에서 시스템은 수천 개의 에이전트, 도구, 기술을 동시에 관리합니다. 결과는 실험실의 발견을 확인시켜 주었습니다. 검색 기반 접근 방식은 기존 방식이 실패한 곳에서도 시스템이 효과적으로 확장할 수 있도록 해주었습니다. 연구진은 이것이 이론적인 연습이 아니라, 인공지능 시스템이 점점 더 복잡해지고 유능해짐에 따라 발생하는 문제에 대한 실질적인 해결책임을 강조했습니다. 역량 발견을 선택의 문제가 아닌 검색 문제로 다룸으로써, 그들은 이러한 시스템이 적절한 도구를 찾는 능력을 잃지 않고 계속 성장할 수 있는 청사진을 제공했습니다. 이 작업은 인공지능 생태계가 확장됨에 따라, 정보를 찾는 방식의 아키텍처 역시 단순한 목록에서 벗어나 현대 디지털 세계의 복잡성을 처리할 수 있는 정교하고 계층적인 검색 프로세스로 진화해야 함을 보여줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.