ProgRouter: Online Progress-Guided Orchestration for Multi-Agent LLM Workflows under Quality-Cost Tradeoffs

급격히 진화하는 인공지능 세계에서, 문제를 더 작은 단계로 나누어 해결할 수 있는 새로운 세대의 시스템이 등장했습니다. 멀티 에이전트 워크플로우(multi-agent workflows)라고 알려진 이 시스템들은 서로 다른 컴퓨터 프로그램들이 하나의 과제를 해결하기 위해 협력하는 전문가 팀처럼 작동하며, 각 프로그램은 거대 언어 모델(LLM)에 의해 구동됩니다. 어떤 에이전트는 전략을 계획하고, 다른 에이전트는 코드를 작성하며, 세 번째 에이전트는 결과를 검토할 수 있습니다. 이러한 방식은 기계가 이전에는 불가능했던 개방형 과제들을 다룰 수 있게 해주지만, 상당한 비용을 수반합니다. 시스템이 모델에게 생각하거나 행동하도록 요청할 때마다 에너지와 비용이 소비됩니다. 모든 단계에 가장 강력하고 유능한 모델을 사용하는 것은 종-종 낭비인 반면, 작고 저렴한 모델에만 의존하는 것은 나중에 값비싼 수정이 필요한 오류를 초래할 수 있습니다. 연구자들의 핵심 과제는 각 특정 순간에 어떤 모델을 사용할지 동적으로 결정하여, 결과의 품질에 대한 필요성과 시간 및 예산의 제한 사이에서 균형을 잡는 방법을 찾는 것이었습니다.

연구팀은 바로 이 문제를 해결하기 위해 PROGROUTER라는 새로운 시스템을 개발했습니다. PROGROUTER는 작업을 시작할 때 단 한 번 결정을 내리거나 문제가 생겼을 때 맹목적으로 더 강력한 모델로 격상시키는 대신, 실시간으로 워크플로우를 경청하는 지능적인 지휘자 역할을 합니다. 이 시스템은 팀이 얼마나 많은 진전을 이루었는지, 남은 단계의 난이도는 어떠한지, 그리고 예산이 얼마나 사용되었는지를 끊임없이 모니터링합니다. 이러한 실시간 평가를 바탕으로 다음 단계에 가장 적합한 모델을 선택함으로써, 강력하고 비싼 모델이 진정으로 특정 장애물을 극복하기 위해 필요할 때만 호출되도록 보장합니다. 이 접근 방식은 높은 성능을 유지하면서도 과제를 완료하는 데 필요한 총 에너지와 비용을 크게 줄여줍니다.

연구진은 네 가지 뚜렷한 유형의 어려운 과제, 즉 컴퓨터 코드 작성, 수학 문제 풀이, 그리고 방대한 양의 정보를 검색해야 하는 복잡한 질문 답변에 대해 이 시스템을 테스트했습니다. 그들은 PROGROUTER를 항상 동일한 모델을 사용하는 전략, 작은 모델로 시작하여 막혔을 때만 더 큰 모델으로 전환하는 전략, 그리고 무엇이 최선인지에 대한 과거의 추측에 의존하는 전략을 포함한 여러 기존 방법들과 비교했습니다. 결과에 따르면, 고정된 전략들은—그것이 작은 모델만을 사용하든 큰 모델만을 사용하든 상관없이—실험에서 설정된 에너지 및 비용 제한을 지속적으로 충족하지 못했습니다. 작은 모델들은 종종 막히게 되어 너무 많은 재시도를 요구했고, 큰 모델들은 매 호출마다 너무 많은 에너지를 소비했습니다. 반면, PROGROUTER는 중간 지점을 성공적으로 찾아냈습니다. 코드 작성 테스트에서 이 시스템은 4,800줄(joules)의 엄격한 에너지 예산 내에서 93%의 성공률을 달-성했습니다. 수학 문제에서는 단 19초 만에 6,112줄의 에너지만을 사용하여 예산 제약을 충족한 다른 모든 방법보다 뛰어난 성과를 보였습니다.

PROGROUTER가 효과적인 이유는 작업이 진행되는 동안 그 "상태(state)"를 이해하는 능력 때문입니다. 이 시스템은 여러 각도에서 워크플로우를 살펴보는 점수 산정 메커니즘을 사용합니다. 전체 계획이 유효한지, 얼마나 많은 하위 작업이 완료되었는지, 작업이 앞으로 나아가고 있는지 아니면 정체되어 있는지, 그리고 지금까지 생성된 정보의 품질이 어떠한지를 확인합니다. 이러한 다양한 관점을 결합함으로써, 시스템은 과제가 거의 완료되었는지 아니면 큰 장애물에 직면해 있는지를 판단할 수 있습니다. 작업이 순조롭게 진행될 때, 시스템은 비용을 낮추기 위해 더 작고 빠르며 저렴한 모델을 선택합니다. 그러나 시스템이 워크플로우가 막혔거나 어려운 단계가 남아 있음을 감지하면, 과제를 밀어붙이기 위해 즉시 더 강력한 모델로 전환합니다. 이 결정은 전체 과정 동안 즉각적이고 반복적으로 이루어지며, 이를 통해 불필요한 과도한 힘을 쓰는 데 에너지가 낭비되지 않도록 하고, 현재 모델이 제공할 수 있는 지능보다 더 높은 지능이 필요한 단계에서 시간을 허비하지 않도록 보장합니다.

또한 이 연구는 인터넷에서 정보를 수집하여 길고 상세한 보고서를 작성해야 하는 것과 같이 명확한 정답이 없는 개방형 상황에서도 이러한 적응형 접근 방식이 작동한다는 것을 보여주었습니다. 진행 상황을 측정하기 더 어려운 이러한 시나리오에서도, PROGROUTER는 테스트된 모든 방법 중 가장 높은 품질의 결과를 만들어냈습니다. 이 시스템은 에너지 제한 내에서 복잡한 질문들에 대해 92.1%의 정밀도 점수를 달성했습니다. 연구진은 시스템이 자연스럽게 전문화되는 법을 학습했다는 것을 발견했는데, 즉 일상적인 단계의 대부분에는 작은 모델을 사용하고, 추가적인 힘이 실질적인 차이를 만들 수 있는 결정적인 순간을 위해 가장 크고 유능한 모델을 아껴두는 방식입니다. 이러한 동적인 동작 덕분에 시스템은 약한 모델과 함께 루프에 빠지거나 강력한 모델로 예산을 너무 빨리 써버리는 등의 흔한 함정들을 피할 수 있었습니다.

궁극적으로, 이 연구는 효율적인 인공지능의 미래가 단순히 더 나은 모델을 만드는 것뿐만 아니라, 그 모델들을 더 잘 사용하는 방법을 만드는 데 있다는 것을 보여줍니다. 모델의 선택을 일회성 선택이 아닌 지속적인 데이터 기반 결정으로 취급함으로써, PROGROUTER는 현재 이러한 기술의 확장성을 제한하고 있는 과도한 비용 없이도 고품질의 결과를 얻는 것이 가능하다는 것을 보여줍니다. 이 시스템은 적절한 오케스트레이션(orchestration)이 있다면, 다양한 모델들로 구성된 팀이 단일 모델이 혼자 작업하는 것보다 더 효율적으로 협력할 수 있음을 증명하며, 자원을 고갈시키지 않고도 복잡한 현실 세계의 과제를 처리할 수 있는 지속 가능하고 접근 가능한 AI 시스템을 향한 길을 제시합니다.