기술 요약: 도서관 사서 만세! 에너지 효율적인 다중 에이전트 소프트웨어 엔지니어링 시스템을 위한 지속적 검색 서브-에이전트

문제 제기

다중 에이전트 시스템 (MAS) 이 자율 소프트웨어 엔지니어링 (SWE) 을 크게 발전시켰지만, 증가하는 추론 에너지 수요는 지속 가능성에 대한 우려를 불러일으키고 있습니다. 대형 언어 모델 (LLM) 의 에너지 소비에 대한 기존 문헌은 주로 회당 설정이나 단일 에이전트 실행에 초점을 맞추고 있어, 단일 작업이 전문화된 여러 서브-에이전트에 걸쳐 수많은 LLM 호출로 이어지는 MAS 의 고유한 에너지 역학을 제대로 설명하지 못합니다.

저자들은 현재 MAS 설계에서 중복된 출력 토큰 생성이라는 치명적인 비효율성을 확인했습니다. 기존 아키텍처에서는 서브-에이전트들이 호출 간 파일 탐색 기록에 대한 지속적 기억력을 갖추지 못합니다. 그 결과, 오케스트레이터가 서로 다른 쿼리를 발행할 때 서브-에이전트들은 중첩된 저장소 영역을 반복적으로 탐색하고 긴 파일 발췌문을 재생성합니다. 이 재탐색 사이클은 가장 에너지 집약적인 토큰 범주인 출력 토큰을 증폭시킵니다.

실증 분석은 극명한 에너지 비대칭성을 드러냈습니다. 출력 토큰 하나는 입력 토큰이나 캐시된 토큰보다 30 배에서 1,000 배 더 많은 에너지를 소비합니다. 그럼에도 불구하고, 총 토큰 수와 API 가격 기반 대리 지표들은 중복된 탐색으로 생성된 출력 토큰의 불균형적인 비용을 고려하지 못하기 때문에 실제 GPU 에너지 소비량을 과소평가하는 경향이 있습니다.

방법론

1. 에너지 귀속 및 진단

저자들은 SWE-Bench Verified 를 대상으로 두 가지 다중 에이전트 시스템 (BOAD 및 HyperAgent) 과 두 가지 Qwen3.6 모델 백본 (35B-A3B 및 27B) 을 NVIDIA A100 및 B200 GPU 에서 사용하여 턴 수준의 에너지 귀속 연구를 수행했습니다.

• 토큰 수준 분해: 그들은 GPU 에너지를 캐시되지 않은 입력 ($x_u$), 캐시된 입력 ($x_c$), 그리고 출력 ($x_o$) 의 세 가지 범주로 분해했습니다.
• 회귀 분석: 선형 회귀 모델 ($E_t = \alpha + \beta_u x_u + \beta_c x_c + \beta_o x_o$) 은 출력 토큰이 에너지 소비를 지배하며, 계수 ($\beta_o$) 가 660 에서 3,512 mJ/토큰 범위인 반면 입력 토큰은 약 0.5~34 mJ/토큰임을 확인했습니다.
• 근본 원인 식별: 이 연구는 과도한 출력을 "중복 재작성"에서 비롯된 것으로 추적했습니다. 서브-에이전트들은 동일한 에피소드 내에서 자신이나 다른 에이전트가 이미 검사한 파일 영역을 자주 재독해하며 오케스트레이터에 대한 응답에서 전체 텍스트를 재생성했습니다.

2. 도서관 사서 (Librarian) 서브-에이전트

이를 해결하기 위해 저자들은 중복된 탐색을 제거하고 출력량을 최소화하도록 설계된 Librarian, 즉 지속적 검색 서브-에이전트를 제안합니다. 이는 표준 코드 탐색 서브-에이전트를 대체하여 기존 MAS 에 통합됩니다.

핵심 설계 원칙:

• 지속적 세션: 새로운 컨텍스트로 시작하는 표준 서브-에이전트와 달리, Librarian 는 에피소드 내 모든 호출에 걸쳐 단일 장기 세션을 유지합니다. 이전 검색 및 답변의 전체 궤적을 보존합니다.
• 컨텍스트 신선도: 기록이 현재 저장소 상태와 일치하도록 보장하기 위해, 각 호출에는 이전 호출 이후 수정된 파일과 행 범위를 나열한 "신선도 보고서"가 제공됩니다. Librarian 는 변경되지 않은 영역에 대해서는 캐시된 발췌문을 재사용하면서 수정된 영역만 재탐색하도록 지시받습니다.
• 포인터 전용 답변: 전체 파일 발췌문을 응답에 인라인으로 포함하는 대신, Librarian 는 짧은 보기 명령 (파일 경로 및 행 범위를 가리키는 포인터) 을 반환합니다. 실제 코드 발췌문은 시스템 도구 계층에서 가져와 오케스트레이터로 전달됩니다. 이로 인해 LLM 자체가 생성하는 토큰 양이 크게 감소합니다.

통합 전략:
통합은 코드 탐색을 위한 오케스트레이터의 위임 도구를 Librarian 위임 도구로 교체하는 "도구 교체"를 포함합니다. 해결 계획은 개방형 탐색이 아닌 자연어 조회 쿼리 (예: "심볼 X 는 어디에서 정의되었는가?") 로 탐색 단계를 표현하도록 다시 작성됩니다. Librarian 는 파일 및 코드 조회에 엄격히 국한되며, 분석적 추론과 편집은 오케스트레이터나 다른 전문 에이전트의 책임으로 남습니다.

주요 결과

저자들은 Qwen3.6-35B-A3B 및 Qwen3.6-27B 백본을 갖춘 BOAD 및 HyperAgent 를 대상으로 SWE-Bench Verified(500 개 작업) 에서 Librarian 를 평가했습니다.

• 에너지 감소: Librarian 는 에피소드당 GPU 에너지 소비를 최대 25% 감소시켰습니다 (예: 35B-A3B 를 사용한 HyperAgent 의 경우 25.64 kJ 에서 22.73 kJ 로 감소).
• 토큰 효율성: 이 감소는 주로 출력 토큰 감소에 기인했습니다. 예를 들어, Librarian 를 사용한 HyperAgent 는 에피소드당 출력 토큰을 48.5K 에서 42.2K 로 줄였습니다.
• 성능 보존: 중요하게도, Librarian 는 작업 통과율을 유지하거나 향상시켰습니다. 대부분의 구성에서 통과율은 기준 MAS 와 비슷하거나 약간 더 높게 유지되어 에너지 절감이 작업 해결의 대가 없이 이루어졌음을 입증했습니다.
• 기준선과의 비교:
  • 토큰 효율성 방법: "LastN Observation"(기록 잘라내기) 및 "Caveman prompting"(텍스트 압축) 과 같은 기법들은 에이전트가 잃어버린 컨텍스트를 재탐색하도록 강요하여 출력 토큰을 증가시켰기 때문에 통과율을 저하시키거나 에너지를 효과적으로 줄이지 못했습니다.
  • 검색 기반 변형: 지속적 기록을 BM25 또는 밀집 임베딩과 같은 검색 기반 컨텍스트로 대체한 경우, 에너지 소비가 증가하고 통과율이 낮아졌으며, 이는 오케스트레이터의 쿼리가 단순 검색이 제공할 수 없는 능동적 컨텍스트 관리와 추론을 필요로 함을 시사합니다.
• 확장성: 에너지 감소는 다양한 작업 난이도에서 지속되었습니다. Librarian 호출 빈도는 작업 복잡도가 증가함에 따라 늘어났지만, 에피소드당 에너지 절감액은 일관되게 유지되었으며 더 어려운 작업에서도 통과율이 유지되었습니다.

중요성 및 주장

이 논문은 다중 에이전트 SWE 시스템에서 이전에 간과되었던 주요 에너지 낭비 원인을 식별하고 제거했다고 주장합니다. 그 중요성은 세 가지 주요 기여에 있습니다:

1. 실증적 발견: 에이전트 환경에서 출력 토큰이 자원 사용을 지배하며, 출력 생성의 높은 한계 비용으로 인해 총 토큰 수는 실제 에너지 소비에 대한 나쁜 대리 지표임을 확인했습니다.
2. 중복성 진단: 기존 MAS 설계의 에너지 오버헤드를 디버깅 주기 전반에 걸친 중복 파일 조회의 결과로 진단했으며, 이는 기존 어떤 서브-에이전트도 인식하지 못하는 중복성입니다.
3. 아키텍처 솔루션: 기존 MAS 설계에 통합되어 누락된 역할 (상태가 있는 저장소 탐색) 을 제공하는 Librarian, 즉 지속적 검색 서브-에이전트를 제안합니다. 콘텐츠 대신 포인터를 반환하고 기록을 재사용함으로써 하드웨어 에너지 소비를 최소화하면서도 작업 성능을 유지합니다.

저자들은 단순한 프롬프트 압축이나 컨텍스트 잘라내기보다 지속적이고 상태가 있는 검색을 통해 출력 토큰을 최소화하는 것이 SWE 에이전트의 에너지 효율성을 위한 더 효과적인 전략이라고 결론지었습니다. 이러한 방법들은 종종 성능을 저하시키기 때문입니다. 그들은 현재 솔루션이 코드 탐색 역할에 국한되어 있으며 27B 활성 파라미터까지의 모델에서 평가되었음을 인정하며, 더 큰 모델과 실행 중심 역할로의 확장성은 열린 과제로 남겼습니다.