기술 요약: CANTANTE

문제 정의

대규모 언어 모델 (LLM) 기반 다중 에이전트 시스템 (MAS) 은 소프트웨어 공학, 예측 모델링, 검색 증강 생성과 같은 복잡한 작업에서 강력한 성능을 입증해 왔습니다. 그러나 이들의 구성을 자동화하는 것은 구조적인 과제로 남아 있습니다. 시스템 수준의 평가 점수 (예: 정확도, 보상) 는 존재하지만, 개별 에이전트의 행동을 지배하는 매개변수 (예: 프롬프트) 는 로컬적입니다. 이로 인해 '신용 할당 (credit assignment)' 불일치가 발생합니다. 시스템을 최적화하려면 전역 스칼라 신호를 각 에이전트에 대한 구체적인 업데이트 신호로 변환해야 하기 때문입니다.

기존 접근 방식은 종종 전역 점수를 개별 에이전트에 직접 전파하거나 에이전트를 순차적으로 (예: 라운드 로빈 방식) 업데이트하여 보상 신호를 효과적으로 분해하지 못합니다. 그 결과 비효율적인 최적화가 발생하는데, 에이전트가 잘못된 업데이트 신호를 받거나 (예: 코더의 실수에 대해 플래너가 패널티를 받는 경우) 또는 결합 구성의 조합적 특성으로 인해 탐색 공간이 처리 불가능해집니다.

방법론: CANTANTE

저자들은 CANTANTE(Contrastive Attribution for Tuning of Multi-Agent Systems, 다중 에이전트 시스템 조정을 위한 대비적 귀속) 를 도입했습니다. 이는 MAS 최적화를 신용 할당 문제로 공식화하는 프레임워크입니다. 핵심 메커니즘은 대비적 그룹 내 귀속 (contrastive in-group attribution) 으로, 시스템 수준의 보상을 에이전트별 업데이트 신호로 분해합니다.

핵심 메커니즘

1. 결합 구성 샘플링: 각 반복에서 로컬 옵티마이저는 $N$개의 에이전트 각각에 대해 $K$개의 후보 매개변수화 (예: 프롬프트) 를 제안합니다. 이들은 $K$개의 결합 구성으로 조립됩니다.
2. 롤아웃 및 평가: 각 결합 구성은 일련의 쿼리에 실행되어 시스템 수준의 점수와 실행 흔적 (에이전트 출력의 궤적) 을 생성합니다.
3. 대비적 귀속: 절대 점수에 기반하여 신원을 할당하는 대신, 귀속 모델 (프롬프트가 적용된 LLM) 은 크기 $g$의 무작위 비교 그룹 내 궤적을 비교합니다. 이는 그룹 내 다른 구성들과 관련하여 시스템 결과에서 관찰된 차이점에 각 에이전트의 특정 출력이 어떻게 기여했는지 평가합니다.
   • 귀속기는 각 롤아웃마다 각 에이전트에 대해 스칼라 신용 $c \in [-1, +1]$을 출력합니다.
   • 이를 통해 시스템은 중간 행동 차이를 분석함으로써 동일한 시스템 점수를 가진 구성들 사이에서도 구별할 수 있습니다.
4. 로컬 업데이트: 집계된 신용은 해당 로컬 옵티마이저로 전달되며, 이는 에이전트 매개변수 (프롬프트) 를 독립적으로 업데이트합니다.

구체화

실험에서 CANTANTE 는 프롬프트 최적화를 위해 구체화되었으며, 에이전트 프롬프트를 학습 가능한 시스템 매개변수로 취급합니다. 이 프레임워크는 로컬 옵티마이저 선택에 무관하며, 저자들은 기본 로컬 옵티마이저로 CAPO(Cost-aware Prompt Optimization) 를 활용하지만 EvoPrompt 와 같은 다른 옵티마이저와의 호환성도 입증했습니다.

주요 기여

1. 공식화: 이 논문은 LLM 기반 MAS 최적화를 신용 할당 문제로 공식화하여, 시스템을 단일 블록으로 취급하는 표준 프롬프트 최적화와 구별합니다.
2. 프레임워크 설계: CANTANTE 는 결합 롤아웃을 비교함으로써 에이전트별 기여도를 격리하는 대비적 귀속 메커니즘을 도입하여, 귀속을 특정 업데이트 메커니즘과 분리합니다.
3. 실증적 검증: 이 프레임워크는 서로 다른 워크플로우 토폴로지를 가진 세 가지 고유한 벤치마크를 통해 최첨단 베이스라인 (GEPA 및 MIPROv2) 과 비교 평가되었습니다.
   • MBPP: 프로그래밍 (플래너, 실행기, 유효성 검사기가 있는 조건부 워크플로우).
   • GSM8K: 수학적 추론 (세 개의 실행기와 합의 에이전트를 가진 병렬 앙상블).
   • HotpotQA: 멀티홉 질문 답변 (검색기, 리더, 합성기, 환각 검사기가 있는 검색 증강 생성).
4. 추출 및 분석: 저자들은 '정체성 귀속 (identity attribution)' 추출 (전역 점수가 직접 전파되는 경우) 을 통해 대비적 귀속이 성능 향상의 주요 동인임을 분리해냈습니다. 또한 MAS 토폴로지 병목 현상을 진단하기 위해 신용 상관관계를 분석했습니다.

결과

CANTANTE 는 모든 벤치마크에서 평가된 모든 옵티마이저 중 평균 순위가 가장 높았습니다.

• 성능 향상:
  • MBPP: 41.89% 의 정확도를 달성하여 가장 강력한 베이스라인 (MIPROv2) 대비 +18.9 퍼센트 포인트 개선되었고, 초기 최적화되지 않은 프롬프트 대비 36.35 포인트 개선되었습니다. 또한 베이스라인에 비해 시드 간 분산이 현저히 낮았습니다.
  • GSM8K: 82.33% 의 정확도를 달성하여 MIPROv2 대비 +12.5 퍼센트 포인트, GEPA 대비 21.06 포인트 개선되었습니다.
  • HotpotQA: 11.93% 의 정확도를 달성하여 가장 강력한 베이스라인의 표준 편차 범위 내에 머물렀으며 초기 구성 대비 개선되었습니다.
• 효율성: MBPP 와 GSM8K 에서 CANTANTE 는 최적화되지 않은 프롬프트 및 기타 베이스라인에 비해 쿼리당 더 적은 추론 시간 토큰을 요구하면서 더 높은 정확도를 달성했습니다. 이는 성장이 증가된 계산이 아닌 더 나은 매개변수화에 의해 주도되었음을 시사합니다.
• 강건성: 이 방법은 데이터셋 크기가 감소 (최소 75 개 샘플) 하여도 효과적이었으며, 귀속 모델과 프롬프트의 변화에 강건했습니다.
• 신용 상관관계: 분석은 귀속기가 단순히 전역 점수를 반복하는 것이 아니라 의미 있는 에이전트별 신호를 생성함을 확인했습니다. 예를 들어, GSM8K 에서 나중에 실행되는 에이전트는 최근성 편향으로 인해 더 높은 귀속을 받았으며, 이는 알려진 LLM 행동과 일치하는 패턴입니다.

중요성 및 주장

이 논문은 CANTANTE 가 다중 에이전트 시스템 매개변수를 수동 구성이 아닌 기계 학습의 대상으로 취급하는 방향으로 나아가는 한 걸음이라고 주장합니다. 로컬 매개변수와 전역 피드백 사이의 구조적 불일치를 해결함으로써, 이 프레임워크는 MAS 가 새로운 작업에 원칙적으로 적응할 수 있게 합니다.

저자들은 대비적 귀속이 전역 점수 전파보다 LLM 기반 MAS 를 위한 더 효과적인 최적화 원시 (primitive) 라고 강조합니다. 의미 있는 에이전트별 신호를 생성할 수 있는 능력은 다음과 같은 것을 가능하게 합니다:

1. 더 안정적이고 효율적인 최적화 (낮은 분산과 빠른 수렴에서 확인됨).
2. MAS 토폴로지 설계에 대한 진단 기능 (어떤 에이전트가 병목인지 식별).
3. 귀속 메커니즘과 로컬 옵티마이저의 분리, 정교한 최적화 전략의 통합 가능.

이 연구는 복잡한 에이전트 워크플로우 구성을 자동화하는 기초적인 접근 방식으로 제시되며, 배포에 현재 필요한 수동 작업을 줄이는 것을 목표로 합니다.