기술 요약: MASPO – LLM 기반 다중 에이전트 시스템을 위한 결합 프롬프트 최적화

문제 정의

대형 언어 모델 (LLM) 기반 다중 에이전트 시스템 (MAS) 은 역할별 프롬프트를 통해 이질적인 에이전트들을 조율함으로써 복잡한 협업 과제를 해결하는 데 상당한 잠재력을 보여주었습니다. 그러나 이러한 프롬프트들의 결합 최적화는 여전히 중요한 병목 현상으로 남아 있습니다. 단일 에이전트 시나리오와 달리, MAS 최적화는 한 에이전트의 프롬프트 최적성이 다른 에이전트들의 행동에 본질적으로 의존하는 결합된 검색 공간을 포함합니다.

기존 프롬프트 최적화 방법들은 MAS 컨텍스트에서 두 가지 주요 도전에 직면해 있습니다:

1. 국소 - 전역 불일치 (신용 할당): 협업 환경에서 중간 에이전트들은 종종 최종 출력을 생성하는 대신 추론이나 요약과 같은 작업을 수행합니다. 정답 레이블에 의존하는 표준 평가 방법은 이러한 중간 단계에 효과적으로 신용을 할당하지 못합니다. 에이전트가 국소 지시를 완벽하게 충족 (국소 유효성) 하더라도 하류 동료들을 오도하는 출력을 생성하여 시스템 전체의 실패를 초래할 수 있습니다.
2. 비정상성과 검색 복잡성: 에이전트 간의 기능적 결합은 비정상적인 최적화 지형을 생성합니다. 상류 에이전트의 프롬프트를 수정하면 하류 에이전트의 입력 컨텍스트가 변경되어 공변량 이동을 유발하며, 이는 과거 성능 점수를 신뢰할 수 없게 만듭니다. 또한, 트리 구조 파라젠 추정기 (TPE) 와 같은 기존 방법들은 종종 고정된 이산 후보 풀에서 선택하는 데 제한되어 있어 개방적이고 세밀한 최적화를 제한합니다.

방법론: MASPO 프레임워크

이러한 도전을 해결하기 위해 저자들은 전체 다중 에이전트 시스템에 걸쳐 프롬프트를 자동으로 그리고 반복적으로 정제하도록 설계된 MASPO를 제안합니다. 이 프레임워크는 위상적 스케줄링, 추적 기반 생성, 결합 평가, 그리고 적응형 빔 검색을 포함한 체계적인 루프를 통해 작동합니다.

1. 위상적 컨텍스트 및 추적 기반 제안

MASPO 는 에이전트 통신 그래프의 인과적 의존성을 존중하는 좌표 상승 방식 전략을 채택합니다. 다음 에이전트로 이동하기 전에 하나의 에이전트를 완전히 수렴시키는 대신, 교차 진화 프로토콜을 사용합니다. 에이전트들은 제한된 세대 ($T$) 동안 위상적 순서로 최적화된 후 고정되어, 시스템이 공동 적응을 안정화하고 하류의 비최적 행동에 대한 상류의 과적합을 방지하도록 합니다.

프롬프트 생성을 위해 MASPO 는 맹목적인 변이가 아닌 실제 실행 추적에 기반한 데이터 주도 접근법을 활용합니다. 최적화 모델 ($M_{opt}$) 은 입력 컨텍스트에서 출력으로의 매핑을 분석하여 변형을 제안합니다. 핵심적으로, 이 프레임워크는 생성 과정에 "하드 네거티브" 추적을 주입하는 불일치 샘플링을 사용합니다. 이러한 사례들은 에이전트가 국소 목표를 충족했지만 전역 시스템을 지원하지 못했던 역사적 사례들로, 최적화 모델이 국소 지시와 전역 목표 간의 격차를 해소하도록 명시적으로 안내합니다.

2. 다중 세분화 결합 평가

신용 할당 딜레마를 해결하기 위해 MASPO 는 세 가지 차원에 걸쳐 후보 프롬프트를 평가하는 복합 점수 함수 ($R$) 를 도입합니다:

• 국소 유효성: 에이전트의 출력이 베이스라인보다 역할별 제약을 더 잘 충족하는지 측정합니다.
• 선도 잠재력: "파급 효과"를 정량화하는 위상 인식 지표입니다. 현재 에이전트가 생성한 새로운 컨텍스트를 하류 에이전트들이 입력받았을 때 더 나은 출력을 생성하는지 평가합니다.
• 전역 정렬: 최종 시스템 응답에 미치는 영향을 측정하여 장거리 의존성을 포착합니다.

이 결합 보상 모델 ($R = \alpha \cdot \text{Local} + \beta \cdot \text{Lookahead} + \theta \cdot \text{Global}$) 은 시스템이 고립된 출력이 아닌 전체 인과 사슬에 대한 기여도를 통해 에이전트의 유용성을 평가할 수 있게 합니다.

3. 적응형 역학을 가진 진화적 빔 검색

고차원 프롬프트 공간을 탐색하기 위해 MASPO 는 추적 기반 빔 검색을 사용합니다. 이는 경로 전체에 걸쳐 결합 보상 점수를 누적하여 가장 강력한 프롬프트를 선택하는 상위 $K$개 후보의 빔을 유지합니다.

주요 혁신은 빔 갱신 메커니즘입니다. 위상적 탐색 동안 동료 에이전트들이 진화함에 따라 특정 에이전트의 입력 분포가 이동하여 과거 점수가 낡게 됩니다. 에이전트가 새로운 에포크에서 재방문될 때, MASPO 는 낡은 누적 점수를 폐기하고 현재 전역 최상 프롬프트에 대해 후보들을 평가하여 빔을 재고정합니다. 이는 검색이 유효하고 최신의 성능 매니폴드에서 재개되도록 하여 비정상성을 효과적으로 완화합니다.

주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

1. 다중 세분화 결합 평가: 국소 유효성, 선도 잠재력, 전역 정렬을 시너지 있게 결합하여 협업 체인 내 에이전트의 완전한 인과적 영향을 포착함으로써 신용 할당 딜레마를 해결하는 복합 지표.
2. 불일치 주도 생성적 검색: 에이전트들이 국소 역할을 수행하지만 시스템 전체의 실패를 유발하는 시나리오인 "불일치 사례"에 의해 명시적으로 안내되는 빔 검색 전략. 이를 통해 최적화 모델은 특정 상호작용 붕괴를 진단하고 수정할 수 있습니다.
3. 적응형 최적화 역학: 빔 갱신 메커니즘이 강화된 좌표 상승 기반 스케줄링 프로토콜. 이러한 기법들은 다중 에이전트 상호작용에 내재된 비정상성을 완화하여 에이전트들이 동료들의 진화하는 행동에 적응하도록 보장합니다.

실험 결과

저자들은 수학 능력 (MATH-500, AGIEval-MATH, AQuA), 복잡한 추론 (GPQA), 코드 생성 (MBPP, HumanEval-ET) 으로 이어지는 여섯 가지 다양한 과제에 걸쳐 MASPO 를 평가했습니다. 이 프레임워크는 Qwen3-8B 를 백본으로 사용하고 Gemini-2.5-pro 를 최적화 모델 및 평가자로 사용하여 순차적 및 계층적 MAS 아키텍처 모두에서 테스트되었습니다.

• 성능 향상: MASPO 는 단일 에이전트 전략 (Vanilla, CoT, Self-Refine) 과 기존 다중 에이전트 최적화 방법 (TPE, SPO) 을 포함한 최첨단 베이스라인을 일관되게 능가했습니다. 가장 성능이 좋은 최적화 베이스라인 대비 평균 정확도 2.9% 향상을 달성했습니다.
• 견고성: 이 프레임워크는 위상 무관 성능을 보여주어, 순차적 MAS 는 베이스라인 대비 5.06%, 계층적 MAS 는 2.73% 를 개선했습니다.
• 어블레이션 연구: 실험은 모든 핵심 구성 요소의 필요성을 확인했습니다. 빔 갱신 메커니즘이나 결합 평가를 제거하면 성능이 크게 저하되었습니다. 민감도 분석은 전역 정렬에 크게 의존하는 것보다 국소 유효성과 선도 잠재력을 균형 있게 조정 (가중치 0.4/0.4) 할 때 우수한 적응성을 보임을 밝혔습니다.
• 전이성: Qwen3-8B 에서 최적화된 프롬프트는 DeepSeek-V3, GLM-4.6, Claude-Sonnet-4, Gemini-2.5-Pro 와 같은 보지 못한 아키텍처로 성공적으로 전이되었으며, 이는 MASPO 가 특정 모델의 고유성에 과적합되는 것이 아니라 일반화된 상호작용 논리를 포착함을 시사합니다.

중요성 및 주장

이 논문은 MASPO 가 동적 다중 에이전트 환경에서 결합 프롬프트 최적화라는 미탐색 과제를 해결하는 강력한 솔루션을 제공한다고 주장합니다. 고립된 에이전트 튜닝을 넘어선 MASPO 는 중간 단계에 정답 레이블에 의존하지 않고 국소 상호작용과 전역 결과 간의 격차를 효과적으로 메꿉니다.

저자들은 그들의 접근 방식이 특히 다음에 중요하다고 강조합니다:

• 신용 할당 문제 해결: 최종 정확도뿐만 아니라 하류 유용성에 기반하여 중간 에이전트를 평가할 수 있는 메커니즘 제공.
• 비정상성 처리: 동료 에이전트로 인한 이동하는 입력 분포에도 불구하고 최적화 과정을 안정적으로 유지하는 동적 갱신 메커니즘 도입.
• 실용적 적용성: 소량의 레이블 없는 샘플 풀 (50 개 인스턴스) 로 높은 성능을 달성할 수 있음을 보여줌으로써, 이 프레임워크를 계산 효율적으로 만들고 리소스 제약이 있거나 프라이버시 민감한 배포에 적합하게 만듦.

이 연구는 협업 AI 시스템에 대한 향후 연구가 동적 역할 전문화와 아키텍처 최적화에 초점을 맞춰야 하며, MASPO 가 자동화된 자기 개선 다중 에이전트 시스템을 향한 기초적인 단계가 되어야 함을 시사합니다.