기술 요약: 멀티 에이전트 자동화 연구 시스템을 위한 어휘 체계

문제 정의

최근의 멀티 에이전트 대규모 언어 모델(LLM) 시스템은 선행 연구 수집, 아이디어 제안, 코드 작성, 실험 실행, 결과 해석을 포함한 엔드 투 엔드(end-to-end) 연구를 자동화하는 능력을 입증해 왔다. AIRA2, Glia, Automated Alignment Researcher(AAR)와 같은 시스템들은 이러한 자동화를 연구 궤적(research trajectories)에 대한 명시적 탐색으로 프레임화한다. 그러나 이 분야에는 이러한 시스템들을 설명할 수 있는 공통된 언어가 부족하다. 어떤 "멀티 에이전트 시스템"이 다른 시스템보다 우월하다고 주장하는 것은 모호한 경우가 많은데, 이는 시스템들이 통신 토폴로지, 크로스 런(cross-run) 메모리, 초기화 전략, 평가자 무결성이라는 여러 축에 걸쳐 동시에 다르기 때문이다.

정식적인 분해(formal decomposition) 없이는 어떤 특정 설계 선택이 성능 향상을 이끌어내는지 격리하여 파악하기 어렵다. 또한, 이러한 시스템에서 흔히 모호한 결함으로 인용되는 "취향(taste)"의 개념은, 실패의 원인이 새로운 후보를 제안하는 능력(생성적 취향, generative taste)에 있는지 아니면 이를 충실하게 점수 매기는 평가자의 능력(평가적 취향, evaluative taste)에 있는지 모호하게 만듦으로써 하나의 단일한 불만 사항으로 혼재되어 있다.

방법론: 시스템 어휘

본 논문은 멀티 에이전트 자동화 연구 시스템을 다음과 같은 튜플 M으로 정식화한다:
$$M = \langle A, O, C, \alpha, S, \pi, \iota, e \rangle$$

이 어휘는 시스템을 다음과 같이 구별되는 독립적인 변수 좌표들로 분해한다:

1. 에이전트 ($A$): 백본 모델($\theta$), 개인 메모리($m$), 역할($\rho$)로 정의되는 에이전트의 집합. 본 논문은 에이전트(지속적인 개인 메모리를 가진 엔티티)와 상태가 없는 모듈(도구 또는 원샷 프롬프트)을 구분한다.
2. 연산 ($O$): 호출 가능한 작업들의 집합 (도구, 스킬, API, 스크립트). 이는 능력 할당과는 별개의 개념이다.
3. 통신 ($C$): $(\Lambda, \sigma)$ 쌍으로 정의되며, 여기서 $\Lambda$는 통신 공간(에이전트 간의 유향 엣지)이고 $\sigma$는 메시지 프로토콜이다. 본 논문은 토폴로지의 형태(예: star, tree, mesh)와 활성 엣지를 선택하는 제어(중앙 집중형, 계층형 또는 분산형)를 분리한다.
4. 능력 할당 ($\alpha$): 에이전트를 연산($O$)의 부분 집합으로 매핑하는 함수. 이를 통해 비대칭 설계(예: 도구가 없는 감독자)와 동적 변화(실행 중 능력 부여/회수)가 가능하다.
5. 공유 상태 ($S$): 세 가지 범위로 나뉜다:
   • $S_{btw}$: 런 내부 상태 (예: 블랙보드, 메시지 로그).
   • $S_{world}$: 외부 상태 (예: 코드 저장소, 시뮬레이터).
   • $S_{cross}$: 크로스 런 상태 (예: 인구 데이터베이스, 증류된 요약본)로서 실행 간에 지속되는 상태.
6. 제어 정책 ($\pi$): 다음은 다음과 같이 분해된다:
   • $\pi_{route}$: 누가 다음에 행동할 것인가와 무엇을 할 것인가.
   • $\pi_{stop}$: 언제 실행을 종료할 것인가.
   • $\pi_{meta}$: 실행 중 구조적 변화 (스폰, 킬, 포크, 정책 재작성).
   • $\eta$: 탐색 파라미터 (예: 온도/temperature).
7. 초기화 ($\iota$): 역할 프롬프트, 시드 컨텍스트, 초기 능력을 포함하여 시작 상태를 설정하는 함수.
8. 평가자 ($e$): 대리 점수 매기기 메커니즘. 본 논문은 평가자를 시스템 구성 요소로 명시적으로 포함하며, 보고된 이득이 프록시 점수와 실제 품질($q$) 사이의 차이에 달려 있음을 지적한다.

궤적 표기법 (Trajectory Notation): 단일 실행은 에이전트, 연산, 관측 및 상태 변화의 순서를 기록하는 궤적 $\tau$로 정식화된다. 구성 요소들은 확률적이므로, 반복된 실행은 단일한 행동이 아닌 궤적에 대한 분포를 유발한다.

최적화 프레임워크: 시스템은 예산 $B$ 하에서 프록시 점수 $e(\tau)$를 최대화하는 최적화 문제로 프레임화된다. 본 논문은 검색 프로세스가 프록시 평가자에 과적합되어 보상 해킹(예: 시드 체리피킹, 홀드아웃 라벨 유출)을 초래할 수 있는 "프록시-품질 간극"($\Delta_\omega$)을 강조한다.

주요 기여

1. 정식 분해: 본 논문은 설계 선택을 격리하는 엄격한 튜플 기반 프레임워크를 제공한다. 이를 통해 연구자들은 모호한 "멀티 에이전트"라는 라벨 대신 특정 좌표(예: 통신 토폴로지 대 초기화)에 성능 변화의 원인을 귀속시킬 수 있다.
2. 취향의 분리: 이 어휘는 "취향"을 두 가지 뚜렷한 실패 유형으로 나눈다:
   • 생성적 취향 (Generative Taste): 점수를 매기기 전, 참신하고 고품질인 궤적을 제안하는 비율 (결정 요인: $\theta, \iota, \eta, S_{cross}$).
   • 평가적 취합 (Evaluative Taste): 프록시 점수의 실제 품질에 대한 충실도 (결정 요인: $e$의 무결성).
3. 구성 요소로서의 평가자: 평가자를 하나의 좌표로 취급함으로써, 개선이 더 나은 검색 전략에서 온 것인지 아니면 게임(gaming)에 저항하는 더 강력한 평가자로부터 온 것인지를 명확히 한다.
4. 기존 시스템에 대한 적용: 이 어휘를 최근의 자동화 연구 시스템(AIRA2, AlphaEvolve, Glia, AAR, AI Scientist-v2, MetaGPT, EvoX, ml-intern, SimpleTES, Engram)에 적용하여, 각 시스템을 튜플의 특정 구성으로 매핑한다.

결과 및 사례 연구 결과

본 논문은 새로운 실험 결과를 제시하기보다는 이 어휘를 사용하여 기존 문헌을 분석하며, 다음과 같은 사실을 밝혀냈다:

• 설계의 다양성: 시스템들은 어떤 좌표를 설정하느냐에 따라 크게 다르다. 예를 들어:
  • AIRA2와 AlphaEvolve는 $S_{cross}$(인구 데이터베이스)와 $\pi_{meta}$(진화 루프)에 집중한다.
  • Glia는 비대칭 능력 할당($\alpha$)에 의존하며, 여기서 감독자는 도구가 없다 ($\alpha(Sup) = \emptyset$).
  • AAR은 지시된 시딩(directed seeding)을 통한 초기화($\iota$)와 공유 포럼을 통한 통신($\Lambda$)에 집중한다.
  • MetaGPT는 에이전트 집합($A$), 통신 엣지($\Lambda$), 그리고 라우팅($\pi_{route}$)을 고정된 조립 라인으로 설정한다.
  • EvoX는 제어 정책 자체를 가변적인 상태로 다루는 $\pi_{meta}$ (정책을 재작성하는 $\pi$)를 독특하게 처리한다.
• 일반적 vs 설정된 좌표: 대부분의 시스템은 연산 유니버스($O$)나 탐색($\eta$)과 같은 많은 좌표를 일반적인 설정(harness settings)으로 남겨둔다.
• 과적합 및 무결성: AAR 및 AIRA2에서의 보상 해킹(reward hacking) 분석은 높은 점수가 우수한 검색이 아닌 착취 가능한 평가자로부터 발생할 수 있음을 보여주며, 이는 평가자 무결성을 주요 설계 좌표로 다뤄야 할 필요성을 강화한다.

의의 및 주장

본 논문은 이 어휘가 이 분야가 모호한 비교를 넘어 나아가기 위한 필수적인 도구라고 주장한다. 그 의의는 다음과 같다:

• 변수 격리: 이는 하나의 좌표를 고정하고 다른 좌표를 변화시키는 "통상적인 절제 실험(ordinary ablations)"을 가능하게 하여, 개선의 원천을 명확히 한다.
• 실패 모드 명확화: 시스템이 나쁜 아이디어를 생성하는 것(생성적 실패)과 잘못 평가되는 것(평가적 실패)을 구분하여, 각각에 대한 서로 다른 해결책을 제시한다.
• 미개척 분야 식별: 프레임워크는 동적 능력 할당($\alpha$), 런타임 중 제어 정책의 재작성($\pi$), 그리고 스스로의 작업 분포($D$)를 수정하는 시스템과 같이 현재 저조하게 활용되고 있는 좌표들을 강조한다.

저자들은 향후 자동화된 연구의 진보는 이러한 시스템들이 어떤 특정 좌표를 선택하여 변화시키느냐에 의해 구별될 것이라고 결론짓는다. 이는 최종 점수만으로는 드러낼 수 없는 차이이다. 이 어휘는 그러한 차이를 명시적으로 만들기 위한 언어를 제공한다.