1. 연구 배경 및 문제 정의 (Problem Definition)

• 배경: 대규모 언어 모델 (LLM) 기반의 에이전트는 복잡한 작업 수행 능력을 입증했습니다. 최근에는 단일 에이전트의 한계를 극복하기 위해 여러 에이전트가 협력하는 **다중 에이전트 시스템 (Multi-Agent Systems, MAS)**이 코드 생성, 추론, 의사결정 등 다양한 분야에서 주목받고 있습니다.
• 문제점: 기존 MAS 설계는 주로 수동으로 설계된 (handcrafted) 전략에 의존합니다.
  • 에이전트 구성: 인간의 전문성이나 LLM 생성에 기반하지만, 다단계 협력 프로세스 내에서의 에이전트 최적화를 명시적으로 다루지 않습니다.
  • 협력 구조: 특정 시나리오에 맞춰 고정된 아키텍처를 사용하며, 인간의 선지식이나 경험적 발견에 의존합니다. 이는 일반성과 자율적 최적화 유연성을 제한합니다.
  • 기존 연구의 한계: DyLAN 등의 연구는 협력 구조 최적화를 시도했으나, 주로 팀 구성에 초점을 맞추거나 비지도 신호 (unsupervised signals) 에 의존하여 감독된 검증이 부족했습니다. 다른 연구들은 구조 최적화만 다루거나 에이전트 기능 최적화를 다루지 않았습니다.
• 목표: 에이전트의 기능 (Functionality) 과 협력 구조 (Collaboration Structure) 를 모두 포괄적으로 최적화할 수 있는 전체적 (Holistic) 프레임워크를 제안하는 것입니다.

2. 제안 방법론: OMAC (Methodology)

OMAC 는 다단계 협력 프로세스에 참여하는 LLM 기반 MAS 를 위한 감독 기반 (Supervised) 최적화 프레임워크입니다.

A. 5 가지 핵심 최적화 차원 (Five Key Optimization Dimensions)

저자는 MAS 최적화를 위한 5 가지 핵심 차원을 정의했습니다. 이는 에이전트 기능과 협력 구조를 모두 포괄합니다.

1. 기존 에이전트 최적화 (Fun-1): 기존 에이전트의 지시 프롬프트 (Instruction Prompt) 및 퓨샷 예시 (Few-shot examples) 를 개선하여 특정 작업 성능을 향상시킵니다.
2. 새로운 에이전트 구축 최적화 (Fun-2): 작업 맥락과 기존 MAS 구성을 바탕으로 새로운 에이전트의 역할과 프롬프트를 생성 및 최적화하여 시스템에 통합합니다.
3. 후보 에이전트 선택 최적화 (Str-1): 협력 시작 전, 주어진 작업에 가장 적합한 에이전트 서브셋을 선택하는 LLM 기반 컨트롤러의 프롬프트를 최적화합니다.
4. 동적 에이전트 참여 최적화 (Str-2): 다단계 협력의 각 단계에서, 이전 단계의 출력을 문맥으로 활용하여 현재 단계에 가장 적합한 에이전트를 동적으로 선택하는 컨트롤러를 최적화합니다.
5. 에이전트 간 통신 흐름 최적화 (Str-3): 한 에이전트의 출력이 다른 에이전트의 입력 문맥으로 사용될지 여부를 결정하는 통신 라우팅 컨트롤러를 최적화합니다.

B. 단일 차원 최적화 알고리즘

각 차원을 최적화하기 위해 두 가지 LLM 기반 '배우 (Actors)'를 활용하는 일반 알고리즘을 제안합니다.

1. 시맨틱 초기화기 (Semantic Initializer):
   • LLM 의 지식과 추론 능력을 활용하여 최적화 대상 차원에 맞는 에이전트나 컨트롤러의 초기 컬렉션 (초기 프롬프트 집합) 을 생성합니다.
   • 의미 공간 (Semantic Space) 을 체계적으로 탐색하여 다양성을 확보합니다.
2. 대조적 비교기 (Contrastive Comparator):
   • 초기 컬렉션의 에이전트/컨트롤러를 MAS 협력 프로세스에 투입하여 평가합니다.
   • **양성 - 음성 쌍 (Positive-Negative Pair)**을 샘플링합니다 (성능이 높은 것 vs 낮은 것).
   • 이 쌍을 비교하여 성능 격차의 근본 원인을 추론 (Contrastive Reasoning) 하고, 이를 바탕으로 더 성능이 좋은 새로운 에이전트/컨트롤러를 생성합니다.
   • 이 과정을 반복하여 점진적으로 개선합니다.

C. 다중 차원 최적화 (Joint Optimization)

• 여러 차원을 동시에 최적화할 경우 변수가 너무 많아져 대조적 추론의 효과가 떨어질 수 있습니다.
• 이를 해결하기 위해 반복적 (Iterative) 최적화 전략을 사용합니다.
  • 한 번에 하나의 차원을 최적화하고, 그 결과를 고정시킨 후 다음 차원을 최적화합니다.
  • 개별적으로 가장 큰 성능 향상을 보이는 차원들을 선별하여 반복적으로 결합 최적화를 수행함으로써 계산 비용을 줄이고 효과를 극대화합니다.

3. 주요 기여 (Key Contributions)

1. OMAC 프레임워크 도입: 다단계 협력 MAS 의 기능과 구조를 통합적으로 최적화하는 최초의 일반적 감독 기반 프레임워크를 제안했습니다.
2. 5 가지 최적화 차원 정의: 에이전트 기능 (Fun-1, Fun-2) 과 협력 구조 (Str-1, Str-2, Str-3) 를 포괄하는 체계적인 최적화 차원을 정의했습니다.
3. 새로운 최적화 알고리즘: '시맨틱 초기화기'와 '대조적 비교기'를 활용한 단일 차원 최적화 알고리즘과, 이를 확장한 다중 차원 반복 최적화 알고리즘을 제안했습니다.
4. 광범위한 실험 검증: 일반 추론 (MMLU), 코드 생성 (HumanEval), 수학 추론 (MATH) 등 다양한 벤치마크에서 기존 SOTA 방법 (DyLAN, AFlow, ADAS 등) 보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 단일 차원 최적화: 5 가지 차원 각각을 개별적으로 최적화했을 때, 모든 작업에서 기존 베이스라인 (단일 에이전트, 고정 구조 MAS, 기존 최적화 방법) 보다 일관되게 우수한 성능을 보였습니다.
  • 예: 코드 생성 (HumanEval) 에서 OMAC 은 Pass@1 기준 87.55% (Str-3) 를 기록하여 DyLAN(85.74%) 보다 우위를 점했습니다.
• 다중 차원 최적화: 개별 최적화보다 성능 향상이 더 컸습니다.
  • 예: 수학 추론 (MATH) 에서 단일 차원 최적화 시 약 2.9% 향상이었으나, 다중 차원 반복 최적화 시 9.6% 까지 향상되었습니다.
• 효율성:
  • 추론 비용: 동적 에이전트 선택 및 통신 흐름 최적화 (Str-1, Str-2, Str-3) 를 통해 불필요한 토큰 소비와 API 호출을 줄여 추론 비용을 크게 절감했습니다.
  • 학습 비용: 훈련 데이터의 부분 집합을 샘플링하여 평가하는 전략을 통해 학습 비용을 줄이면서도 DyLAN 보다 우수한 성능을 유지했습니다.
• Ablation Study: '대조적 비교기 (Contrastive Comparator)'를 제거한 모델 (OMAC-C) 은 전체 OMAC 보다 성능이 낮았으나, 여전히 베이스라인보다 우월했습니다. 이는 대조적 추론이 성능 향상에 결정적인 역할을 함을 보여줍니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: MAS 설계가 인간의 수동 설계나 고정된 규칙에 의존하던 것에서, 데이터 기반의 자동화된 최적화로 전환할 수 있음을 보여주었습니다.
• 종합적 접근: 기존 연구들이 에이전트 기능이나 구조 중 하나만 다뤘던 것과 달리, 기능과 구조를 동시에 최적화하여 시너지 효과를 창출했습니다.
• 실용성: 계산 비용과 성능 간의 균형을 고려한 전략 (부분 집합 평가, 반복적 최적화) 을 통해 실제 배포 가능한 효율적인 MAS 구축 방법을 제시했습니다.
• 확장성: 제안된 프레임워크는 다양한 LLM 모델 (GPT-3.5, GPT-4o-mini, 오픈소스 모델 등) 에 적용 가능하며, 도구 사용 (Tool Use) 이나 복잡한 실세계 작업 (GAIA, MBPP 벤치마크) 으로도 확장성이 입증되었습니다.

결론적으로, OMAC 는 LLM 기반 다중 에이전트 시스템의 성능을 극대화하기 위한 체계적이고 자동화된 최적화 방법론을 제시하여, 복잡한 문제 해결을 위한 에이전트 협력 시스템의 발전에 중요한 기여를 하고 있습니다.