1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 의 발전으로 단일 에이전트에서 다중 에이전트 시스템 (MAS) 으로 패러다임이 이동하고 있습니다. MAS 는 복잡한 작업을 해결하기 위해 다양한 에이전트가 협업하지만, 그 성능은 에이전트 프롬프트, 도구 설명, 상호작용 프로토콜 등 텍스트 기반 구성 요소의 정밀한 설정에 크게 의존합니다.
• 문제점:
  1. 수동 최적화의 비효율성: 기존 '에이전트 엔지니어링'은 수동으로 시행착오를 거치는 비체계적인 과정으로, 복잡한 MAS 의 상호작용을 디버깅하고 최적화하기 어렵습니다.
  2. 기존 자동 최적화 방법의 한계:
     • 구조적 무지 (Lack of Structural Awareness): 기존 자동 프롬프트 최적화 (APO) 방법들은 대부분 평면적인 (flat) 텍스트 튜닝에 집중하여, 에이전트, 도구, 워크플로우 간의 복잡한 상호작용 구조를 이해하거나 수정하지 못합니다.
     • 정적 최적화 (Static Optimizers): 기존 옵티마이저는 과거의 성공/실패 경험으로부터 학습하여 자신의 최적화 전략을 개선하지 못합니다. 즉, "최적화하는 방법 (how to optimize)"을 스스로 배울 수 없습니다.

2. 제안 방법론: TPGO (Textual Parameter Graph Optimization)

저자들은 MAS 를 그래프 진화 문제로 재정의하고, 시스템이 스스로 진화할 수 있는 TPGO 프레임워크를 제안합니다.

2.1 텍스트 파라미터 그래프 (Textual Parameter Graph, TPG)

• 개념: 기존의 모놀리식 (monolithic) 텍스트 프롬프트를 구조화된 방향성 그래프 $G=(V, E)$ 로 변환합니다.
• 노드 (Nodes): 에이전트의 역할 (Role), 논리 (Logic), 도구 (Tool) 등을 개별적으로 최적화 가능한 의미 단위로 분해합니다.
• 엣지 (Edges): 노드 간의 의존성, 논리적 흐름, 에이전트 간 통신을 정의합니다.
• 효과: 이를 통해 평면적인 텍스트 수정을 넘어, 시스템 아키텍처의 구조적 변경 (노드 추가/삭제, 엣지 연결 변경 등) 이 가능해집니다.

2.2 텍스트 기반 그래디언트 (Textual Gradients)

• 전통적인 미분 가능한 그래디언트가 텍스트에는 적용 불가능하므로, 실행 궤적 (execution traces) 에서 추출된 구조화된 자연어 피드백을 '텍스트 그래디언트'로 정의합니다.
• 양성 그래디언트 ($\delta^+$): 성공한 궤적에서 유추된 효과적인 추론 패턴이나 도구 사용 전략.
• 음성 그래디언트 ($\delta^-$): 실패한 궤적에서 발견된 구체적인 오류 (할루시네이션, 도구 오용 등) 와 수정 제안.

2.3 그룹 상대적 에이전트 최적화 (Group Relative Agent Optimization, GRAO)

• 핵심 메커니즘: 옵티마이저 LLM 이 스스로 진화하도록 하는 메타 학습 (Meta-learning) 전략입니다.
• 작동 원리:
  1. 클러스터링: 다양한 실패 사례의 텍스트 그래디언트를 의미적으로 클러스터링하여 공통된 오류 패턴을 식별합니다.
  2. 경험 메모리 (Optimization Experience Memory): 과거의 문제 (Context), 해결책 (Proposal), 결과 (Effectiveness Score) 를 저장합니다.
  3. 적응형 제안 생성: 새로운 오류가 발생하면, 메모리에서 유사한 과거 사례를 검색하여 가장 성공적이었던 해결책을 Few-shot 예시로 제공합니다. 이를 통해 옵티마이저는 과거 경험을 바탕으로 더 정교하고 효과적인 그래프 수정 제안 ($\Delta G$) 을 생성합니다.

3. 주요 기여 (Key Contributions)

1. TPGO 프레임워크: MAS 최적화를 '그래프 진화' 문제로 처음 접근하여, 구조적 및 의미적 정제를 동시에 수행하는 프레임워크를 제시했습니다.
2. TPG (Textual Parameter Graph): 거대한 텍스트 구성을 모듈화되고 개별 최적화 가능한 의미 단위로 분해하는 구조적 표현 방식을 도입했습니다.
3. GRAO (Self-Evolving Strategy): 과거 최적화 경험을 학습하여 최적화 제안의 품질을 지속적으로 향상시키는 메타 최적화 전략을 설계했습니다.
4. 성능 입증: 복잡한 벤치마크 (GAIA, MCP-Universe) 에서 기존 최첨단 (SOTA) 에이전트 프레임워크의 성공률을 획기적으로 높이고 실행 시간을 단축함을 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

저자들은 MCP-Universe(탐색적 최적화, 정답 없음) 와 GAIA(모방 최적화, 정답 존재) 두 가지 시나리오에서 실험을 수행했습니다.

• 탐색적 최적화 (MCP-Universe):
  • ReAct 에이전트 (GPT-4.1 기반) 의 전체 성공률이 **30.96% → 38.82%**로 향상되었습니다.
  • 특히 웹 검색 (Web Searching) 영역에서 성공률이 **5.45% → 14.55%**로 크게 증가하여, 실행 피드백을 통한 도구 사용 로직의 개선 효과를 입증했습니다.
• 모방 최적화 (GAIA):
  • MiroFlow (GPT-5 기반) 의 전체 성공률이 **73.8% → 81.6%**로 상승했습니다.
  • 효율성 향상: 최적화된 에이전트는 불필요한 추론 경로를 제거하여 평균 실행 시간을 **4014 초에서 1765 초 (56% 감소)**로 단축했습니다.
• Ablation Study (성분 분석):
  • TPG 구조, 구조적 그래프 편집, 의미 클러스터링이 모두 성능 향상에 필수적임을 확인했습니다. 특히 무작위 클러스터링은 성능을 급격히 저하시켰습니다.
• GRAO 의 효과:
  • GRAO 가 없는 경우, 반복 최적화 과정에서 성능이 급격히 하락하는 재앙적 망각 (Catastrophic Forgetting) 현상이 발생했으나, GRAO 를 적용하면 안정적으로 수렴했습니다.
• 범용성:
  • 특정 도메인 (브라우저 자동화) 에서 최적화된 에이전트가 다른 도메인 (웹 검색, 리포지토리 관리 등) 에서도 성능이 향상되어, 학습된 업데이트가 구체적인 문제 해결을 넘어 일반적인 에이전트 행동 개선으로 전이됨을 보였습니다.

5. 의의 및 결론 (Significance)

• 에이전트 엔지니어링의 자동화: TPGO 는 수동 튜닝의 부담을 줄이고, 에이전트 시스템이 실행 피드백과 과거 경험을 통해 스스로 진화하고 최적화할 수 있는 새로운 패러다임을 제시합니다.
• 구조적 최적화의 중요성: 단순한 프롬프트 수정을 넘어, 에이전트 간의 상호작용 구조와 도구를 체계적으로 재구성하는 것이 복잡한 MAS 성능 향상의 핵심임을 입증했습니다.
• 실용성: 최적화에 소요되는 오버헤드 (토큰 및 시간) 가 반복 배포 시 얻는 성공률 향상과 실행 시간 단축 효과에 비해 작아, 실제 적용 가능성이 높음을 보였습니다.

이 연구는 다중 에이전트 시스템이 단순히 정적인 도구가 아니라, 경험을 통해 학습하고 진화하는 자기 개선형 (Self-Improving) 시스템으로 발전할 수 있음을 보여주는 중요한 이정표입니다.