기술 요약: AgentPSO

문제 제기

대형 언어 모델 (LLM) 은 복잡한 추론에서 상당한 진전을 보였으나, 그 성능은 프롬프트 엔지니어링과 지시받은 특정 추론 기술에 매우 민감하게 반응합니다. 추론 능력을 향상시키기 위한 기존 접근법은 일반적으로 두 가지 범주로 나뉘며, 둘 다 한계가 있습니다:

1. 단일 에이전트 자기 진화: 자기 성찰을 통해 단일 에이전트의 프롬프트나 정책을 정제하는 방법들은 종종 제한된 탐색 다양성을 겪으며, 모델의 고유한 편향에 의해 제약된 국소 최적점에 갇히기 쉽습니다.
2. 추론 시간 다중 에이전트 협업: 다중 에이전트 토론이나 집계와 같은 접근법들은 추론 과정에서 에이전트들이 서로를 비판할 수 있게 합니다. 그러나 이러한 방법들은 잘못된 동료의 영향과 편향된 합의에 취약합니다. 결정적으로, 이들은 정적입니다. 에이전트의 근본적인 추론 기술은 작업 간에 진화하지 않으며, 테스트 시 다중 라운드 토론의 계산 오버헤드는 상당합니다.

이 연구가 다루는 핵심 질문은 다음과 같습니다: 다중 에이전트 시스템은 단일 인스턴스의 출력 정제를 넘어, 집단적 상호작용을 통해 근본적인 추론 기술을 반복적으로 진화시킬 수 있는가?

방법론: AgentPSO

저자들은 AgentPSO를 제안합니다. 이는 다중 에이전트 추론 기술 진화를 **입자 군집 최적화 (PSO)**에서 영감을 받은 동적 최적화 문제로 취급하는 프레임워크입니다. 연속적인 수치 벡터에서 작동하는 표준 PSO 와 달리, AgentPSO 는 자연어 기술 공간에서 작동합니다.

핵심 개념

• 입자로서의 에이전트: $N$개의 에이전트 집단 내의 각 에이전트 $A_i$는 입자로 취급됩니다.
• 상태 ($s_i^t$): 입자의 "위치"는 에이전트의 현재 추론 기술이며, 이는 자연어 지시문으로 정의됩니다.
• 속도 ($v_i^t$): "속도"는 적용될 기술에 대한 텍스트 수정을 나타내는 의미적 업데이트 방향입니다.
• 개인 최고 ($p_i^t$) 및 전역 최고 ($g^t$): 이들은 각각 검증 정확도에 기반하여 개별 에이전트와 전체 집단이 발견한 최고 성능의 기술 상태를 나타냅니다.

진화 루프

이 프레임워크는 $T$번의 훈련 반복을 통해 작동하며, 백본 LLM 파라미터를 업데이트하지 않고 기술 지시문만 최적화합니다. 각 반복은 네 가지 단계를 따릅니다:

1. 독립적 해결: 모든 에이전트는 현재 기술 ($s_i^t$) 을 사용하여 동일한 훈련 배치에 대해 독립적으로 문제를 해결합니다. 이 단계에서는 에이전트 간 통신이 발생하지 않아 특정 기술에 대한 성능의 명확한 귀속을 보장합니다.
2. 동료 관찰 및 자기 성찰: 각 에이전트는 전체 집단 (자신의 기술 지시문 제외) 의 추론 흔적과 정답 라벨을 관찰합니다. 이를 바탕으로 에이전트는 Reflect 함수를 사용하여 **자기 성찰 방향 ($d_i^t$)**을 생성합니다. 이 방향은 동료의 궤적에서 재사용 가능한 교훈 (예: 가정 확인, 문제 분해) 을 식별하며, 단순히 동료의 프롬프트를 복사하는 것이 아닙니다.
3. PSO 영감 업데이트: 에이전트는 다음 요소들을 결합하여 의미적 속도 ($v_i^{t+1}$) 를 업데이트합니다:
   • 이전 속도 ($v_i^t$).
   • 자기 성찰 방향 ($d_i^t$).
   • 개인 최고 기술 ($p_i^t$).
   • 전역 최고 기술 ($g^t$).
     이는 VelocityUpdate 함수를 통해 수행되며, LLM 은 현재 기술을 어떻게 수정할지 설명하는 새로운 텍스트 지시문을 생성합니다.
4. 기술 재작성: 새로운 속도는 SkillUpdate 함수를 통해 현재 기술에 적용되어 다음 기술 상태 ($s_i^{t+1}$) 를 생성합니다.
5. 검증 및 선택: 업데이트된 기술은 검증 배치에서 평가됩니다. 개인 최고 및 전역 최고 기술은 새로운 성능이 이전 최상위 성능을 $\epsilon$만큼 초과할 때만 업데이트되어, 노이즈가 검색을 불안정하게 하는 것을 방지합니다.

테스트 시에는 진화된 에이전트들이 독립적으로 문제를 해결하며, 그들의 답변은 다수결 투표를 통해 집계되어 비용이 많이 드는 다중 라운드 토론의 필요성을 제거합니다.

주요 기여

1. AgentPSO 프레임워크: 자연어 공간에서 개인 최고, 전역 최고, 자기 성찰 방향을 통해 에이전트를 업데이트함으로써 다중 에이전트 추론 기술을 진화시키는 PSO 영감 프레임워크의 도입.
2. 지속적인 기술 진화: AgentPSO 가 정적 단일 에이전트 프롬프팅 및 토론 기반 다중 에이전트 기준선보다 강력한 성능을 달성하면서도 비용이 많이 드는 테스트 시간 상호작용을 요구하지 않고 에이전트 능력의 지속적인 진화를 산출함을 입증.
3. 전이성: 진화된 기술이 다양한 추론 벤치마크는 물론 서로 다른 백본 LLM 으로도 전이된다는 증거로, 이 방법이 작업별 프롬프트를 암기하는 것이 아니라 일반적인 추론 행동을 학습함을 시사.

실험 결과

저자들은 AgentPSO 를 수학 추론 벤치마크 (DeepMath, MATH, AIME25, Minerva) 와 일반 추론 벤치마크 (BigBenchHard) 에서 평가했습니다.

• 성능: AgentPSO 는 모든 벤치마크에서 평균 정확도 71.98% 를 기록하여, 일반 단일 에이전트 방법 (예: Chain-of-Thought, 64.50%), 고급 단일 에이전트 방법 (예: Self-Refine, 66.50%), 그리고 MAD(67.68%) 및 DMAD(68.79%) 와 같은 정적 다중 에이전트 기준선보다 우수한 성과를 보였습니다.
• 점진적 개선: 분석 결과, 개인 최고 및 전역 최고 기술 모두 반복을 통해 점진적으로 향상되어 집단을 더 효과적인 기술 구성으로 이동시키는 것을 보여주었습니다.
• 교차 벤치마크 전이: DeepMath 에서 최적화된 기술은 BigBenchHard 에서 잘 수행되었으며 (그 반대도 마찬가지), 이는 정적 기준선보다 우월하여 일반화 가능한 추론 절차의 학습을 나타냅니다.
• 교차 모델 전이: GPT 를 사용하여 최적화된 기술은 추가 훈련 없이도 Claude 에 성공적으로 적용되어, Claude 의 평균 정확도를 (일반 프롬프트 사용 시) 약 52-55% 에서 58.37% 로 향상시켰습니다.
• 절차 제거 연구: 자기 성찰 방향 ($d_i$) 을 제거하면 성능이 크게 저하되어, 개인/전역 최고와 같은 표준 PSO 안내만으로는 복잡한 추론 기술을 최적화하기에 불충분함을 확인했습니다. 자기 성찰 구성 요소는 재사용 가능한 교훈을 추출하는 데 필요한 행동 지침을 제공합니다.
• 효율성: AgentPSO 는 훈련 단계를 필요로 하지만, 진화된 에이전트들이 독립적으로 문제를 해결하고 투표로 답변을 집계하여 다중 라운드 통신 오버헤드를 피하기 때문에 토론 기반 방법 (MAD, MoA) 에 비해 추론 시간 지연을 크게 줄입니다.

중요성 및 주장

이 논문은 AgentPSO 가 다중 에이전트 협업이 답변 정화를 위한 추론 시간 메커니즘일 뿐만 아니라, 집단 수준에서 재사용 가능한 추론 기술을 진화시키는 모델 파라미터 없는 과정으로도 기능할 수 있음을 입증한다고 주장합니다.

에이전트들을 서로의 추론 궤적에서 학습하는 군집 내의 입자로 취급함으로써, 이 프레임워크는 에이전트들이 모델 가중치를 업데이트하지 않고도 (문제 분류, 엣지 케이스 검증, 형식 준수 등) 재사용 가능한 추론 행동을 습득할 수 있게 합니다. 저자들은 이 접근법이 에이전트들이 작업과 모델 간에 전이되는 일반 추론 절차를 내면화하도록 허용함으로써 정적 프롬프트나 추론 시간 토론의 한계를 넘어 추론 시스템의 신뢰성과 효율성을 향상시킨다고 봅니다.

이 연구는 한계를 인정하며, 추론 벤치마크에 초점을 맞추고 지식 집약적 영역 (여기서는 추론 기술 진화보다 도메인 지식 검색이 더 중요할 수 있음) 에는 집중하지 않았으며, 훈련 과정에 추가적인 LLM 호출이 필요하다고 지적합니다. 그러나 이는 집단적, 반복적 상호작용을 통한 에이전트 능력 진화를 위한 새로운 패러다임을 확립합니다.