🤖 AI

Cooperative Coevolution for Resource-Constrained Agentic LLM Post-Training

이 논문은 에이전트형 LLM의 효과적인 자원 제한적 사후 학습을 가능하게 하기 위해 파라미터 공간을 분해하여, 풀 파라미터 GRPO 성능 이득의 92%를 달성하면서도 GPU 메모리 요구 사항을 현저히 낮춘 메모리 효율적인 협력적 파라미터 부공간 진화 전략(Cooperative Parameter-subspace Evolution Strategy, CoPES)을 소개한다.

원저자: Zhiyuan Wang, Shengcai Liu, Jiahao Wu, Ning Lu, Hui Ouyang, Shaofeng Zhang, Haoze Lv, Ke Tang

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhiyuan Wang, Shengcai Liu, Jiahao Wu, Ning Lu, Hui Ouyang, Shaofeng Zhang, Haoze Lv, Ke Tang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 단순히 대화만 하는 것이 아니라, 실제로 무언가를 '수행'하는 세상을 상상해 보십시오. 컴퓨터는 웹을 탐색하고, 코드를 실행하며, 여러 단계를 거쳐 자신의 작업을 확인하고 다시 시도함으로써 복잡한 퍼즐을 풀 수 있습니다. 이것이 바로 '에이전트형(agentic)' AI의 흥eric한 최전선입니다. 하지만 여기에는 문제가 있습니다. 이러한 디지털 조수들을 더 똑똑하게 가르치는 것은 엄청나게 비용이 많이 듭니다. 이들을 훈련시키는 일반적인 방식은 마치 고도의 집중력을 요하는 비디오 게임과 같습니다. 컴퓨터는 매 순간 자신의 뇌의 모든 부분에 대해 '그래디언트(성공의 수학적 기울기)'를 계산하여 완벽한 움직임을 찾아내려 합니다. 이는 마치 수수께끼를 풀면서 동시에 도서관의 책 한 권 한 권을 머릿속에 담아두려는 것과 같이 막대한 양의 컴퓨터 메모리를 필요로 합니다. 만약 과제가 길고 복잡하다면 필요한 메모리는 폭발적으로 증가하여, 슈퍼컴퓨터 없이는 대부분의 사람들이 이 에이전트를 훈련시키는 것을 불가능하게 만듭니다.

이때 '진화 전략(Evolution Strategies)'이라는 다른 접근 방식이 등장합니다. 이 방법은 기울기를 계산하는 대신, '뜨겁다 혹은 차갑다(Hot or Cold)' 게임과 더 비슷합니다. AI의 뇌에 아주 작은 무작위 변화를 주고, 만약 결과가 좋아지면 그 변화를 유지하는 방식입니다. 이 방식은 그곳에 도달하기 위해 거쳐온 경로를 기억할 필요가 없기 때문에 메모리 사용량이 훨씬 적습니다. 하지만 새로운 문제가 발생합니다. 무작위로 추측하기 때문에 좋은 결과를 얻기 위해 아주 많은 시도를 해야 하며, 이는 엄청난 시간과 컴퓨터 자원을 소모합니다. 이는 마치 건초더미에서 바늘을 찾기 위해 한 번에 한 줄기씩 확인하는 것과 같습니다. 결국에는 찾겠지만, 아마 한 세기가 걸릴지도 모릅니다. 과학자들의 큰 고민은 바로 이것입니다. "우리가 '뜨겁다 혹은 차갑다' 방식의 메모리 절감 효과를 유지하면서도, 이를 유용할 만큼 빠르게 만들 수 있을까?"

이 논문은 정확히 이 문제를 해결하기 위해 CoPES(협력적 파라미터-부분 공간 진화 전략)라는 영리한 기술을 소개합니다. 연구진은 AI의 뇌 전체를 한꺼번에 바꾸려고 시도하는 것이 비효율적이라는 사실을 깨달았습니다. 그래서 그들은 뇌를 더 작고 관리 가능한 덩어리로 나누었습니다. 여러분이 거대한 오케스트라를 완벽한 소리가 나도록 조율한다고 상상해 보십시오. 모든 연주자에게 동시에 무작위로 악기를 바꿔보라고 요구하는 대신(이는 혼란을 야기합니다), 바이올린 섹션이 새로운 설정을 시도하게 하고, 그다음은 금관악기 섹션, 그다음은 타악기 섹션 순으로 진행하되, 나머지 연주자들은 가만히 있도록 하는 것입니다. 이처럼 전체 오케스트라는 함께 연주를 계속하면서 작은 그룹들을 하나씩 테스트함으로써, 훨씬 더 빠르게 무엇이 효과적인지 알아낼 수 있습니다.

논문에서 저자들은 이 모델을 수학 문제를 해결하도록 훈련된 특정 AI 모델(Qwen3.5-4B)에 적용하여 테스트했습니다. 그들은 이 새로운 '오케스트라 조율사' 방el을 표준적인 '뜨겁다 혹은 차갑다' 방식 및 메모리 사용량이 많은 '그래디언트' 방식과 비교했습니다. 그 결과, CoPES가 자원이 제한된 환경에서 게임 체인저라는 사실을 발견했습니다. 표준적인 무작위 방식은 좋은 수준의 성능에 도달하기 위해 약 480.60 GPU-시간(컴퓨터 시간의 척도)이 필요했던 반면, CoPES는 단 68.65 GPU-시간 만에 거의 동일한 결과를 달아냈습니다. 더욱 인상적인 점은, 무거운 메모리 방식이 16단계밖에 훈련할 수 없었던 엄격한 시간 제한 상황에서, CoPES는 무거운 방식이 달성한 성능 향상의 **92%**를 회복한 반면, 표준 무작위 방식은 **67%**에 그쳤다는 것입니다.

또한 이 연구는 CoPES가 일상적인 하드웨어에 훨씬 더 실용적이라는 것을 보여주었습니다. 무거운 메모리 방식은 긴 과제를 수행하기 위해 훈련을 시작하는 데만 8개의 고성능 GPU가 포함된 거대한 설정이 필요했지만, CoPES는 단 하나의 표준적인 24GB GPU에서도 성공적으로 실행될 수 있었습니다. 이는 데이터 센터가 필요한 작업이 이제 단 한 대의 강력한 컴퓨터를 가진 연구자도 훈련할 수 있는 일이 되었음을 의미합니다. 저자들은 이 방법을 수학뿐만 아니라 질의응답 과제에도 테스트했으며, CoPES가 표준 무작위 방식을 지속적으로 앞지르며 잘 작동한다는 것을 확인했습니다.

이 논문은 문제를 협력적인 하위 그룹으로 나누고 그 결과를 신중하게 결합함으로써, 진화적 방식의 낮은 메모리 비용과 그래디언트 방식의 높은 속도라는 두 마리 토끼를 모두 잡을 수 있다고 제안합니다. 이 방식이 모든 것을 즉시 해결하는 마법의 탄환이라고 주장하는 것은 아니지만, 메모리와 시간 사이의 훨씬 더 나은 절충안을 보여준다는 점을 입증합니다. 연구 결과는 이 새로운 전략을 통해 강력한 AI 에이전트를 훈련하는 것이 훨씬 더 많은 사람에게 실현 가능한 일이 되었으며, 한때 슈퍼컴퓨터를 요구했던 과업을 단일 워크스테이션에서도 달성할 수 있는 일로 바꾸어 놓았음을 나타냅니다.

기술 요약: 자원 제약이 있는 에이전트형 LLM 사후 학습을 위한 협력적 공진화

문제 정의

도구 사용 능력을 갖춘 거대 언어 모델(LLM) 에이전트는 복잡한 과제를 해결하기 위해 길고 다회차적인 궤적(trajectory)을 생성합니다. 검증 가능한 보상(예: 강화 학습)을 통한 사후 학습은 에이전트의 행동을 개선하는 확장 가능한 방법이지만, 자원이 제한된 환경에서는 심각한 병목 현상에 직면합니다.

GRPO(Group Relative Policy Optimization)와 같은 경사 하강법 기반 방식은 이러한 긴 궤적에 대해 역전파(backpropagation)를 수행해야 합니다. 이는 모델 가중치, 그래디언트, 옵티마이저 상태, 그리고 결정적으로 중간 활성화 값(intermediate activations)을 저장할 것을 요구합니다. 컨텍스트 길이가 길어짐에 따라 활성화 메모리 사용량은 감당하기 어려운 수준이 되며, 이는 많은 연구자가 접근할 수 없는 고성능 GPU 클러스터를 필요로 합니다. 반면, 진화 전략(Evolution Strategies, ES)은 역전파를 완전히 피하고 순방향 생성 및 보상 평가만을 필요로 하므로 메모리 효율적인 대안을 제공합니다. 그러나 표준 ES는 계산 비용이 매우 높아, 일반적으로 그래디언트 기반 방식과 대등한 성능을 달-성하기 위해 훨씬 더 많은 GPU 시간을 소요합니다. GPU 수가 제한된 자원 제약 환경에서 이러한 높은 계산 수요는 비현실적으로 긴 실제 학습 시간(wall-clock training time)으로 이어집니다.

본 연구가 다루는 핵심 과제는, ES의 메모리 이점을 희생하지 않으면서 어떻게 최적화 효율성을 높일 것인가 하는 점입니다. 특히 풀 파라미터(full-parameter) 에이전트형 LLM 사후 학습을 대상으로 합니다.

방법론: 협력적 파라미터 부분 공간 진화 전략 (CoPES)

효율성 병목 현상을 해결하기 위해, 저자들은 풀 파라미터 ES에 적합하도록 조정된 협력적 공진화 방법인 **Cooperative Parameter-subspace Evolution Strategy (CoPES)**를 제안합니다.

핵심 메커니즘

CoPES는 고차원의 전체 파라미터 공간( $\mathbb{R}^d$ )을 $K$ 개의 저차원이며 서로 중복되지 않는 부분 공간으로 분해합니다. 모든 평가마다 전체 파라미터 공간을 동시에 섭동(perturb)시키는 대신, CoPES는 다음과 같이 각 부분 공간 내에서 협력적 탐색을 수행합니다:

무작위 분할(Random Partitioning): 각 학습 단계에서 파라미터 인덱스를 $K$ 개의 동일한 크기의 부분 공간( $S_1, \dots, S_K$ )으로 무작위 분할합니다.
협력적 부분 공간 탐색(Cooperative Subspace Search): 총 섭동 예산 $N$ 을 각 부분 공간에 배분합니다( $N_k = N/K$ ). 각 부분 공간 $k$ 에 대해, $S_k$ 에 속한 파라미터에만 노이즈를 추가하여 $N_k$ 개의 섭동된 모델을 생성하며, 이때 나머지 모든 파라미터는 현재 값으로 고정됩니다. 이는 특정 부분 공간의 변화가 미치는 영향을 평가하기 위해 공유된 전체 모델 컨텍스트를 제공합니다.
차원 인식 섭동 스케일링(Dimension-Aware Perturbation Scaling): 부분 공간 섭동의 크기가 전체 공간 섭동의 기대 제곱 노름(expected squared norm)과 일치하도록, 섭동 스케일 $\sigma_k$ 를 $\sigma_k = \sqrt{K}\sigma$ 로 조정합니다.
결합 보상 표준화(Joint Reward Standardization): 단일 모집단 내에서 보상을 표준화하는 표준 ES와 달리, CoPES는 모든 $K$ 개 부분 공간에 걸친 $N$ 개의 섭동된 모델로부터 보상을 통합합니다. 이를 통해 전역 평균( $\mu_c$ )과 표준 편차( $s_c$ )를 계산하여 모든 보상( $\hat{r}_{k,i}$ )을 표준화합니다. 이는 안정적인 정규화 통계량과 결합된 업데이트를 위한 공통 보상 척도를 제공합니다.
동기적 업데이트(Synchronous Update): 부분 공간 방향을 추정하고 이를 전체 파라미터 업데이트로 합성합니다: $\theta_{t+1} = \theta_t + \alpha \sum_{k=1}^K P_k g_k$ , 여기서 $g_k$ 는 부분 공간 $k$ 에 대한 추정된 그래디언트 방향입니다.

구현 세부 사항

메모리 효율성을 유지하기 위해 CoPES는 다음을 채택합니다:

시드 재생(Seed Replay): 전체 섭동 벡터를 저장하는 대신 무작위 시드로부터 섭동을 재생성합니다.
가중치 백업(Weight Backup): 모든 평가가 정확히 동일한 모델 상태에서 시작되도록 하기 위해, 섭동 전의 가중치를 CPU 메모리에 백업합니다. 이는 부동 소수점 잔차 오류를 방지합니다.
청크 처리(Chunked Processing): 메모리 사용량을 관리하기 위해 파라미터를 청크 단위로 처리합니다.

주요 기여

새로운 알고리즘: CoPES는 풀 파라미터 에이전트형 LLM 사후 학습을 위해 특별히 설계된 최초의 협력적 공진화 방법으로 제시됩니다. 이는 파라미터 공간 분해와 결합 보상 표준화를 결합합니다.
효율성-메모리 트레이드오프: 이 방법은 표준 ES의 메모리 효율적인 풀 파라미터 특성을 유지하면서 고정된 예산 하에서의 최적화 효율을 개선합니다. 이는 그래디언트 기반 방식의 역전파 오버헤드와 표준 ES의 높은 계산 시간을 모두 피합니다.
실험적 검증: 수학 및 다단계 질의응답(QA) 과제에 대한 광범한 실험을 통해 하드웨어 실행 가능성 테스트와 제어된 절제 실험(ablation)을 포함한 다양한 지표에 걸쳐 방법론을 검증했습니다.

실험 결과

저자들은 Qwen3.5-4B 모델을 사용하여 다섯 가지 수학 벤치마크(AIME 2024, AIME 2025, GSM8K, MATH-500, MATH-Test)와 세 가지 QA 벤치마크(HotpotQA, 2Wiki, MuSiQue)에서 CoPES를 평가했습니다.

GRPO(그래디언트 기반 RL) 대비 성능

메모리 효율성: 이론적 분석에 따르면 CoNES는 풀 파라미터 GRPO의 1/8 미만의 GPU 메모리를 요구합니다. 실제로 CoPES는 단일 24GB GPU에서 학습이 가능하지만, 풀 파라미터 GRPO는 128K 컨텍스트 길이에 대해 8개의 48GB GPU가 필요합니다.
고정 예산 성능: 풀 파라미터 GRPO의 최적 검증 체크포인트(16 학습 단계)와 동일한 GPU 시간 예산 하에서:
- CoPES는 풀 파라미터 GRPO가 달성한 검증 정확도 향상의 **92%**를 회복했습니다.
- 표준 ES는 **67%**만을 회복했습니다.
- CoPES는 다섯 가지 수학 벤치마크의 모든 pass@k 지표에서 표준 ES 및 LoRA 기반 GRPO를 일관되게 능가했습니다.
스케일링: 도전적인 AIME 2024 및 AIME 2025 벤치마크에서, CoPES는 동일한 고정 학습 예산을 사용함에도 불구하고 더 큰 $k$ 값(pass@k)에서 풀 파라미터 GRPO를 넘어섰습니다.

표준 ES 대비 성능

CoPES는 평가된 모든 지표에서 표준 ES를 유의미하게 능가했습니다.
절제 연구(Ablation Studies):
- 부분 공간 개수 ( $K$ ): $K$ 가 1에서 4로 증가함에 따라 성능이 향상되었으나, 부분 공간당 인구수가 부족해지는( $N_k=5$ ) $K=8$ 에서는 급격히 하락했습니다.
- 결합 표준화: 모든 부분 공간에 걸친 결합 보상 표준화를 사용하는 것이 각 부분 공간 내에서의 독립적 표준화보다 더 높은 pass@1 점수를 기록했습니다.
- 섭동 스케일: 성능 향상은 단순히 더 큰 좌표별 섭동 스케일( $\sigma_k = \sqrt{K}\sigma$ ) 때문만이 아니었습니다. 동일한 증가된 스케일을 적용한 표준 ES는 오히려 더 낮은 성능을 보였습니다.

다단계 QA

질의응답 과제에서 CoPES는 모든 벤치마크 지표 조합에서 표준 ES보다 우수한 성능을 보였으며, 풀 파라미터 GRPO와 경쟁할 만한 수준을 유지하여 이 방법의 범용성을 입증했습니다.

의의 및 주장

본 논문은 CoPES가 자원 제약이 있는 상황에서 에이전트형 LLM 사후 학습을 위한 실질적인 솔루션을 제공한다고 주장합니다. 공간을 분해하고 보상을 공동으로 표준화함으로써, CoPES는 메모리 요구 사항과 학습 시간 사이의 우수한 트레이드오프를 달성합니다. 이는 그래디언트 기반의 풀 파라미터 방식이 메모리 제한으로 인해 불가능하고, 표준 ES는 계산 비용 때문에 너무 느린 소비자급 또는 제한된 GPU 하드웨어(예: 단일 24GB GPU)에서도 풀 파라미터 진화 전략을 사용할 수 있게 합니다. 저자들은 이 접근 방식이 ES의 "순방향 전용(forward-only)" 이점을 유지하면서도 주요 계산적 단점을 완화한다고 강조합니다.