🤖 machine learning

ESSA: Evolutionary Strategies for Scalable Alignment

ESSA는 대규모 언어 모델의 확장 가능하고 통신 효율적이며 고성능인 튜닝을 달성하기 위해 진화 전략을 사용하여 저차원 적응(low-rank adaptation) 특이값을 최적화함으로써, PPO 및 GRPO와 같은 경사 기반 방식과 대등하거나 이를 능가하면서도 훈련 시간과 하드웨어 비용을 크게 줄이는, 그래디언트 프리(gradient-free) 및 추론 전용 온라인 정렬 프레임워크를 도입한다.

원저자: Daria Korotyshova, Boris Shaposhnikov, Alexey Malakhov, Alexey Khokhulin, Nikita Surnachev, Kirill Ovcharenko, George Bredis, Alexey Gorbatovski, Viacheslav Sinii, Daniil Gavrilov

게시일 2026-09-10

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Daria Korotyshova, Boris Shaposhnikov, Alexey Malakhov, Alexey Khokhulin, Nikita Surnachev, Kirill Ovcharenko, George Bredis, Alexey Gorbatovski, Viacheslav Sinii, Daniil Gavrilov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능의 세계에서 거대 언어 모델은 인간 지식의 방대한 도서관과 같아서, 이야기를 쓰고, 방정식을 풀며, 질문에 답할 수 있습니다. 하지만 이 도서관들은 자연적으로 도움이 되거나, 안전하거나, 인간의 지시를 잘 따르도록 조직되어 있지는 않습니다. 이를 해결하기 위해 연구자들은 '정렬(alignment)'이라 불리는 과정을 사용하는데, 이는 모델이 좋은 비서처럼 행동하도록 가르치는 최종 훈련 단계 역할을 합니다. 이 표준적인 방법은 '강화 학습'이라는 기술을 포함하며, 여기서 모델은 다양한 답변을 시도하고, 그 답변들이 얼마나 좋은지에 대한 점수를 받은 뒤, 다음번에 더 높은 점수를 얻기 위해 복잡한 수학을 사용하여 내부 설정을 조정합니다. 이 과정은 강력하지만, 동시에 엄청나게 무겁습니다. 이는 막대한 양의 컴퓨터 연산 능력, 특수 하드웨어, 그리고 많은 프로세서 간의 지속적인 통신을 필요로 하며, 이로 인해 비용이 많이 들고 가장 큰 규모의 모델에 적용하기 어렵습니다.

T-Tech와 Yandex의 연구진은 복잡한 수학적 조정을 완전히 건너뛰는 다른 경로를 제 제안했습니다. 그들은 자신들의 새로운 방법을 'ESSA(Evolutionary Strategies for Scalable Alignment, 확장 가능한 정렬을 위한 진화 전략)'라고 부릅니다. ESSA는 모델을 올바른 방향으로 밀어주기 위한 계산을 하는 대신, 모델을 시뮬레이션 속의 살아있는 유기체처럼 취급합니다. 이 방식은 모델의 미세하게 다른 여러 버전을 생성하고, 어떤 것이 가장 성능이 좋은지 한꺼번에 테스트한 다음, 가장 좋은 형질은 남기고 나머지는 버립니다. 이 접근법은 전통적인 방식들을 느리게 만드는 복잡한 역방향 계산의 필요성을 제거합니다. 모델 설정의 아주 작고 특정적인 부분에만 집중하고 자연 선택을 모방하는 전략을 사용함으로써, 연구진은 이전보다 훨씬 더 빠르게, 그리고 훨씬 적은 컴퓨팅 파워로 거대 모델을 정렬할 수 있었으며, 현재의 최첨단 방식들과 대등하거나 심지어 능가하는 결과를 얻었습니다.

ESSA의 핵심 아이디어는 모델 내부의 모든 숫자를 조정하려고 노력하는 것을 멈추는 것입니다. 거대 언어 모델은 수십억 개의 이러한 숫자를 포함하고 있으며, 이들을 한꺼번에 바꾸는 것은 선체의 모든 볼트를 움직여 초거대 유조선의 방향을 조절하려는 것과 같습니다. 연구진은 초기 훈련 단계 이후에 모델이 이미 기본적인 과업을 수행하는 법을 알고 있다는 점에 주목했습니다. 모델에게 필요한 것은 행동을 미세하게 조정하는 '미세 조정(fine-tuning)'입니다. 이를 달성하기 위해 그들은 '저차원 적응(Low-Rank Adaptation)'이라는 기술을 사용했는데, 이는 모델에 작고 유연한 층을 추가한 뒤 그 층을 가장 필수적인 구성 요소들로 분해하는 방식입니다. 그들은 이 구성 요소들의 방향은 고정하고, 몇 가지 핵심적인 숫자들의 크기, 즉 '규모(magnitude)'만을 변화할 수 있도록 허용했습니다. 이는 문제를 수십억 개의 변수를 조정하는 것에서 단 몇 천 개의 변수를 조정하는 것으로 축소하여, 탐색 전략이 효율적으로 작동할 수 있는 압축된 공간을 만들어냈습니다.

이 새로운 설정에서, 컴퓨터는 각기 약간씩 다른 설정을 가진 수천 개의 후보 모델 집단을 생성합니다. 각 후보는 수학 방정식을 풀거나 엄격한 지침을 따르는 것과 같은 일련의 문제들에 대해 테스트되며 점수를 받습니다. 시스템은 점수를 살펴보고 어떤 후보가 가장 성공적이었는지 결정합니다. 그래디언트(gradients, 최적의 방향을 찾기 위해 사용되는 복잡한 수학적 기울기)를 계산하는 대신, 시스템은 단순히 승자들을 선택하고 그들의 설정을 다음 단계의 변형을 위한 시작점으로 사용합니다. 이 과정은 반복되며, 집단은 서서히 더 나은 성능을 향해 진화합니다. 시스템은 점수를 얻기 위해 모델을 오직 순방향으로만 실행하면 되기 때문에, 메모리와 속도를 더욱 절약할 수 있는 단순화된 저정밀도 형식의 숫자를 사용하는 컴퓨터에서도 실행될 수 있습니다.

연구진은 지시 사항 이행, 유능한 비서 역할 수행, 어려운 수학 문제 풀이 등 다양한 과업에 대해 이 방법을 테스트했습니다. 그들은 ESSA를 전통적이고 무거운 수학적 접근 방식을 사용하는 선도적인 방법들과 비교했습니다. 수학적 추론이 포함된 과업에서 ESSA는 기존의 가장 우수한 방법들과 대등한 성능을 보였으며, 어떤 경우에는 훨씬 더 빨랐습니다. 예를 들어, 128개의 강력한 그래픽 프로세서 클러스터에서 거대 모델을 훈련할 때, ESSA는 표준적인 방법보다 거의 8배 빠르게 특정 목표 정확도 수준에 도달했습니다. 이러한 속도 향상은 ESSA가 배우기 위해 더 적은 예시를 필요로 했기 때문이 아니라, 각 단계의 과정이 훨씬 가볍고 전통적인 방식이 겪는 병목 현상 없이 병렬로 실행될 수 있었기 때문입니다.

이 연구는 이 방법이 다양한 크기의 모델 및 다양한 유형의 과업과 어떻게 작동하는지도 탐구했습니다. 연구진은 모델의 규모가 720억 개의 파라미터(매개변수)로 커졌을 때도 ESSA가 여전히 효과적임을 발견했는데, 이는 일반적으로 효율적인 정렬이 매우 어려운 크기입니다. 이러한 대규모 테스트에서 이 방법은 하나의 그래픽 프로세서당 하나의 후보 모델을 실행할 수 있었는데, 이는 메모리 제약 때문에 전통적인 방식으로는 불가능한 일이었습니다. 또한 연구진은 초기 훈련이 최종 목표와 다른 주제로 이루어졌을 경우(예: 일반적인 대화로 훈련하고 엄격한 규칙 준수를 테스트하는 경우)에도 이 방법이 작동하는지 확인했습니다. 이 방법은 잘 버텨냈으며, 이는 진화적 탐색이 약간 다른 토대에서 시작하더라도 올바른 조정을 찾아낼 수 있음을 보여주었습니다.

가장 놀라운 발견 중 하나는 이 방법이 전통적인 방식들이 요구하는 복잡하고 미세하게 조정된 설정들을 필요로 하지 않는다는 점이었습니다. 연구진은 후보 집단의 크기를 다르게 하여 테스트했으며, 우수한 결과를 얻기 위해서는 적당한 수의 후보면 충분하다는 것을 발견했습니다. 또한 그들은 이 방법이 모델 설정의 변화 허용 범위에 대해 견고하다는 것을 발견했습니다. 이러한 안정성은 진화적 접근 방식이 엔지니어의 구체적인 선택에 덜 민감하다는 것을 시사하며, 이는 실무에서 사용하기 더 쉽다는 것을 의미합니다. 더욱이, 이 방법은 컴퓨터가 계산에 낮은 정밀도를 사용하더라도 정확도를 아주 미세하게만 손실하면서 상당한 속도와 메모리 효율성을 얻을 수 있었습니다.

논문은 또한 이 방법이 최적의 설정을 찾는 다른 방식들과 비교되었을 때 어떤 결과가 나타나는지도 다루었습니다. 연구진은 다양한 유형의 진화 전략을 테스트했으며, 일부 전략이 아주 마지막 단계에서는 약간 더 나았지만, 그들이 선택한 특정 전략이 좋은 결과를 빠르게 얻는 데 가장 신뢰할 만하다는 것을 발견했습니다. 그들은 또한 동일한 단순화된 설정을 사용하되 전통적인 수학적 접근 방식을 적용한 버전과 이들의 방법을 비교했습니다. 진화적 방법은 이 하이브리드 방식보다 일관되게 뛰어난 성능을 보였으며, 이는 탐색이 수행되는 방식 자체가 검색되는 설정만큼이나 중요하다는 것을 입증했습니다. 이는 기계를 훈련하기 위해 자연 선택을 사용하는 오래된 아이디어가 단순히 백업 계획이 아니라, 적절한 조건에서는 표준적인 도구들을 능가할 수 있는 강력한 대안임을 시사합니다.

결론적으로, 이 연구는 현대 정렬의 무겁고 복잡한 기계 장치가 유일한 길은 아니라는 점을 보여줍니다. 소수의 후보들 사이에서 최적의 설정을 찾는 방식으로 문제를 단순화하고 병렬 컴퓨팅의 힘을 활용함으로써, 연구진은 거대 모델을 빠르고 효율적으로 정렬할 수 있음을 보여주었습니다. 이 방법은 모델에 기초 지식을 부여하는 초기 훈련을 대체하는 것이 아니라, 그 지식을 유능한 비서로 형성하는 더 가벼운 방법을 제공합니다. 모델이 계속해서 커짐에 따라, 이 접근법은 불가능한 수준의 컴퓨팅 파워를 요구하지 않고도 모델을 정렬된 상태로 유지할 수 있는 실질적인 경로를 제시하며, 인공지능 정렬의 미래가 점점 더 복잡해지는 수학 공식보다는 더 단순하고 직접적인 전략에 있을 수 있음을 시사합니다.

기술 요약: ESSA – 확장 가능한 정렬을 위한 진화 전략 (Evolutionary Strategies for Scalable Alignment)

문제 정의

대규모 언어 모델(LLM)이 지시사항과 선호도를 따르도록 정렬하는 과정은 현재 PPO(Proximal Policy Optimization)나 GRPO(Group Relative Policy Optimization)와 같은 경사 하강 기반 최적화 도구를 사용하는 RLHF(Reinforcement Learning from Human Feedback) 파이프라인이 주도하고 있습니다. 이러한 방식은 효과적이긴 하지만, 모델 크기가 커짐에 따라 상당한 확장성 문제를 직면하게 됩니다. 구체적으로 다음과 같은 요구 사항이 발생합니다:

긴 롤아웃(rollout)에 대한 역전파(Backpropagation): 이는 계산 비용이 매우 높습니다.
모델 크기 수준의 그래디언트 텐서에 대한 All-reduce 동기화: 매 단계마다 통신 병목 현상을 유발합니다.
세심한 하이퍼파라미터 튜닝: 학습률, KL 페널티, 클리핑, 배치 크기 등을 조절하는 것이 규모가 커질수록 점점 더 어려워집니다.
공격적인 양자화(예: INT4/INT8)와의 불호환성: 전체 정밀도(full-precision)의 그래디언트 계산이 필요하기 때문입니다.

저자들은 이러한 메커니즘이 작업의 난이도가 아닌 파라미터 수에 따라 증가하며, 이것이 현대적 정렬의 지배적인 실질적 비용이 된다고 주장합니다.

방법론: ESSA

본 논문은 지도 미세 조정(SFT) 이후에 적용되는 그래디언트 프리(gradient-free) 온라인 정렬 단계인 **ESSA(Evolutionary Strategies for Scalable-Alignment)**를 소개합니다. ESSA는 그래디언트 루프를 추론 전용 블랙박스 탐색으로 대체합니다. 이 방법은 세 가지 핵심 구성 요소에 의존합니다:

LoRA 제한(Low-Rank Adaptation Restriction): 업데이트를 어텐션 행렬 내의 LoRA 모듈로 제한합니다. 이를 통해 파라미터 공간을 전체 모델 크기에서 저차원 부분 공간(low-rank subspace)으로 축소합니다.
SVD 파라미터화(Singular Value Decomposition Parameterization): 각 LoRA 인자( $A$ 및 $B$ )를 SVD( $A = U_A \Sigma_A V_A^\top$ , $B = U_B \Sigma_B V_B^\top$ )를 통해 분해합니다. 이때 직교 기저(orthogonal bases, $U, V$ )는 **동결(frozen)**되며, 오직 상위- $\alpha$ 비율의 특이값( $\Sigma$ )만을 최적화합니다. 이는 학습 가능한 파라미터를 각 인자당 $O(r(m+n))$ 에서 $O(r)$ 로 줄여줍니다 (여기서 $r$ 은 LoRA 랭크).
CMA-ES 최적화: 압축된 특이값 벡터를 공분산 행렬 적응 진화 전략(CMA-ES)을 사용하여 최적화합니다.
- 추론 전용 루프(Inference-Only Loop): 워커(worker)들은 후보군을 샘플링하고, LoRA 인자를 재구성한 뒤, 스칼라 보상(scalar reward)을 평가하기 위해 단 한 번의 순전파(forward pass)를 수행합니다. 역전파(backward pass)는 수행되지 않습니다.
- 최소한의 통신: 워커들은 반복당 32비트 랜덤 시드와 32비트 스칼라 보상만을 교환하므로, 모델 크기의 텐서를 동기화할 필요가 없어 통신이 제거됩니다.
- 양자화 호환성: 루프가 추론 전용이기 때문에, ESSA는 INT4 또는 INT8로 양자화된 가중치와 함께 네이티브로 실행될 수 있습니다.

이 파이프라인은 SFT로 학습된 LoRA 인자들이 이미 작업 관련 방향성을 특이 벡터(singular vectors) 내에 포함하고 있다는 "웜 스타트(warm-start)"를 가정하며, ESSA는 이들의 크기(magnitude)를 조정함으로써 이를 정교화합니다.

주요 기여

ESSA 도입: SVD로 분해된 LoRA 인자의 특이값에 CMA-ES를 적용하여, 저렴한 보상 평가와 함께 파라미터 효율적인 설정을 목표로 하는 그래디언트 프리 온라인 정렬 방법을 제시했습니다.
포괄적인 경험적 비교: 저자들은 지시 이행(IFEval), 선호도 기반 튜닝(HelpSteer2, HH-RLHF), 수학적 추론(GSM8K, MATH500)에 대해 Online DPO, PPO, LoRA-GRPO, full-parameter GRPO, SVD-GRPO와 공정한 비교를 제공합니다.
확장성 분석: 16개에서 128개의 GPU까지 ESSA의 확장을 특성화하며, 대규모 환경에서 LoRA-GRPO보다 훨씬 빠르게 고정된 정확도에 도달함을 입증했습니다.
정밀도 견고성: ESSA가 INT4 양자화와 함께 성능을 유지함을 보여주며, MATH500에서 BF16 대비 정확도 감소를 약 1.1% 포인트로 제한했습니다.

실험 결과

수학적 추론 (GSM8K): ESSA는 Qwen2.5-7B에서 0.867의 정확도를 달성하여, 가장 강력한 LoRA 베이스라인인 LoRA-GRPO(0.823)보다 4.4% 포인트 높은 성능을 보였습니다. 또한 수십억 개의 파라미터 대신 약 2K~4K개의 파라미터만을 최적화하면서도 full-parameter GRPO(0.870)와 대등한 성능을 냈습니다.
지시 이행 (IFEval): ESSA는 Llama-3.1-8B에서 0.555의 정확도를 달성하여 LoRA-GRPO(0.483)를 능가했으며, Online DPO 및 PPO(둘 다 ~0.559)와 경쟁 가능한 수준을 유지했습니다.
고급 수학 (MATH500): Qwen2.5-32B 및 72B 모델에서 ESSA는 종합 점수에서 LoRA-GRPO를 능가하거나 대등한 성과를 냈습니다. 특히 72B 모델의 경우, LoRA-GRPO는 역전파를 위한 텐서 병렬 처리가 필요한 반면, ESSA는 INT4를 사용하여 GPU당 하나의 후보군만으로 실행되었습니다.
확장 효율성: 128개의 GPU 환경에서 ESSA는 Qwen2.5-32B의 MATH500 정확도(0.835)에 도달하는 속도가 LoRA-GRPO보다 7.8배 빠릅니다. 이 속도 향상은 역전파, 그래디언트 동기화의 제거, 그리고 클러스터 전체에 독립적인 후보군을 분산할 수 있는 능력 덕분입니다.
최적화 제어: 특이값 부분 공간(singular-value subspace)에서, 모집단 기반 그래디언트 프리 방법들(CMA-ES, plain ES, ARS)은 SVD-GRPO(동일한 공간 내에서 그래디언트 기반 업데이트를 수행)보다 실질적으로 우수한 성능을 보였으며, 이는 최적화 방식(optimization regime)이 파라미터화만큼 중요하다는 것을 나타냅니다.

의의 및 주장

본 논문은 현대의 post-SFT 정렬 단계가 다음과 같은 특성을 가진 그래디언트 프리 구현체를 가질 수 있음을 입증한다고 주장합니다:

품질 면에서 경쟁력 있음: 검증 가능한 보상(verifiable-reward) 작업에서는 그래디드 기반 LoRA 방법들과 대등하거나 이를 능가하며, 선호도 기반 작업에서도 경쟁력을 유지합니다.
양자화에 친화적임: 표준 그래디언트 기반 RLHF로는 불가능한, INT4 양자화를 사용한 단일 GPU 기반의 대규모 모델(최대 72B 파라간) 정렬을 가능하게 합니다.
우월한 확장성: 128개 GPU에서 측정된 멀티 GPU 확장성이 LoRA-GRPO 설정보다 강력하며, 정확도 도달 시간을 거의 10배 가까이 단축합니다.

저자들은 개별 구성 요소(LoRA, SVD, CMA-ES)는 이미 확립된 것이지만, 이들의 결 조합이 LLM 정렬을 위한 실질적이고 확장 가능한 대안을 만들어내며, 반복당 비용을 그래디언트 특화 훈련 및 통신에서 추론(inference)으로 전환시킨다는 점을 강조합니다.

저자들이 인정한 한계점:

ESSA는 강력한 SFT 초기화가 필요하며, SFT를 대체하는 것이 아닙니다.
그래디언트 방식보다 더 많은 보상 평가를 사용할 수 있으나, 이는 저렴한 보상을 위한 역전파 제거로 상쇄됩니다.
저차원(low-rank) 가정은 높은 차원의 업데이트가 필요한 작업을 탐색하는 데 제한이 있을 수 있음을 의미합니다.
CMA-ES는 다른 그래디언트 프리 최적화 도구들도 잘 작동하기 때문에, 독보적으로 필수적인 요소라기보다는 초기 진전과 튜닝 안정성 측면에서 선택된 실용적인 기본값(default)으로 취급됩니다.