🤖 AI

ESSAM: A Novel Competitive Evolution Strategies Approach to Reinforcement Learning for Memory Efficient LLMs Fine-Tuning

원저자: Zhishen Sun, Sizhe Dang, Guang Dai, Haishan Ye

게시일 2026-05-11

📖 4 분 읽기☕ 가벼운 읽기

원저자: Zhishen Sun, Sizhe Dang, Guang Dai, Haishan Ye

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"ESSAM: A Novel Competitive Evolution Strategies Approach to Reinforcement Learning for Memory Efficient LLMs Fine-Tuning"라는 논문에 대한 설명을 쉽고 일상적인 언어로, 창의적인 비유를 곁들여 번역한 것입니다.

큰 문제: "무거운 배낭"

수학은 잘하지만 까다로운 말로 된 문제를 풀기 위해 추가적인 지도가 필요한 천재 학생 (대형 언어 모델 또는 LLM) 이 있다고 상상해 보세요.

보통 이 학생을 가르치는 가장 좋은 방법은 강화 학습 (RL) 이라는 방법을 사용하는 것입니다. RL 을 학생의 모든 움직임을 지켜보고, 어떻게 개선해야 할지 정확히 계산하며 즉각적인 피드백을 주는 매우 엄격하고 첨단 기술이 적용된 코치라고 생각해 보세요. 이 방법은 훌륭하게 작동하지만, 치명적인 단점이 하나 있습니다. 모든 계산을 수행하기 위해 컴퓨터 메모리 (GPU 메모리) 라는 거대한 배낭이 필요하다는 점입니다.

일반적인 수학 문제의 경우, 이 "배낭"의 무게는 작은 자동차 (수백 기가바이트) 만큼 나갑니다. 대부분의 사람들과 작은 연구실들은 이 짐을 나르기에 충분한 자동차 크기의 컴퓨터를 가지고 있지 않기 때문에, 이 강력한 코칭 방법을 사용할 수 없습니다.

옛날 해결책: "추측하고 확인하는" 팀

무거운 배낭을 피하기 위해 연구자들은 진화 전략 (ES) 이라는 다른 방법을 시도했습니다.

작동 원리: 엄격한 코치 한 명 대신, 100 명의 탐험가 팀을 상상해 보세요. 그들은 모두 같은 곳에서 시작하지만, 각자 약간씩 다른 무작위 경로 ( "교란") 를 택합니다. 그들이 모두 수학 문제를 풀어보죠. 정답을 맞힌 사람들은 "보상"을 받습니다. 그런 다음 팀은 승리자들을 보고 "좋아, 승리자들이 간 방향으로 우리도 조금씩 움직이자"라고 말합니다.
장점: 이 방법은 놀라울 정도로 가볍습니다. 복잡한 역방향 계산을 하지 않기 때문에 무거운 배낭이 필요하지 않습니다. 모델을 한 번 실행하는 데 필요한 메모리 (일반 사용자가 사용하는 수준) 만 있으면 됩니다.
단점: 가볍기는 하지만, 탐험가들은 종종 "얕은 골짜기"에 갇히곤 합니다. 작동은 하는 해결책을 찾지만, 그 해결책은 매우 견고하지 않습니다. 조금 다른 수학 문제를 주면 당황할 수 있습니다. 그들은 일반화 능력 (배운 것을 새로운 상황에 적용하는 능력) 이 부족합니다.

새로운 해결책: ESSAM ( "똑똑한 등산가")

저자들은 ESSAM (Sharpness-Aware Maximization 을 적용한 진화 전략) 이라는 새로운 방법을 제안했습니다. 그들은 "추측하고 확인하는" 팀의 가벼운 배낭을 유지하면서도, 결과를 개선하기 위해 엄격한 코치의 "지혜"를 더하고 싶었습니다.

등산 비유를 사용하여 ESSAM 이 어떻게 작동하는지 설명해 보겠습니다.

"날카로움" 문제: 탐험가들이 정상 (최고의 답) 을 향해 등반하고 있다고 상상해 보세요. 때로는 높게 보이는 정상이지만 실제로는 날카롭고 거친 바위일 수 있습니다. 바람이 불면 (새로운 수학 문제), 그들은 쉽게 떨어집니다. 이것이 "날카로운 최소점"입니다.
ESSAM 의 트릭: 팀이 특정 방향으로 이동하기로 결정하기 전에, ESSAM 은 그 방향 주변의 지형을 확인하기 위해 정찰병을 보냅니다.
- 정찰병은 묻습니다: "이쪽으로 이동하면 땅이 평평하고 안정적일까, 아니면 거친 절벽일까?"
- 땅이 거칠다면 (날카롭다면), 팀은 약간 진로를 변경합니다. 땅이 평평하고 넓은 곳 ( "평평한 최소점") 을 찾습니다.
- 평평한 정상은 안전합니다. 바람이 불거나 문제가 약간 변하더라도 팀은 정상에 머무릅니다.

기술적인 용어로: ESSAM 은 표준적인 "추측하고 확인하는" 방법에 "주변 탐사"를 추가합니다. 모델 매개변수를 일시적으로 근처 위치로 이동시켜 보상이 그곳에서 안정적인지 확인한 후, 그 정보를 주요 업데이트를 안내하는 데 사용합니다. 이를 통해 모델이 단순히 운 좋은 해법이 아니라 견고한 해법을 찾도록 강제합니다.

결과: 깃털처럼 가볍고 황소처럼 강함

이 논문은 GSM8K(초등학교 수준의 수학 말로 된 문제 모음) 라는 인기 있는 수학 데이터셋에서 이를 테스트했습니다.

성능: ESSAM 은 무겁고 메모리를 많이 먹는 강화 학습 방법 (PPO 및 GRPO 등) 과 똑같이 잘 작동했습니다. 사실, 일부 모델에서는 오히려 더 좋았습니다.
메모리: 이것이 큰 승리입니다. 무거운 방법들은 수백 기가바이트의 메모리가 필요했지만, ESSAM 은 기본 "추측하고 확인하는" 방법과 마찬가지로 아주 적은 양의 메모리만 사용했습니다.
- 비유: 옛날 방법들이 장비를 나르기 위해 반 트럭이 필요했다면, ESSAM 은 자전거에 들어갑니다.
- 통계: 표준적인 무거운 방법 (PPO) 보다 18 배 적은 메모리를 사용했으며, 다른 인기 있는 방법 (GRPO) 보다 10 배 적은 메모리를 사용했습니다.
일반화: 이전에 보지 못한 수학 문제 (다른 데이터셋) 로 테스트했을 때, ESSAM 으로 훈련된 모델들은 표준 "추측하고 확인하는" 모델들보다 훨씬 잘 풀었습니다. 그들은 특정 답을 외운 것이 아니라 수학의 개념을 배웠기 때문입니다.

"터보" 버전 (ESSAM-F)

저자들은 ESSAM-F라는 더 빠른 버전도 만들었습니다.

작동 원리: "확인" 단계에서 더 작은 규모의 정찰병 팀을 사용합니다.
결과: 원래 ESSAM 보다 두 배 빠르며, 동일한 아주 적은 양의 메모리를 사용하고 거의 동일한 높은 정확도를 유지합니다.

요약

이 논문은 AI 에 수학 가르치는 새로운 방법인 ESSAM을 소개합니다. 이는 "추측하고 확인하는" 방법의 저비용과 지능적인 안정성 확인(Sharpness-Aware Maximization) 을 결합합니다.

이전: "높은 성능이지만 무겁고 비쌈"(RL) 과 "가볍고 저렴하지만 약함"(표준 ES) 사이에서 선택해야 했습니다.
이제: ESSAM 을 사용하면 무거운 방법의 높은 성능을 얻으면서도 간단한 방법의 가볍고 저렴한 footprint 를 누릴 수 있습니다. 이를 통해 작은 연구실과 오픈소스 커뮤니티는 슈퍼컴퓨터 없이도 강력한 수학 추론 AI 를 훈련할 수 있게 되었습니다.

기술 요약: ESSAM – Sharpness-Aware Maximization 을 활용한 진화 전략

문제 제기
강화 학습 (RL), 특히 Proximal Policy Optimization(PPO) 과 Group Relative Policy Optimization(GRPO) 과 같은 알고리즘은 대규모 언어 모델 (LLM) 의 수학 추론 능력을 향상시키는 데 핵심적인 역할을 해왔습니다. 그러나 이러한 방법들은 역전파, 가치 네트워크, 정책 업데이트에 의존하기 때문에 막대한 GPU 메모리 요구 사항을 부과합니다. 예를 들어, PPO 를 사용하여 80 억 파라미터 모델을 파인튜닝하는 경우 300 GiB 이상의 GPU 메모리가 필요하여, 자원이 제한된 오픈소스 커뮤니티에게는 접근이 불가능합니다. 반면 진화 전략 (ES) 은 순방향 생성과 보상 평가에만 의존함으로써 메모리 효율적인 0 차 대안을 제공하지만, 종종 일반화 성능이 낮다는 단점이 있습니다. 표준 ES 는 파라미터 공간에서 "sharp minima(날카로운 최소값)"로 모델을 유도하는 경향이 있어, GSM8K 와 같은 주요 추론 작업에서 RL 방법보다 열악한 성능을 보입니다.

방법론: ESSAM
저자들은 ES 의 0 차 탐색 능력과 Sharpness-Aware Maximization(SAM) 의 일반화 향상 원리를 통합한 풀 파라미터 파인튜닝 프레임워크인 ESSAM(Sharpness-Aware Maximization 을 활용한 진화 전략) 을 제안합니다.

핵심 메커니즘: 보상 가중 노이즈 방향에 기반하여 파라미터를 직접 업데이트하는 표준 ES 와 달리, ESSAM 은 2 단계 업데이트 과정을 도입합니다:
- 1 단계 (주변 탐색): 알고리즘은 보상 가중 노이즈 방향의 집합을 계산하여 현재 파라미터 $\theta_t$ 를 보상 기울기의 반대 방향 (즉, "날카로운" 영역 쪽) 으로 이동시킵니다. 이를 통해 교란된 주변 점 $\theta^{SAM}_t$ 를 생성합니다.
- 2 단계 (역방향 업데이트): 알고리즘은 이 교란된 점 $\theta^{SAM}_t$ 에서의 보상을 평가하고, 그 결과로 얻은 보상 신호를 사용하여 원래 파라미터 $\theta_t$ 를 업데이트합니다. 효과적으로 "날카로운" 영역을 미리 탐색하고 교란된 지형에 기반하여 업데이트함으로써, 이 방법은 더 나은 일반화와 견고성과 관련된 "평탄한 최소값"으로 최적화를 유도합니다.
메모리 효율성: ESSAM 은 역전파나 기울기/활성화 값의 저장이 필요 없는 ES 의 0 차 특성을 유지합니다. 인플레이스 업데이트와 시드 재생과 같은 메모리 절약 기법을 활용하여 GPU 메모리 사용량을 "추론 수준" 규모로 유지함으로써, RL 방법보다 훨씬 낮은 메모리 소모를 달성합니다.
가속화된 변형 (ESSAM-F): 학습 속도를 개선하기 위해 저자들은 ESSAM-F 를 제안합니다. 이 변형은 초기 SAM 주변 탐색 단계에서 더 작은 개체군 크기를 사용하고, 교란 방향에 대해 Frobenius 노름 정규화를 적용합니다. 이는 동일한 낮은 메모리 발자국을 유지하면서 계산 오버헤드를 줄입니다.
학습 프로토콜: 저자들은 이전 ES 문헌의 불일치를 해결하기 위해 표준 학습/평가 분할, 데이터 셔플링, 작은 미니배치를 사용한 다단계 업데이트를 포함한 표준화된 학습 절차를 강조합니다.

주요 기여

새로운 프레임워크: LLM 을 위해 SAM 메커니즘을 성공적으로 통합하여 기울기 계산 없이 평탄한 최소값으로 최적화를 유도하는 최초의 0 차 풀 파라미터 파인튜닝 방법인 ESSAM 의 도입.
표준화: 안정성과 재현성을 보장하기 위해 엄격한 표준 학습 파이프라인 (셔플링, 미니배치) 을 사용하여 0 차 파인튜닝을 주요 GSM8K 수학 추론 작업으로 확장.
가속화된 변형: 메모리 효율성과 경쟁력 있는 정확도를 유지하면서 ESSAM 대비 거의 2 배의 속도 향상을 달성한 ESSAM-F 개발.
자원 효율성: 추론 수준의 GPU 메모리로 풀 파라미터 파인튜닝이 가능함을 입증하여 LLM 추론 연구의 진입 장벽을 획기적으로 낮춤.

실험 결과
0.5B 에서 8B 파라미터에 이르는 다양한 모델 계열 (Qwen2.5 및 LLaMA3) 에 대해 GSM8K 데이터셋에서 실험이 수행되었습니다.

GSM8K 성능: ESSAM 은 모든 모델에서 평균 정확도 **78.27%**를 달성했습니다. 이는 표준 ES(75.97%) 보다 현저히 우수하며 PPO(77.72%) 를 상회합니다. GRPO(78.34%) 와는 유사한 수준이며 특정 모델에서는 이를 초과합니다.
일반화: SVAMP, MATH, AMC 를 포함한 6 개의 분포 외 벤치마크에서 ESSAM 으로 파인튜닝된 모델은 6 개 데이터셋 중 5 개에서 최고의 평균 성능을 달성하여 ES, PPO, GRPO 보다 우수한 전이 능력을 입증했습니다.
메모리 사용량: ESSAM 은 PPO 대비 약 18 배, GRPO 대비 10 배 GPU 메모리 사용량을 줄입니다. 8B 모델의 경우 ESSAM 은 약 21.45 GiB 를 사용하는 반면, PPO 는 약 314.44 GiB 가 필요합니다.
효율성: 가속화된 변형인 ESSAM-F 는 표준 ESSAM 대비 학습 시간에서 거의 2 배의 속도 향상을 이루면서 동일한 메모리 사용량을 유지하며, 평균 정확도 **78.02%**를 달성하여 PPO 를 능가했습니다.

의의 및 주장
이 논문은 ESSAM 이 수학 추론 작업에서 LLM 을 파인튜닝하기 위한 실용적이고 자원 효율적인 RL 대안을 제공한다고 주장합니다. 진화 전략의 메모리 효율성과 Sharpness-Aware Maximization 의 일반화 이점을 결합함으로써, ESSAM 은 0 차 방법과 기울기 기반 RL 간의 성능 격차를 해소합니다. 저자들은 그들의 접근 방식이 자원 제약 환경에서도 고성능 LLM 추론 파인튜닝을 실현 가능하게 하여, 대규모 컴퓨팅 클러스터에 접근하지 못하는 오픈소스 커뮤니티가 견고한 추론 모델을 개발할 수 있는 실현 가능한 경로를 제공한다고 주장합니다. 이 연구는 메모리 효율성이 모델 성능이나 일반화 능력의 타협을 필요로 하지 않음을 강조합니다.