🤖 machine learning

Momba: Network Modernization Improves Multi-Objective Reinforcement Learning

이 논문은 근본적인 알고리즘을 변경하지 않으면서도 솔루션 세트의 품질을 크게 향상시키기 위해 관측값 정규화, 가중치 정규화, 분포 반환(distributional returns)을 엔트로피 정규화와 통합한 다목적 강화 학습을 위한 네트워크 현대화 접근 방식인 Momba를 소개한다.

원저자: Adam Štafa, Santeri Heiskanen, Petr Novotný, Joni Pajarinen

게시일 2026-08-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Adam Štafa, Santeri Heiskanen, Petr Novotný, Joni Pajarinen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 정확히 무엇을 해야 하는지 지시받는 대신, 이것저것 시도해보고 자신의 실수로부터 배우며 게임을 플레이하거나 로봇을 제어하는 법을 배우는 세상을 상상해 보십시오. 이것은 에이전트가 보상을 극대화하기 위해 환경을 탐색하는 인공지능의 한 분야인 **강화 학습(Reinforcement Learning, RL)**의 영역입니다. 강아지가 기술을 배우는 과정을 생각해보세요. 앉아 있을 때는 간식을 주고, 점프할 때는 부드럽게 "안 돼"라고 말함으로써, 결국 강아지는 어떻게 행동하는 것이 최선인지 깨닫게 됩니다.

하지만 강아지가 '앉기'와 '기다려' 사이에서, 혹은 '빨리 달리기'와 '에너지 절약' 사이에서 선택해야 한다면 어떻게 될까요? 현실 세계에서는 목표들이 서로 충돌하는 경우가 많습니다. 항상 가장 빠른 주자이면서 동시에 가장 에너지 효율적인 주자가 될 수는 없습니다. 이것이 바로 **다목적 강화 학습(Multi-Objective Reinforcement Learning, MORL)**의 과제입니다. 단 하나의 "최선"의 방법을 찾는 대신, MORL은 서로 충돌하는 목표들 사이에서 각기 독특한 방식으로 균형을 잡는 다양한 전략의 메뉴를 찾아내려 노력합니다. 이는 요리사가 단순히 하나의 "최고" 레시피를 만드는 것이 아니라, 모든 요리가 매운맛과 단맛의 서로 다른 완벽한 조화를 제공하도록 메뉴를 만드는 것과 같습니다.

오랫동안 이 복잡한 균형 잡기 문제를 해결하려는 연구자들은 컴퓨터가 배우는 것을 돕기 위해 새롭고 복잡한 수학적 레시피(알고리즘)를 발명하는 데 집중했습니다. 그들은 문제가 수학 그 자체에 있다고 가정했습니다. 그러나 **"Momba: Network Modernization Improves Multi-Objective Reinforcement Learning"**이라는 제목의 새로운 논문은 어쩌면 수학만이 유일한 걸림데는 아니었을지도 모른다고 제안합니다. 저자들(마사릭 대학교와 알토 대학교 팀)은 혹시 컴퓨터의 "두뇌"(신경망 구조)가 너무 단순했던 것은 아닐까라는 의문을 가졌습니다. 그들은 단일 목표 학습에서 사용되는 현대적인 기술들을 사용하여 두뇌의 설계를 업그레이드한다면, 핵심적인 수학 규칙을 바꾸지 않고도 다목적 학습을 훨씬 더 개선할 수 있을지 테스트하기로 했습니다.

두뇌 업그레이드

연구진은 이미 이러한 균형 잡힌 전략을 찾는 데 능숙한 CAPQL이라는 기존의 견고한 알고리즘을 가져와 대대적인 개조를 거쳤습니다. 그들은 게임의 규칙을 다시 쓴 것이 아니라, 대신 플레이어의 장비를 고성능의 현대적인 버전으로 교체했습니다. 그들은 AI가 사고하는 부분인 신경망에 세 가지 구체적인 업그레이드를 도입했습니다.

정규화 (평준화 도구): 어떤 단어는 속삭임으로 들리고 어떤 단어는 비명처럼 들리는 새로운 언어를 배우려고 한다고 상상해 보세요. 매우 혼란스러울 것입니다. 첫 번째 업그레이드인 **관측 및 특징 정규화(observation and feature normalization)**는 볼륨 조절기 역할을 합니다. 이는 AI가 받는 모든 정보(예: 속도, 에너지, 위치 등)가 유사한 규모를 갖도록 하여, AI가 "큰" 숫자에 압도되어 "작은" 숫자를 무시하지 않도록 보장합니다.
가중치 정규화 (균형 잡힌 식단): 신경망 내에서 뉴런 사이의 연결에는 신호의 중요도를 결정하는 "가중치(weights)"가 있습니다. 때때로 이러한 가중치는 너무 커지거나 작아져서 시스템 전체를 망가뜨릴 수 있습니다. 두 번째 업그레이드인 **가중치 정규화(weight normalization)**는 이러한 연결들을 적절히 통제하여, AI의 내부 논리가 균형을 유지하고 폭주하지 않도록 합니다.
분포적 비평가 (수정구슬): 이것이 이번 연구의 주인공입니다. 전통적인 AI는 보통 자신이 얻을 보상의 '평균값'을 추측합니다. 하지만 트레이드오프(절충)가 존재하는 세상에서는 평균만으로는 충분하지 않습니다. **분포적 비평가(distributional critic)**는 단순히 하나의 숫자를 예측하는 것이 아니라, 가능한 결과의 전체 범위를 예측하는 수정구슬과 같습니다. 이는 어떤 움직임이 50%의 확률로 아주 훌륭하고 50%의 확률로 괜찮을 수 있다는 것을 이해하며, 단순히 "7점이다"라고 말하는 것과는 다릅니다. 이를 통해 AI는 위험과 불확실성을 훨씬 더 잘 이해할 수 있습니다.

결과: 걸작의 메뉴

연구팀은 업그레이드된 AI인 Momba를 일곱 가지의 서로 다른 연속 제어 작업(continuous control tasks)에 대해 테스트했습니다. 이 작업들은 로봇(치타, 인간, 헤엄치는 동물 등)이 속도 대 에너지 소비와 같은 여러 목표 사이에서 균형을 잡으며 효율적으로 움직여야 하는 복잡한 시뮬레이션입니다.

결과는 놀라웠습니다. 단순히 구조를 업그레이드함으로써, Momba는 기존의 우수한 방법들과 경쟁하는 수준을 넘어 그들을 압도했습니다.

솔루션의 품질 측면(하이퍼볼륨(Hypervolume)이라는 지표로 측정)에서, Momba는 기존의 업그레이드되지 않은 버전의 알고리즘보다 성능이 약 132% 향상되었습니다.
분야 내의 두 번째로 우수한 방법과 비교했을 때도, Momba는 **35%**의 성능 향상을 보여주었습니다.
아마도 가장 인상적인 점은, Momba가 훨씬 더 **샘플 효율적(sample-efficient)**이었다는 것입니다. 즉, 더 높은 수준의 성능에 도달하기 위해 훨씬 적은 시도만으로도 더 빠르게 학습했다는 뜻입니다. 일부 테스트에서 Momba는 경쟁 모델이 4,800만 번의 단계를 거쳐 도달한 성능 수준에 단 100만 번의 단계만으로 도달했습니다.

저자들은 결과가 단지 운이 아니라는 것을 보장하기 위해 10개의 서로 다른 랜덤 시드(즉, 10가지의 서로 다른 시작 조건)를 사용하여 실험을 진행했습니다. 그들은 Momba가 일관되게 더 넓고 다양하며 고품질의 솔루션을 생성한다는 것을 발견했습니다. 예를 들어, 로봇 개미 시뮬레이션에서 Momba는 X 방향과 Y 방향으로 빠르게 이동하는 것 사이의 모든 가능한 트레이드오프를 포괄하는 매끄러운 솔루션 곡선을 생성할 수 있었던 반면, 다른 방법들은 큰 공백을 남겼습니다.

이것이 의미하는 바

이 논문은 명확한 점을 시사합니다. 어려운 문제를 해결하기 위해 항상 새롭고 복잡한 수학적 알고리즘을 발명할 필요는 없다는 것입니다. 때로는 기존의 알고리즘에 더 좋은 두뇌를 부여하기만 하면 됩니다. 저자들은 다목적 강화 학습을 개선하는 유일한 방법이 복잡한 새로운 업데이트 규칙이나 선호도 선택 전략이라고 생각하는 견해에 명시적으로 반박합니다. 대신, 그들은 신경망 구조를 현대화하는 것이 강력하고 종종 간과되었던 성공의 경로임을 보여줍니다.

또한 그들은 세 가지 업그레이드 중 무엇이 가장 중요했는지 테스트했습니다. 샤플리 값(Shapley values)이라는 통계적 도구를 사용하여, 그들은 **관측 정규화(observation normalization)**가 약 **55%**의 개선을 기여한 가장 큰 영웅임을 발견했습니다. 분포적 비평가와 가중치 정규화 역시 중요한 역할을 하며 전체 시스템이 조화롭게 작동하도록 만들었습니다.

요약하자면, 이 논문은 복잡하고 충돌하는 목표를 균형 있게 조절하는 AI를 가르치는 미래가 더 어려운 수학을 쓰는 데 있는 것이 아니라, 더 스마트하고 견고한 신경망을 구축하는 데 있을 수도 있음을 시사합니다. AI에게 세상을 보는 더 나은 방법을 제공하고, 입력을 정규화하며, 가능성의 전체 범위를 이해하게 함으로써, 우리는 학습의 근본적인 규칙을 바꾸지 않고도 AI가 더 빠르게 배우고 더 나은 결정을 내리도록 만들 수 있습니다.

기술 요약: Momba – 네트워크 현대화를 통한 다목적 강화 학습의 개선

문제 정의

다목적 강화 학습(Multi-Objective Reinforcement Learning, MORL)은 상충하는 목적들 사이의 트레이드오프를 조절하는 일련의 정책(set of policies)을 찾는 것을 목표로 하며, 이는 흔히 파레토 프런트(Pareto front)로 표현된다. 최근 단일 목적 심층 강화 학습(Single-objective DRL)에서의 발전은 신경망 구조(예: 정규화 기법, 분포적 비평가 등)를 개선하는 것이 근본적인 알고리즘을 변경하지 않고도 샘플 효율성과 점근적 성능을 크게 향상시킬 수 있음을 입증해 왔으나, MORL 연구는 주로 알고리즘 혁신에 집중해 왔다.

현재의 MORL 접근 방식, 특히 선호도 조건부 정책 $\pi(\cdot|s, \omega)$ 를 학습하는 일반 정책 방법들은 대개 가치 함수와 정책을 표현하기 위해 단순한 피드포워드 네트워크에 의존한다. 본 논문은 이러한 구조가 다양한 트레이드오프에 따른 최적 정책 및 가치 함수의 상당한 차이를 처리하기에는 표현력이 부족할 수 있다고 가정한다. 본 연구가 다루는 핵심 질문은 현대적인 신경망 설계 원칙을 MOR-L에 통합하는 것이 복잡한 선호도 선택 알고리즘이나 특수한 업데이트 규칙 없이도 성능을 향상시킬 수 있는가 하는 점이다.

방법론

저자들은 최근 단일 목적 DRL의 구조적 발전(구체적으로 SimbaV2 아키텍처)을 기존의 엔트로피 정규화 MORL 알고리즘인 CAPQL에 통합한 Momba를 제안한다. 방법론은 세 가지 주요 구조적 수정 사항을 포함한다:

관측 및 특징 정규화 (Observation and Feature Normalization):
- 관측 정규화 (Observation Normalization): 입력 관측값은 러닝 통계량(Running Statistics)을 사용하여 평균이 0이고 분산이 1이 되도록 정규화된다.
- 특징 정규화 (Feature Normalization): 은닉 특징(Hidden features)은 학습 역학을 안정화하고 가소성 상실(plasticity loss)을 방지하기 위해 단위 초구체(unit hypersphere)로 매핑된다(L2 정규화). 크기 정보를 보존하기 위해 학습 가능한 이동 상수(shift constant)가 결합된다.
가중치 정규화 (Weight Normalization): 네트워크 가중치는 모든 경사 하강 업데이트 후에 정규화되어 가중치가 단위 초구체 상에 머물도록 함으로써 최적화 지형의 컨디셔닝(conditioning)을 개선한다.
분포적 비평가 적응 (Distributional Critic Adaptation):
- 표준 분포적 비평가(예: C51)는 수익(returns)의 분포를 모델링한다. MORL에서 수익은 다변량 벡터이다.
- 복잡한 다변량 결합 분포를 모델링하는 대신(이는 계산 비용이 많이 들고 종종 테이블 형태의 경우로 제한됨), Momba는 **스칼라화된 수익 분포(scalarized return distribution)**를 직접 학습하는 방식을 제안한다.
- 비평가 $Z_\theta(s, a, \omega)$ 는 스칼라화된 수익 $\omega^T G$ (여기서 $G$ 는 수익 벡터)의 범주형 분포를 예측한다.
- 비평가는 예측된 분포와 타겟 분포(스칼라화된 보상 $\omega^T r$ 에 대한 TD 부트스트랩을 통해 계산됨) 사이의 교차 엔트로피 손실을 최소화함으로써 학습된다.
- 정책은 이 스칼라화된 분포의 기대값과 엔트로피 항을 최대화하도록 업데이트된다.

선호도 선택 (Preference Selection): 구조적 변화의 효과를 격리하기 위해, 저자들은 다른 MORL 베이스라인에서 발견되는 정교한 동적 선택 전략 대신, 에피소드당 한 번씩 선호 공간의 정적 균등 분포에서 새로운 선호 벡터 $\omega$ 를 샘ffle링하는 단순한 선호도 선택 전략을 채택한다.

주요 기여

MORL에서의 구조적 통합: 본 논문은 현대적인 신경망 설계 원칙(SimbaV2 구성 요소)과 분포적 비평가를 사용하는 것이 기존의 MORL 알고리즘에서 연속 제어 작업에 대한 성능을 실질적으로 향상시킨다는 것을 입증한다. 이는 핵심 MORL 알고리즘 프레임워크를 변경하거나 복잡한 선호도 선택 메커니즘을 요구하지 않고 달성된다.
스칼라화된 분포적 비평가: 저자들은 범주형 비평가를 다목적 도메인에 맞게 실용적으로 적응시킨 방법을 제안한다. 선형 스칼라화 가정을 바탕으로 스칼라화된 수익 분포를 직접 학습함으로써, 다변량 결합 분포를 모델링해야 하는 복잡성을 피하면서도 분포적 RL의 안정성 이점을 유지한다.
설계 선택의 경험적 검증: 광범한 절제 연구(ablation studies)를 통해, 저자들은 관측 정규화가 성능 향상의 가장 중요한 기여자임을 식별하였으며(샤플리 값(Shapley values)을 통해 약 55%의 개선 기여 확인), 그 뒤를 특징 및 가중치 정규화가 잇는다. 분포적 비평가 또한 성능 향상을 위한 핵심 요소로 확인되었다.

결과

제안된 방법은 2개 또는 3개의 목적을 가진 7개의 연속 제어 벤치마크(Ant, HalfCheetah, Hopper, Humanoid, Swimmer, Walker2D)에서 평가되었다.

점근적 성능 (Asymptotic Performance): Momba는 다중 정책 방법인 PGMORL과 기본 알고리즘인 CAPQL을 포함한 최첨단(SOTA) 베이스라인들을 능가한다. 종합 지표에서 Momba는 차순위 모델인 PGMORL 대비 하이퍼볼륨(Hypervolume, HV)에서 약 35%, 기대 효용 지표(Expected Utility Metric, EUM)에서 16%의 개선을 달성했다. 기본 CAPQL과 비교했을 때는 HV에서 약 132%, EUM에서 35%의 개선을 보였다.
샘플 효율성 (Sample Efficiency): Momba는 Ant 및 Humanoid 환경에서 PGMORL의 최종 성능에 도달하는 데 훨씬 적은 훈련 단계(PGMORL의 48M 및 120M 단계 대비 각각 100k 및 200k 단계)만을 사용한다.
GPI-LS와의 비교: 정교한 선호도 선택을 사용하여 최고 수준의 샘플 효율성을 보이는 GPI-LS와 비교했을 때, Momba(단순 정적 선호도 샘플링 사용)는 유사한 업데이트-데이터(UTD) 비율을 결합했을 때 200k 단계 이후 정규화된 HV 및 EUM에서 GPI-LS를 능가했다.
솔루션 품질 (Solution Quality): 생성된 솔루션 세트(파레토 프런트)의 시각적 분석 결과, Momba는 Walker2D 및 Hopper와 같은 환경에서 베이스라인들을 압도하며 우수한 커버리지와 밀도를 가진 세트를 생성함을 보여준다.

의의 및 주장

본 논문은 현대적인 신경망 설계 원칙(특히 정규화 기법 및 분포적 비평가)을 채택함으로써 기존 MORL 알고리즘의 성능을 크게 높일 수 있다고 주장한다. 본 연구의 의의는 복잡한 알고리즘 수정이나 특수한 선호도 선택 전략 없이 구조적 개선만으로도 현재의 최첨단 MORL 방법들을 능가할 수 있다는 발견에 있다.

저자들은 분포적 비평가가 성공의 주요 구성 요소임을 강조하는데, 이는 학습 역학을 안정화하고 최적화 문제의 컨디셔닝을 개선하기 때문이다. 또한, 이들의 접근 방식이 선형 스칼라화에 의존하지만, 제안된 분포적 비평가 적응 방식은 복잡한 다변량 분포를 모델링할 필요 없이 매우 효과적이고 단순한 전략임을 언급한다.

인정된 한계점:

본 연구는 선형 스칼라화로 제한되며, 비선형 또는 학습된 스칼라화 함수는 다루지 않는다.
벤치마크는 연속 제어 작업 및 2~3개의 목적 함수로 제한된다. 이산 공간이나 고차원 목적 함수로의 확장성은 평가되지 않았다.
더 표현력이 높은 함수 근사기는 실행 시간(wall-clock training time)을 증가시킬 수 있으나, 이는 시스템 수준의 발전(예: JIT 컴파일)을 통해 완화될 수 있다.