기술 요약: MAMO – 다중 목적 제약 최적화를 위한 다중 에이전트 시스템

1. 문제 정의

컴퓨팅 및 네트워킹 시스템, 특히 컴퓨팅 컨티뉴엄(Computing Continuum, CC) 내의 많은 의사결정 문제들은 성능 제약(예: 지연 시간, 처리량 또는 리소스 예산)이 부과된 비용 최소화 문제로 정식화될 수 있습니다. 워크로드와 리소스 가용성이 변동하는 동적인 환경에서, 이러한 문제를 런타임에 해결하기 위해 강화 학습(Reinforcement Learning, RL)이 빈번하게 사용됩니다.

제약 조건을 처리하는 표준적인 접근 방식은 **라그랑주 유도 정식화(Lagrangian-inspired formulations)**를 활용하는 것이며, 여기서는 수동으로 선택된 가중치 페널티 항을 사용하여 제약 위반 사항을 기본 비용과 결합하여 하나의 스칼라 보상으로 통합합니다. 본 논문은 이 패러다임의 결정적인 한계를 지적합니다: 학습된 정책의 동작이 이러한 고정된 가중치에 크게 의존한다는 점입니다.

• 트레이드오프 딜레마: 적절한 가중치를 선택하는 것은 어렵고 문제마다 다릅니다. 잘못된 가중치는 정책을 지나치게 보수적이게 만들거나(높은 비용을 감수하며 제약을 우선시함), 혹은 너무 공격적이게 만듭니다(비용을 최소화하려다 QoS 요구사항을 빈번히 위반함).
• 비정상성(Non-Stationarity): 동적인 환경에서는 목적 간의 상대적 중요도가 시간이 지남에 따라 변할 수 있으며, 이는 정적인 수동 튜닝 가중치를 최적이 아니게 만듭니다.

본 논문은 과업 실행(task execution)을 목적 함수 설계로부터 분리하여, 수동 파라미터 튜닝에서 벗어나 자율적이고 적응적인 메커니즘으로 이동하는 솔루션을 제안합니다.

2. 방법론: MAMO 프레임워크

저자들은 상충하는 목적들 사이의 트레이드오프를 학습하도록 설계된 계층적 다중 에이전트 프레임워크인 **MAMO(Multi-Agent system for Multi-Objective constrained optimization)**를 제안합니다. MAMO는 보상 가중치 계수를 선택하는 것을 고정된 설계 선택이 아닌 학습 문제로 취급합니다.

아키텍처

MAMO는 서로 다른 시간 척도(time scale)와 추상화 수준에서 작동하는 두 개의 에이전트로 구성됩니다:

1. 과업 실행(Task-Execution, TE) 에이전트:

   • 역할: 제어 정책을 학습하기 위해 환경과 직접 상호작용합니다.
   • 메커니즘: 기본 비용과 제약 위반 페널티를 통합하는 표준 가중 보상 함수를 사용합니다.
   • 동작: 고정된 가중치 세트에 대해, TE 에이전트는 복합 목적을 최적화하는 전통적인 RL 에이전트처럼 동작합니다.

2. 가중치 적응(Weight-Adaptation, WA) 에이전트:

   • 역할: 더 높은 수준에서 더 느린 시간 척도로 작동합니다. 환경에 직접 작용하지 않습니다.
   • 메커니즘: TE 에이전트의 보상 함수에서 트레이드오프를 조절하는 가중치 계수($w$)의 값을 선택합니다.
   • 학습 신호: WA 에이전트는 TE 에이전트에 의해 생성된 집계된 성능 지표(예: 평균 실행 비용 및 평균 거부 확률)를 관찰합니다.
     • 만약 거부 확률이 허용 임계치를 초과하면, WA 에이전트는 제약 위반에 대한 페널티로서 0의 보상을 받습니다.
     • 제약 조건이 충족되면, 보상은 실행 비용에 해당합니다(낮은 비용을 장려함).
   • 목적: 성능 요약 정보를 새로운 가중치 값으로 매핑하는 정책을 학습하여, 제약 조건을 준수하면서 실행 비용을 최소화하는 것입니다.

워크플로우

시스템은 다음과 같은 반복적인 2단계 루프로 작동합니다:

1. 가중치 선택 및 TE 훈련: WA 에이전트가 가중치 구성(초기에는 무작위)을 선택하고 이를 특정 훈련 호라이즌 동안 고정합니다. TE 에이전트는 환경과 상호작용하며 가중치 보상을 최적화하도록 정책을 업데이트합니다.
2. 평가 및 적응: 호라이즌이 끝나면, WA 에이전트는 TE 에이전트의 성능 지표를 관찰합니다. 이 피드백을 바탕으로, WA 에이전트는 새로운 가중치 구성을 선택하고 새로운 TE 훈련 단계가 시작됩니다.

이 구조를 통해 MAMO는 수동 튜닝에 의존하지 않고, 경험으로부터 직접 비용 효율성과 QoS 보존 사이의 균형을 점진적으로 정교화할 수 있습니다.

3. 참조 애플리케이션: 엣지-FaaS 레플리카 스케일링

프레임워크를 설명하기 위해, 저자들은 이를 Function-as-a-Service (FaaS) 엣지 컴퓨팅 환경에서의 레플리카 스케일링 문제에 적용합니다.

• 컨텍스트: 엣지 노드는 클라우드에 비해 제한된 리소스(메모리, 컴퓨팅 파워)를 가집니다. 애플리케이션은 수요에 따라 인스턴스화되는 상태 비저장(stateless) 함수들로 분해됩니다.
• 목적: 요청 거부 확률이 특정 허용치($tol$) 미만으로 유지되도록 보장하면서, 함수 레플리카를 초기화하고 실행하는 데 드는 비용을 최소화합니다.
• 과제: 워크로드는 비정상적이며(예: 일주기 패턴), 리소스 가용성은 공존하는 서비스들로 인해 변동합니다. 이러한 요인들이 거부 확률에 미치는 결합 효과를 정확하게 모델링하는 것은 어려우므로, 모델 프리(model-free) RL이 적합합니다.

4. 실험 분석

저자들은 단순한 사인파 형태의 워크로드 트레이스(일주기 패턴 모사)를 포함하고, 비정상성을 시뮬레이션하기 위해 균등 노이즈(uniform noise)를 추가한 단순화된 인스턴스에서 MAMO를 평가했습니다.

실험 설정

• 베이스라인: 완벽한 지식을 가진 상태에서의 성능 하한선을 설정하기 위해 Gurobi 옵티마이저를 사용하여 오프라인으로 문제를 해결했습니다.
• 대조 사례: 극단적인 동작(과잉 프로비저닝 vs 과소 프로비저닝)을 보여주기 위해 고정된 가중치($w=0.99$ 및 $w=0.1$)로 TE 에이전트를 훈련했습니다.
• MAMO 구성:
  • TE 에이전트: 3개 층의 완전 연결 네트워크를 사용하는 Deep Q-Learning.
  • WA 에이전트: 가중치 선택을 위한 이산 액션 공간(단계 크기 0.01).
  • 훈련 사이클: TE는 가중치당 15,000회 반복 훈련하며, WA는 마지막 300 단계를 관찰합니다.
  • 제약 조건: 거부 확률은 0.05 미만이어야 합니다.

결과

• 수렴: WA 에이전트가 훈련됨에 따라, 관찰된 거부 확률($p$)은 0.05 허용 임계치에 근접했고, 가중치 $w$는 0.8에서 0.9 사이의 값으로 수렴했습니다.
• 성능: 학습된 정책은 오프라인 최적 솔루션에 비해 약간 높은 실행 비용(더 많은 레플리카)을 초래했지만, 노이즈가 있는 워크로드에 성공적으로 적응했습니다.
• 핵심 발견: 고정 가중치 접근 방식은 제약을 위반하거나(낮은 $w$) 불필요한 비용을 발생시켰던(높은 $w$) 반면, MAMO는 거부 확률을 0.05 임계치 아래로 일관되게 유지했습니다.

5. 주요 기여

1. 실행과 목적 설계의 분리: MAMO는 제어 정책(TE)과 보상 설계(WA)를 분리하는 계층적 아키텍처를 도입하여, 시스템이 변화하는 조건에 따라 "최적성"의 개념을 적응할 수 있게 합니다.
2. 자율적 가중치 적응: 가중치를 수동으로 튜닝하거나 경사 하강법 기반의 메타 러닝을 통해 최적화하는 기존 방식과 달리, MAMO는 가중치 선택을 별도의 에이전트에 의해 해결되는 순차적 의사결정 문제로 프레임화합니다.
3. 해석 가능성: 이 접근 방식은 적응 범위를 사전 정의된 목적들에 대한 스칼라화 가중치의 저차원 벡터로 제한함으로써, 자유로운 형태의 내재적 보상 모델보다 더 구조화되고 해석 가능한 대안을 제공합니다.
4. 모델 프리 호환성: 외부 루프(WA 에이전트)는 내부 학습기(TE 에이전트)를 통과하는 미분 가능성을 요구하지 않으므로, 이 프레임워크는 임의의 내부 솔버와 호환됩니다.

6. 의의 및 향후 연구

본 논문은 MAMO가 동적인 환경에서의 제약 최적화를 위한 "더 자율적이고 견고한 RL 기반 솔루션을 향한 첫 걸음"이라고 주장합니다. 그 의의는 변화하는 시스템 역학에 따라 쓸모없어질 수 있는 정적인 수동 튜닝 파라미터에 의존하지 않고, 상충하는 목표들 사이의 트레이드오프를 처리할 수 있는 능력에 있습니다.

저자들은 현재 작업의 범위에 대해 겸허한 입장을 유지하며, 다음과 같은 향후 연구 계획을 언급했습니다:

• 다양한 애플리케이션 도메인의 문제에 대해 MAMO 평가.
• 듀얼 디컴포지션(dual-decomposition) 스킴, 베이지안 최적화, 그리고 멀티 정책 알고리즘(예: Optimistic Linear Support)과 같은 다른 가중치 선택 전략과 MAMO 비교.