💻 computer science

A Linear Mapping-Enhanced PPO Framework for Dynamic Load Balancing in Smart City Edge Systems

본 논문은 복잡한 작업 공간을 효과적으로 매핑하고 에지 서버 간의 계산 평형을 보장함으로써 스마트 시티 에지 컴퓨팅 환경에서 동적 부하 분산을 최적화하고 시스템 지연 시간을 줄이기 위해 딥 강화 학습을 활용하는 선형 매핑 강화 근사 정책 최적화(LME-PPO) 프레임워크를 제안한다.

원저자: Fenghui Zhang, Yuhang Jiang, Yuhao Xu, Huaqiang Xi, Qiu Xu, Shijian Zheng, Maosheng Fu

게시일 2026-07-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Fenghui Zhang, Yuhang Jiang, Yuhao Xu, Huaqiang Xi, Qiu Xu, Shijian Zheng, Maosheng Fu

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 요약: 스마트 시티의 교통 체증

스마트 시티를 거대하고 북적이는 대도시라고 상상해 보세요. 이 도시에서는 수천 개의 장치(교통 카메라, 스마트 미터기, 센서 등)가 끊임없이 데이터를 생성합니다. 이 데이터는 목적지로 가려는 자동차의 홍수와 같습니다.

과거에는 이 모든 "자동차(데이터)"가 처리를 위해 거대한 중앙 "클라우드 시티(메인 데이터 센터)"까지 멀리 돌아가야 했습니다. 이는 엄청난 교통 체증과 지연을 초чен했습니다.

이를 해결하기 위해 도시는 **에지 서버(Edge Servers)**를 구축했습니다. 이것은 도시 곳곳에 흩어져 있는 동네 서비스 스테이션이라고 생각하면 됩니다. 에지 서버는 장치들과 훨씬 가까이 있기 때문에 문제를 더 빠르게 해결할 수 있습니다.

문제점: 불균형한 작업량

문제는 "자동차(데이터 태스크)"가 일정하게 도착하지 않는다는 점입니다.

어떤 때는 갑작스러운 교통사고로 인해 에지 서버 A에 엄청난 양의 데이터 파도가 몰려듭니다.
동시에, 한적한 동네에 있는 에지 서버 B는 할 일이 거의 없습니다.

도시가 이를 제대로 관리하지 못하면, 서버 A는 과부하되어 속도가 느려지는 반면(지연 발생), 서버 B는 노는 상태로 방치되어 비용을 낭비하게 됩니다. 이를 **부하 불균형(Load Imbalance)**이라고 합니다.

도시는 모든 서버를 살펴보고 "서버 A가 너무 바쁘니, 저 자동차들을 서버 B로 보내자"라고 말할 수 있는 **중앙 디스패처(Central Dispatcher, 스마트 스케줄러)**가 필요합니다.

기존 방식 vs 새로운 방식

이 논문은 이 디스패처를 어떻게 구축할지에 대해 다룹니다:

정적 규칙 (기존 방식): 정해진 타이머에 따라 빨간불과 초록불이 바뀌는 신호등과 같습니다. 단순하지만, 갑작스러운 사고나 퍼레이드 상황에는 대처할 수 없습니다. 종종 일부 서버를 과부하 상태로 남겨둡니다.
최적화 알고리즘 (중간 단계): 매번 완벽한 경로를 계산하는 GPS와 같습니다. 똑똑하지만, 경로를 계산하는 데 시간이 오래 걸립니다. 계산이 끝날 때쯤이면 이미 교통 상황은 변해버린 상태입니다.
심층 강화 학습 (새로운 방식): 이것은 경험을 통해 배우는 초지능 교통 경찰을 훈련시키는 것과 같습니다. 규칙 책을 따르는 대신, 경찰은 교통 상황을 관찰하고, 다양한 전략을 시도하며, 시간이 흐름에 따라 어떤 움직임이 자동차를 가장 빠르게 움직이게 하는지 배웁니다.

논문의 솔루션: "LME-PPO" 프레임워크

저자들은 LME-PPO라고 불리는 특정 유형의 "초지능 교통 경찰"을 제안합니다. 작동 방식은 세 가지 간단한 부분으로 나뉩니다.

1. "선형 매핑(Linear Mapping)" (번역기)

이 업무를 위한 스마트 AI를 훈련시킬 때 가장 큰 문제는 자동차(태스크)의 수가 매초 변한다는 것입니다.

문제점: 로봇에게 쿠키를 나누어 주는 법을 가르친다고 상상해 보세요. 만약 당신이 로봇에게 "쿠키 5개를 나눠줘"라고 말했는데 갑자기 쿠키가 500개가 되면, 로봇은 혼란에 빠집니다. 반대로 "500개를 나눠줘"라고 했는데 실제로는 5개뿐이라면 로봇은 고장 납니다. 로봇의 두뇌(AI 모델)는 보통 고정된 숫자를 기대하지만, 현실 세계는 무질서하고 변화무쌍합니다.
해결책: 저자들은 **선형 매핑 레이어(Linear Mapping Layer)**를 추가했습니다. 이것은 번역기 또는 저울과 같습니다.
- AI 두뇌는 이렇게 말합니다: "내 생각에 서버 A는 작업의 30%를, 서버 B는 70%를 가져가야 해." (이것들은 그저 비율입니다.)
- 번역기는 지금 당장 실제로 도착한 태스크가 몇 개인지를 확인합니다. 만약 100개의 태스크가 도착했다면, 번역기는 "알았어, 100개의 30%는 서버 A를 위한 30개의 태스크야"라고 계산합니다.
- 이를 통해 AI는 *물량(전체 태스크 수)*에 혼란을 느끼지 않고 *전략(비율)*을 학습할 수 있습니다.

2. "PPO" (스마트 트레이너)

PPO(Proximal Policy Optimization)는 훈련 방법입니다.

강아지에게 물건을 가져오도록 훈련시킨다고 상상해 보세요. 실수를 했을 때 너무 크게 소리를 지르면 강아지는 겁을 먹고 학습을 멈춥니다. 반대로 너무 부드럽게만 하면 기술을 배우지 못합니다.
PPO는 '골디락스(적당한)' 트레이너입니다. AI가 진행 중인 성과를 망칠 만큼 크고 무서운 실수를 하지 않으면서, 단계별로 차근차근 배울 수 있도록 보장합니다. 이는 학습을 안정적이고 꾸준하게 유지해 줍니다.

3. "내부 밸런서(Internal Balancer)" (로컬 매니저)

중앙 디스패처가 특정 에지 서버로 태스크를 보낸 후에도, 해당 서버는 여전히 작업을 수행해야 합니다.

각 에지 서버 내부에는 **가상 머신(VM)**이라는 더 작은 일꾼들이 있습니다.
이 논문은 이러한 내부 일꾼들 사이에서 작업이 균등하게 분배되도록 하는 특별한 규칙을 포함합니다. 이는 마치 현장 소장이 작업자들의 능력을 고려하여, 속도가 빠른 작업자(높은 CPU 속도)에게는 무거운 일을 맡기고 느린 작업자에게는 가벼운 일을 맡겨 모두가 동시에 작업을 마칠 수 있도록 조절하는 것과 같습니다.

결과: 어떤 일이 일어났는가?

저자들은 자신들의 새로운 시스템을 기존 방식(사용 가능한 서버를 즉시 잡는 "Greedy" 알고리즘이나 최적화 기법인 "PSO")과 비교 테스트했습니다.

더 빠른 속도: 이 시스템은 태스크를 처리하는 데 걸리는 평균 시간을 단축했습니다.
더 나은 균형: 작업이 훨씬 더 균등하게 분산되었습니다. 단 하나의 서버도 다른 서버가 놀고 있는 동안 혼자서 과부하에 빠지지 않았습니다.
안정성: 도시가 혼란스러워질 때(높은 교통량, 갑작스러운 데이터 급증)에도, 이 시스템은 충돌하거나 혼란에 빠지지 않고 원활하게 작동을 유지했습니다.

요약

요약하자면, 이 논문은 스마트 시티에서 데이터를 관리하는 새로운 방법을 제시합니다. 이는 동적으로 작업 부하를 조절하는 법을 배우는 스마트 AI를 사용합니다. 핵심 비결은 AI가 변화하는 데이터 양을 다룰 수 있게 돕는 번역기 레이어와, AI가 미쳐버리지 않고 올바르게 학습하도록 보장하는 안정적인 훈련 방법입니다. 그 결과, 데이터가 더 빠르게 흐르고 교통 제어나 응급 대응 같은 서비스가 더 잘 작동하는 도시를 만들 수 있습니다.

기술 요약: 스마트 시티 엣지 시스템의 동적 부하 분산을 위한 선형 매핑 강화 PPO 프레임워크

문제 정의
모바일 엣지 컴퓨팅(MEC)을 스마트 시티 인프라에 통합하는 것은 데이터 처리를 IoT 소스에 더 가깝게 수행함으로써 지연 시간을 줄이고 대역폭 효율성을 개선하는 것을 목표로 합니다. 그러나 도시 IoT 장치(예: 교통 카메라, 스마트 그리드)로부터 발생하는 태스크 오프로딩의 확률적 및 이질적 특성은 엣지 서버(ES) 간의 심각한 부하 불균형을 초사합니다. 각 ES가 여러 개의 가상 머신(VM)을 호스팅하는 일반적인 배포 환경에서, 무작위적인 태스크 도착은 일부 서버를 과부하 상태로 만드는 반면 다른 서버는 저활용 상태로 남겨둘 수 있습니다. 이러한 불균형은 서비스 품질을 저하시키고 시스템 지연 시간을 증가시킵니다. 기존 솔루션들은 다음과 같은 한계에 직면해 있습니다: 정적 스케줄링 알고리즘은 동적 워크로드에 대한 적응성이 부족하며, 전통적인 최적화 방법(예: 입자 군집 최적화, PSO)은 실시간 제약 조건에 부적합한 반복적 지연 문제를 겪고, 표준 심층 강화 학습(DRL) 접근 방식은 연속적인 상태 변화와 고정된 행동 공간 사이의 불일치, 특히 태스크 수가 크게 변동할 때 발생하는 문제에 어려움을 겪습니다.

방법론
저자들은 이러한 과제를 해결하기 위해 선형 매핑 강화 근사 정책 최적화(LME-PPO) 프레임워크를 제안합니다. 이 접근 방식은 다음과 같이 구성됩니다:

시스템 모델링: 스마트 시티 자원 관리 시스템을 마르코프 결정 과정(MDP)으로 모델링합니다.
- 상태 공간 ( $S$ ): $M$ 개의 엣지 서버 큐에 대기 중인 태스크 수로 정의됩니다.
- 행동 공간 ( $A$ ): 모든 ES에 걸친 태스크 스케줄링 행렬을 나타냅니다.
- 보상 함수: 개별 ES 실행 시간과 시스템 전체 평균 실행 시간 사이의 분산을 최소화하도록 설계되어, 이를 통해 부하 분산을 촉진합니다.
- 제약 조건: 모델은 큐 용량 제한, VM 간의 CPU 주파수 변동, 최대 허용 실행 시간을 고려합니다.
LME-PPO 프레임워크:
- Actor-Critic 아키텍처: 시스템은 Actor 및 Critic 네트워크(2개 층의 완전 연결 네트워크)를 갖춘 표준 PPO 알고리즘을 활용합니다.
- 선형 매핑 레이어: 본 연구의 핵심 혁신입니다. PPO는 일반적으로 연속적인 값을 출력하지만, 태스크 할당에는 이산 정수가 필요합니다. 저자들은 Actor 네트워크가 상대적 할당 비율( $m_t$ )의 벡터를 출력하도록 하고, 이 벡터를 현재 타임 슬롯에 도착한 총 태스크 수( $n$ )를 기반으로 하는 공식 $N_i = n \times \frac{m_i}{\sum m_i}$ 를 사용하여 실제 정수 태스크 수( $N_t$ )로 매핑합니다. 이 메커니즘은 행동 공간이 현재 워크로드에 따라 동적으로 적응하도록 보장하여, 고정된 행동 공간으로 인한 학습 불안정성을 방지합니다.
- 내부 태스크 스케줄링: 각 ES 내부에서는 워크로드 균형 태스크 할당 알고리즘이 사용됩니다. 정리 1과 정리 2에 근거하여, 이 알고리즘은 실행 시간을 균등하게 맞추기 위해 CPU 주파수가 낮은 VM에 태스크를 우선적으로 할당함으로써 큐의 최소 완료 시간을 보장합니다.
장기적 효용: 프레-프레임워크는 단일 슬롯 성능보다는 장기적인 할인된 효용(discounted utility)을 최적화하며, 즉각적인 보상과 미래 시스템 상태 사이의 균형을 맞추기 위해 일반화된 어드밴티지 추정(GAE)을 활용합니다.

주요 기여

확률적 시스템 모델링: 본 논문은 태스크 할당 과정을 DRL 프레임워크를 갖춘 확률적 시스템으로 모델링하며, 정밀한 부하 분쟁을 위해 각 ES 내의 VM 레벨 스케줄링을 포함하여 주요 계산 특성을 포착합니다.
선형 매핑 강화: 저자들은 연속적인 정책 네트워크의 출력과 이산적이고 시변적인 태스크 도착 수 사이의 충돌을 해결하기 위해 PPO 프레임워크 내에 선형 매핑 레이어를 도입했습니다. 이는 안정적인 학습과 실행 가능한 정수 태스크 할당을 보장합니다.
워크로드 균형 할당 알고리즘: CPU 주파수와 현재 큐 상태를 기반으로 태스크를 지능적으로 할당하여 완료 시간을 최소화하는 특정 ES 내부 스케줄링 알고리즘을 고안했습니다.
포괄적 평가: 본 연구는 입자 군집 최적화(PSO) 및 그리디(Greedy) 베이스라인과 엄격한 비교를 수행하여 동적 환경에서 프레임워크의 효과를 입증했습니다.

실험 결과
제안된 LME-PPO 프레임워크는 20개의 엣지 서버를 사용하는 Python/PyTorch 시뮬레이터를 통해 평가되었습니다. 주요 결과는 다음과 같습니다:

수렴성: 알고리즘은 ES 수가 적을 때 더 빠르게 수렴하며(20개 ES에 대해 200 에피소드), SAC 및 TD3 알고리즘에 비해 우수한 안정성을 보여줍니다.
지연 시간 감소: LME-PPO 방식은 100 에피소드 동안 PSO(4.5 ms) 및 Greedy(5.7 ms) 알고리즘에 비해 현저히 낮은 평균 시스템 실행 시간(약 3.7 ms)을 달로했습니다.
부하 분산: 다양한 워크로드 조건(낮음, 보통, 높음) 하에서 LME-PPO는 일관되게 가장 낮은 평균 계산 시간과 가장 균형 잡힌 런타임 분포를 유지했습니다. 반면, Greedy 및 PSO 알고리즘은 태스크 축적으로 인해 더 높은 런타임과 더 큰 변동성을 보였습니다.
확장성: 프레임워크는 서로 다른 네트워크 구성(300, 400, 500 뉴런) 및 할인 계수(discount factor)에 대해 안정적인 성능을 유지했으며, 할인 계수가 0.99일 때 최적의 장기 성능을 제공했습니다.

의의 및 주장
본 논문은 LME-PPO 프레임워크가 차세대 스마트 시티 환경을 위한 견고하고 확장 가능한 솔루션을 제공한다고 주장합니다. 선형 매핑을 통해 연속 제어 정책과 이산 실행 요구 사항 사이의 간극을 메움으로써, 이 접근 방식은 IoT 태스크 오프로딩의 높은 변동성을 효과적으로 처리합니다. 저자들은 자신들의 방법이 우수한 부하 분산을 달 수 있을 뿐만 아니라 평균 시스템 지연 시간을 크게 줄여, 동적인 엣지 컴퓨팅 시나리오에서 휴리스틱 및 전통적인 최적화 방법의 실질적인 대안을 제공한다고 단언합니다. 본 연구는 자원 활용을 극대화하기 위해 ES 간 부하 분산과 ES 내부(VM 레벨) 태스크 스케줄링을 모두 다루는 것의 필요성을 강조합니다. 향후 연구로는 분산형 아키텍처 및 더 이질적인 워크로드 패턴에 대한 탐색이 제안되었습니다.