RL-Based Delay Minimization for Computation Offloading in IRS- and RHS-Enhanced MEC Systems

당신이 아주 바쁜 주방(Mobile Edge Computing 시스템)을 운영하고 있다고 상상해 보세요. 고객(사용자)들은 자신들의 음식이 최대한 빨리 준비되기를 원합니다. 어떤 고객들은 테이블에 자신만의 작은 믹서기(로컬 컴퓨팅)를 가지고 있고, 어떤 고객들은 주문을 메인 주방의 요리사(MEC 서버)에게 보냅니다.

이 논문의 목표는 모든 주문을 완료하는 데 걸리는 총 시간, 즉 "주문이 들어간 시점"부터 "음식이 서빙되는 시점"까지의 시간을 최소화하여 가장 빠르게 음식을 만드는 방법을 찾아내는 것입니다.

저자들이 문제를 해결하는 방식은 다음과 같으며, 이를 쉬운 개념들로 나누어 설명합니다.

1. 두 가지 "마법 도구"

주방은 소음이 심하고 벽 모양이 특이한 건물 안에 있어서, 요리사가 고객의 목소리를 명확하게 듣기가 어렵습니다. 이를 해결하기 위해 저자들은 두 가지 첨단 도구를 도입했습니다.

• "스마트 거울" (IRS - 지능형 반사 표면): 수천 개의 조절 가능한 작은 거울로 덮인 벽을 상상해 보세요. 만약 기둥 때문에 고객의 목소리가 가로막힌다면, 이 거울들이 소리를 잡아내어 요리사 쪽으로 완벽하게 튕겨 보낼 수 있습니다. 논문에서 이것은 무선 신호가 튕겨 나가는 방식을 조절하여 연결을 더 강력하게 만드는 **지능형 반사 표면(IRS)**입니다.
• "모양 변형 스피커" (RHS - 재구성 가능한 홀로그래픽 표면): 이것은 요리사 스테이션에 있는 특별한 스피커 시스템입니다. 단순히 한 방향으로 소리를 내뿜는 대신, 고객이 서 있는 위치에 정확히 소리를 집중시키기 위해 즉각적으로 자신의 모양을 바꿀 수 있습니다. 이것이 **재구성 가능한 홀로그래픽 표면(RHS)**이며, 초정밀 안테나 역할을 합니다.

2. 큰 결정: 여기서 만들 것인가, 저기로 보낼 것인가?

모든 고객은 선택권이 있습니다.

• 로컬에서 요리하기: 자신만의 작은 믹서기를 사용합니다. 작업량이 적을 때는 빠르지만, 작업량이 엄청나게 크다면 믹서기의 성능이 약하기 때문에 느려집니다.
• 요리사에게 보내기: 주문을 메인 주방으로 보냅니다. 이는 큰 작업을 처리하기에 좋지만, 방 건너편으로 주문을 외쳐 전달하는 데 시간이 걸립니다(전송 지연).

까다로운 점은 "방(무선 신호)"이 끊임없이 변한다는 것입니다. 때로는 거울들이 완벽하게 정렬되어 있고, 때로는 그렇지 않습니다. 요리사가 들을 수 있는 능력 또한 계속 변합니다.

3. 문제점: 너무 많은 선택지

저자들은 주문을 보낼 완벽한 타이밍과 모든 거울의 완벽한 각도를 찾기 위해 수학 방정식을 쓰려고 노력했습니다. 하지만 수학이 너무 복잡하고 난해했습니다(비볼록성 및 고차원 문제). 그것은 마치 백만 개의 움직이는 조각들이 있는 퍼즐을 한꺼번에 풀려는 것과 같았습니다. 전통적인 수학적 방법들은 길을 잃고 멈춰버렸습니다.

4. 해결책: "스마트 수습생" (DDPG)

수학 방정식을 직접 푸는 대신, 저자들은 컴퓨터 프로그램이 시행착오를 통해 학습하도록 가르쳤습니다. 그들은 **심층 결정론적 정책 경사(DDPG)**라고 불리는 방법을 사용했습니다.

이 프로그램을 스마트한 수습 요리사라고 생각해 보세요.

• 상태 (보는 것): 수습생은 방을 관찰합니다. 고객이 어디에 있는지, 소음이 얼마나 큰지, 그리고 메인 요리사가 남은 작업량이 얼마인지를 봅니다.
• 행동 (하는 것): 수습생은 세 가지 결정을 동시에 내립니다.
  1. 작은 거울의 각도를 조절합니다 (IRS 위상 변화 조절).
  2. 스피커의 초점을 맞춥니다 (RHS 진폭 조절).
  3. 주문의 얼마만큼을 로컬에서 요리할지, 아니면 요리사에게 보낼지 결정합니다 (작업 오프로딩 비율).
• 보상 (점수): 음식이 빠르게 서빙되면 수습생은 높은 점수를 받습니다. 음식이 늦게 나오면 점수가 깎입니다. 만약 수습생이 너무 많은 주문을 보내서 메인 요리사가 과부하에 걸리면, 큰 벌점을 받습니다.

시간이 흐르면서 수습생은 좋은 습관을 배우게 됩니다. 수습생은 "아, 고객이 멀리 있을 때는 거울을 이렇게 기울이고, 주문의 80%를 요리사에게 보내야겠구나"라는 것을 깨닫게 됩니다.

5. 발견한 점

저자들은 자신들의 "스마트 수습생"이 효과가 있는지 확인하기 위해 시뮬레이션(컴퓨터 테스트)을 실행했습니다.

• 수습생의 승리: 오프로딩을 사용하지 않거나 스마트 거울을 사용하지 않은 시스템보다 이 학습 방법을 사용한 시스템이 훨씬 더 빨랐습니다.
• 거울이 많을수록 더 빠름: 거울(IRS 요소)을 더 많이 추가할수록 시스템이 더 빨라진다는 것을 발견했습니다. 거울 개수를 8개에서 80개로 늘렸을 때 지연 시간이 약 10% 단축되었습니다.
• 수렴: 수습생은 처음에는 느렸지만, 빠르게 최적의 전략을 학습했고 실수를 멈추며 매우 낮은 지연 시간에서 안정화되었습니다.

요약

이 논문은 **스마트 거울(IRS)**과 **모양 변형 스피커(RHS)**를 **학습형 AI(DDPG)**와 결려함으로써, 무선 네트워크에서 데이터를 처리하는 데 걸리는 시간을 크게 줄일 수 있다고 주장합니다. AI는 거울, 스피커, 그리고 작업 분배를 조절하는 법을 배워서 모든 것이 최대한 빠르게 돌아가도록 만듭니다. 이는 기존의 정적인 방식들보다 뛰어난 성능을 보여줍니다.