Multi-Agent Deep Reinforcement Learning-Based Fairness-Aware Power Allocation in NOMA Systems under Imperfect SIC for 5G Communication Networks

현대 세계를 통해 흐르는 보이지 않는 데이터의 강물 속에서, 무선 네트워크는 끊임없는 투쟁에 직면해 있습니다. 바로 어떻게 하면 동일한 제한된 주파수 대역으로 더 많은 사람에게 서비스를 제공할 것인가 하는 문제입니다. 수십 년 동안 표준적인 해결책은 사용 가능한 무선 주파수를 별도의 차선으로 나누어 각 사용자에게 고유한 경로를 할당하는 것이었습니다. 직교 다중 접속(Orthogonal Multiple Access)이라고 알려진 이 방식은 신뢰성은 높지만, 다른 차선이 비어 있음에도 불구하고 자동차들이 단일 차선 도로에서 차례를 기다려야 하는 고속도로처럼 비효율적입니다. NOMA(Non-Orthogonal Multiple Access)라고 불리는 더 새로운 접근 방식은 규칙을 완전히 바꿉니다. 사용자를 시간이나 주파수로 분리하는 대신, 여러 사용자가 동일한 주파수를 동시에 공유할 수 있도록 허용합니다. 이를 위해 송신기는 서로 다른 전력 수준이 할당된 하나의 결합된 신호를 보냅니다. 연결 상태가 가장 강한 사용자는 더 약한 신호를 받고, 연결 상태가 가장 약한 사용자는 더 강한 신호를 받게 됩니다. 수신 측에서는 순차적 간섭 제거(Successive Interference Cancellation)라고 불리는 과정이 필터처럼 작동하여, 강한 신호들을 걷어내고 그 아래에 있는 약한 신호들을 드러냅니다. 이 기술은 동일한 공간에 훨씬 더 많은 데이터를 채워 넣을 것을 약속하며, 이는 현재 수십억 개의 기기를 연결하고 있는 5세대(5G) 네트워크에 필수적인 요소입니다.

하지만 NOMA의 약속은 각 사용자에게 정확히 얼마만큼의 전력을 줄 것인지 결정하는 섬세한 균형 잡기에 달려 있습니다. 만약 전력이 제대로 분배되지 않으면, 연결이 약한 사용자는 데이터를 받지 못할 수도 있고, 네트워크 전체적으로는 용량을 낭비하게 됩니다. 이 문제는 장비가 완벽하지 않은 실제 환경에서 더욱 어려워집니다. 신호를 걷어내는 과정은 작은 오류가 발생하기 쉬우며, 이로 인해 연결을 저하시키는 희미한 간섭의 잔여물이 남게 됩니다. 게다가 무선 환경은 매우 혼란스럽습니다. 신호는 건물에 부딪혀 튕겨 나가고 예측 불가능하게 감쇠됩니다. 이러한 전력 관리를 위한 전통적인 방법들은 종종 고정된 규칙이나 복잡한 중앙 집중식 계산에 의존하는데, 이는 이러한 급격한 변화를 따라가는 데 어려움을 겪습니다. 이들은 연결 상태가 좋은 사용자들을 우대하여 연결이 좋지 않은 사용자들을 뒤처지게 만들거나, 상황이 변할 때 적응하는 속도가 너무 느려지는 경향이 있습니다.

이러한 과제를 해결하기 위해, 캄팔라 국제 대학교와 나이지리아의 다른 기관 소속 연구진은 인공지능의 한 형태를 사용하여 이 전력 분배를 관리하는 새로운 방법을 제안했습니다. 네트워크 전체의 결정을 내리는 단일 중앙 뇌에 의존하는 대신, 그들은 모든 사용자가 독립적이고 지능적인 에이전트로서 행동하는 시스템을 설계했습니다. 다중 에이전트 심층 강화 학습(Multi-Agent Deep Reinforcement Learning)이라고 알려진 이 접근 방식은 각 사용자가 자신의 국소적인 경험으로부터 학습할 수 있게 해줍니다. 이는 마치 운전자들이 교통 통제탑이 움직이라고 지시하기를 기다리는 대신, 주변 차량을 관찰하고 그룹에 가장 잘 맞는 방식을 바탕으로 속도를 조절하며 번잡한 교차로를 통과하는 법을 배우는 것과 같습니다. 이 시스템에서 각 에이전트는 자신의 신호 품질과 직면한 간섭을 관찰한 다음, 얼마만큼의 전력을 요청할지에 대한 자체적인 결정을 내립니다. 이 에이전트들은 이기적으로 행동하는 것이 아닙니다. 이들은 그룹 전체가 공정하고 효율적으로 운영되도록 보상하는 공유된 목표를 가지고 훈련됩니다.

연구진은 실제 5G 네트워크의 예측 불가능한 조건을 모사한 시뮬레이션 환경에서 이 분산형 시스템을 테스트했습니다. 그들은 단순한 고정 규칙, 균등 전력 분배, 그리고 유전 알고리즘이나 중앙 집중식 학습 시스템과 같은 더 발전된 알고리즘을 포함한 여러 기존 기술들과 이 새로운 방식을 비교했습니다. 결과의 신뢰성을 확보하기 위해 시뮬레이션은 수천 번 실행되었습니다. 연구 결과, 중앙 집중식 시스템은 완벽한 조건 하에서 가장 높은 총 데이터 속도를 달알 수 있었지만, 새로운 다중 에이전트 방식은 성능과 신뢰성 사이에서 더 우수한 균형을 제공했습니다. 구체적으로, 새로운 방식은 연결 실패 횟수인 '아웃티지 확률(outage probability)'을 신호 강도가 상대적으로 낮을 때도 10% 미만으로 유지함으로써 유의미하게 감소시켰습니다. 또한, 신호 강도가 높을 때 0.96의 공정성 점수를 달성하며 연결이 좋지 않은 사용자들도 뒤처지지 않도록 높은 수준의 공정성을 유지했습니다.

아마도 가장 중요한 점은, 이 새로운 접근 방식이 실제 하드웨어에서 발견되는 불완전함에 대해 견고하다는 것을 보여주었다는 것입니다. 연구진이 신호 제거 과정과 채널 조건 측정에 오류를 도입했을 때, 중앙 집중식 시스템의 성능은 분산형 시스템보다 더 급격히 떨어졌습니다. 다중 에이전트 시스템은 완벽한 전역적 관점보다는 국소적인 관찰에 의존하기 때문에 이러한 부정확함에 덜 흔들렸습니다. 데이터 정확도 측면에서, 이 새로운 방식은 신호 강도가 높을 때 오류율을 1,000분의 1 미만으로 줄여 테스트된 다른 방법들보다 뛰어난 성능을 보였습니다. 연구진은 중앙 집중식 지능도 나름의 역할이 있지만, 사용자들이 국소적으로 협력하고 적응하는 네트워크가 무선 통신의 미래를 위한 더 확장 가능하고 탄력적인 솔루션을 제공한다고 결론지었습니다. 이 연구는 차세대 네트워크가 단 하나의 모든 것을 아는 제어자를 필요로 하는 것이 아니라, 무선 세계의 혼돈을 함께 헤쳐 나갈 수 있는 똑똑하고 협력적인 에이전트들의 집합체를 필요로 할 수 있음을 시사합니다.