⚡ electrical engineering

Distributed Precoding for Cell-free Massive MIMO in O-RAN: A Multi-agent Deep Reinforcement Learning Framework

본 논문은 중앙 집중식 방식에 비해 신호 오버헤드를 크게 줄이고 기존 분산 방식보다 우수한 성능을 발휘하면서 사용자 요구 속도를 충족하고 총합 처리량을 극대화하기 위한 프리코딩 행렬을 효율적으로 결정하는 O-RAN 기반 셀-프리 대규모 MIMO 를 위한 분산형 다중 에이전트 심층 강화 학습 프레임워크를 제안한다.

원저자: Mohammad Hossein Shokouhi, Vincent W. S. Wong

게시일 2026-05-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohammad Hossein Shokouhi, Vincent W. S. Wong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 무선 네트워크를 거대하고 붐비는 콘서트 홀로 상상해 보세요. 이 홀에는 O-RU(Open Radio Unit)라고 불리는 수백 개의 작은 스피커가 여기저기 흩어져 있고, 사용자라고 불리는 수천 명의 관객들이 좋아하는 노래를 또렷이 듣기 위해 노력하고 있습니다.

과거에는 이 콘서트 홀 중앙에 하나의 거대한 음향 시스템이 있었습니다. 하지만 홀이 너무 커지거나 너무 붐비면 그 시스템은 어려움을 겪었습니다. 어떤 사람들은 음악을 완벽하게 들었지만, 뒤쪽이나 구석에 있는 사람들은 잡음만 들었을 뿐입니다.

이 논문은 콘서트를 운영하는 새로운 방식을 제안합니다: 셀 프리 매시브 MIMO. 하나의 거대한 스피커 대신, 모든 작은 스피커가 협력하여 특정 관객에게 소리를 직접 비추는 방식입니다. 목표는 한 사람의 노래 소리가 이웃의 소리를 압도하지 않도록 하여 모든 사람이 자신의 노래를 크고 또렷하게 듣도록 보장하는 것입니다 (이를 간섭이라고 합니다).

그러나 수백 개의 스피커가 완벽하게 조율되도록 하는 것은 매우 어렵습니다. 지휘자가 한 번에 모두에게 지시를 외치지 않고 1,000 명의 합창단원들이 완벽한 화음을 내도록 하는 것과 같습니다. 그들이 서로 조율하기 위해 모두 이야기하려 하면 통신 회선이 막힙니다 (과도한 신호 오버헤드). 그냥 추측하면 음악은 엉망이 됩니다.

문제: "지휘자" 대 "혼란"

연구자들은 이 문제를 해결하기 위한 기존 두 가지 방식을 살펴보았습니다:

중앙 집중식 지휘자: 하나의 초지능 (중앙 컴퓨터) 이 모든 스피커가 무엇을 해야 하는지 정확히 계산합니다. 이는 작은 그룹에는 잘 작동하지만, 그룹이 너무 커지면 지휘자가 압도되어 지시가 도착하는 데 너무 오래 걸립니다.
독립적인 가수: 각 스피커가 스스로 무엇을 할지 결정합니다. 이는 빠르지만, 조율이 없기 때문에 서로 발을 밟아 소음의 혼란을 초래합니다.

해결책: 스마트한 다단계 팀

저자들은 O-RAN(Open Radio Access Network)이라고 불리는 현대 네트워크 아키텍처에 부합하는 새로운 프레임워크를 제안합니다. O-RAN 은 네트워크의 서로 다른 부분이 효율적으로 서로 대화할 수 있도록 하는 스마트 관리 시스템으로 생각할 수 있습니다.

그들의 해결책은 **다중 에이전트 심층 강화 학습 **(DRL) 프레임워크입니다. 창의적인 비유를 사용하여 작동 방식을 설명하면 다음과 같습니다:

1. "전문가"와 "학생"

완벽한 음악 배치를 알고 있지만 매우 느리고 피곤한 마스터 지휘자 (반복 알고리즘) 를 상상해 보세요. 그는 모든 음표에 대해 복잡한 계산을 해야 합니다.

혁신: 매초마다 마스터에게 계산을 요청하는 대신, 연구자들은 **AI 학생들 **(DRL 에이전트) 팀을 훈련시켜 마스터를 관찰하고 그의 "직관"을 배우게 했습니다.
AI 는 처음부터 노래 전체를 계산하려 하지 않습니다. 대신, 마스터가 했을 법한 몇 가지 똑똑하고 빠른 결정 (볼륨이나 타이밍 조정 등) 을 내리는 법을 배웁니다. 이를 전문가 지식을 활용한다고 합니다.

2. 세 가지 속도의 시계 (다중 시간 척도)

이 논문은 시계가 세 가지 다른 속도를 가진 것처럼 시간을 처리하는 교묘한 방식을 도입했습니다:

**느린 시계 **(비 실시간 루프): 가끔 (몇 초마다) "마스터"(중앙 AI 트레이너) 가 학생들의 전반적인 전략을 업데이트합니다. 이는 관객의 큰 변화를 처리하는 방법을 가르쳐 줍니다.
**중간 시계 **(근접 실시간 루프): 몇 밀리초마다 학생들 (중앙 컨트롤러에서 실행) 이 현재 관객 밀도에 따라 전체 그룹의 "볼륨 노브"와 "타이밍"을 빠르게 조정합니다.
**빠른 시계 **(실시간 루프): 매 밀리초마다 로컬 스피커 (O-RU) 가 움직이는 관객을 정확히 맞추기 위해 빔에 미세하고 즉각적인 조정을 가합니다. 그들은 학생들이 설정한 "볼륨 노브"를 사용하여 이를 즉시 수행합니다.

3. "비밀 악수" (분산 조율)

모든 스피커가 다른 모든 스피커에게 외치는 것 (네트워크를 막히게 함) 대신, 스피커들은 즉각적인 이웃과 로컬 관리자만에게 이야기합니다.

그들은 서로의 발을 밟지 않도록 피하기 위해 필요한 최소한의 정보만 공유합니다.
이는 안무를 아는 무용수 그룹과 같습니다. 그들은 전체 방에 무엇을 해야 할지 물어볼 필요가 없습니다. 옆 사람과 음악을 보고 정확히 어디로 움직여야 할지 알기만 하면 됩니다.

결과: 무엇을 발견했는가?

연구자들은 이 새로운 "AI 지휘 합창단"이 기존 방식과 비교하여 얼마나 잘 수행되는지 시뮬레이션을 실행했습니다:

더 나은 음질: 새로운 시스템은 스피커들이 혼자 행동했던 기존 분산 방식보다 **최대 50% 더 많은 총 데이터 **(처리량)를 제공했습니다.
마스터와同等한 성능: 완벽하지만 느린 방식인 "중앙 집중식 지휘자"와 거의同等한 성능을 내면서도 훨씬 빨랐습니다.
덜 많은 트래픽: 스피커들이 중앙 두뇌에 지속적으로 지시를 외울 필요가 없기 때문에 네트워크 트래픽 (신호 오버헤드) 이 최대 99.8% 감소했습니다. 천 개의 전화 통화를 하나의 문자 메시지로 대체한 것과 같습니다.
적응성: 사용자가 갑자기 더 빠른 연결이 필요할 때 (팟캐스트 청취에서 4K 영화 시청으로 전환하는 경우 등), 시스템이 붕괴되지 않고 그 요구를 충족하도록 자동으로 조정됩니다.
견고성: 스피커가 잡음이나 "불완전한 채널 추정"으로 인해 관객을 완벽하게 듣지 못하더라도, AI 시스템은 올바른 움직임을 추측하는 데 놀라울 정도로 능숙하여 종종 잡음이 많은 환경에서 전통적인 수학적 방법보다 더 좋은 성과를 냅니다.

요약

이 논문은 거대한 무선 네트워크를 관리하는 스마트하고 확장 가능한 방식을 제시합니다. 느리고 과부하된 중앙 두뇌나 혼란스러운 독립적인 스피커 그룹에 의존하는 대신, 그들은 전문가 수학에서 배우지만 빠르고 로컬하게 행동하는 AI 에이전트 팀을 만들었습니다. 그들은 잡음을 피하기 위해 필요한 만큼만 조율하여, 관객이 거대하고 빠르게 움직일 때도 콘서트 홀의 모든 사람이 선명하고 고품질의 신호를 받도록 보장합니다.

"O-RAN 의 셀프리 대규모 MIMO 를 위한 분산 프리코딩: 다중 에이전트 심층 강화 학습 프레임워크"에 대한 상세 기술 요약입니다.

1. 문제 정의

이 논문은 Open Radio Access Network (O-RAN) 아키텍처에 통합된 셀프리 대규모 MIMO 시스템에서의 프리코딩 과제를 다룹니다.

배경: 셀프리 대규모 MIMO 에서 여러 Open Radio Units(O-RU) 가 협력하여 사용자를 서비스함으로써 균일한 커버리지와 높은 용량을 보장합니다. 프리코딩은 빔을 조향하고 사용자 간 간섭을 완화하는 데 필수적입니다.
과제:
- 중앙집중식 방식(예: Centralized Regularized Zero-Forcing, C-RZF) 은 높은 성능을 제공하지만 확장성 문제, 높은 계산 복잡도, 그리고 E2 인터페이스 (O-DU 와 RIC 간) 에서의 과도한 신호 오버헤드로 고통받습니다.
- 완전 분산 방식(예: Distributed RZF) 은 오버헤드를 줄이지만 높은 O-RU 간 간섭과 글로벌 조정의 부재로 인해 종종 최적하지 않은 성능을 초래합니다.
- 기존 ML 접근법: 프리코딩 행렬을 결정하기 위한 직접적인 심층 강화 학습 (DRL) 은 고차원의 상태/행동 공간으로 인해 밀집 배치 환경에서 수렴 문제를 일으키며 종종 실패합니다. 또한, 많은 기존 방법들은 개별 사용자의 최소 데이터 속도 요구사항을 보장하지 않고 집계 처리량 극대화에만 초점을 맞춥니다.
목표: O-RAN 계층 구조 내에서 사용자 최소 속도 요구사항을 보장하고, 집계 처리량을 극대화하며, 신호 오버헤드를 최소화하는 분산형, 확장 가능하며 저지연 프리코딩 프레임워크를 개발하는 것입니다.

2. 방법론

저자들은 반복적 최적화 알고리즘의 전문가 지식과 다중 에이전트 심층 강화 학습 (DRL) 을 결합한 하이브리드 멀티 타임스케일 프레임워크를 제안합니다. 이 솔루션은 Non-RT RIC, Near-RT RIC, O-DU 로 구성된 계층적 O-RAN 아키텍처를 활용합니다.

A. 수학적 공식화

최적화 문제: 저자들은 최소 속도 제약 ( $R_{min}$ ) 과 전송 전력 제약을 조건으로 집계 처리량을 극대화하는 비볼록 최적화 문제를 공식화합니다.
변환: 이 문제는 동등한 가중 최소 평균 제곱 오차 (WMMSE) 문제로 재구성됩니다.
반복적 해결: Block Coordinate Descent (BCD) 접근법을 사용하여 다음을 반복적으로 업데이트합니다:
1. 수신 필터 ( $U$ )
2. 가중치 행렬 ( $W$ )
3. 프리코딩 행렬 ( $V$ )
핵심 통찰: 셀프리 시스템에서 프리코딩 행렬은 O-RU 간에 결합되어 있습니다. 그러나 수신 필터 ( $U$ ) 와 가중치 ( $W$ ) 는 "채널 경화"를 나타내는 유효 채널 합에 의존하므로, 순간 프리코딩 행렬보다 급격한 변동에 덜 민감합니다.

B. 제안된 다중 에이전트 DRL 프레임워크

고차원 프리코딩 행렬을 직접 예측하는 것 (계산 비용이 많이 들고 훈련이 어려움) 대신, 이 프레임워크는 반복적 알고리즘에서 유도된 저차원 중간 변수( $U$ 및 $W$ ) 를 학습하기 위해 DRL 을 사용합니다.

다중 에이전트 아키텍처:
- 에이전트: 각 사용자에 하나의 DRL 에이전트가 할당됩니다.
- 관측: 각 에이전트는 유사한 대규모 페이딩 프로파일을 공유하는 간섭 사용자 집합 ( $I_k$ ) 으로부터 유효 간섭 채널 ( $\Xi_{k,i}$ ) 을 관측합니다.
- 행동: 에이전트는 수신 필터 ( $U_k$ ) 와 가중치 행렬의 Cholesky 인자 ( $L_k$ , 여기서 $W_k = L_k L_k^H$ ) 를 출력합니다. 이는 행동 공간의 차원을 크게 줄입니다.
- 알고리즘: 보상 (처리량) 과 정책 엔트로피의 조합을 극대화하기 위해 Soft Actor-Critic (SAC) 알고리즘의 다중 에이전트 확장 버전이 사용됩니다.

C. 멀티 타임스케일 O-RAN 배포

이 프레임워크는 운영 타임스케일에 따라 다른 O-RAN 구성 요소에 분산되어 배포됩니다:

Non-RT 루프 (>1 초):
- 구성 요소: Non-RT RIC (rApps).
- 작업: DRL 모델 (Actor 및 Critic 네트워크) 훈련 및 매개변수 업데이트.
Near-RT 루프 (10 ms – 1 초):
- 구성 요소: Near-RT RIC (xApps).
- 작업: 에이전트가 현재 채널 통계에 기반하여 각 사용자에 대한 $U_k$ 및 $W_k$ 를 결정합니다. 이러한 값은 O-DU 로 전송됩니다.
실시간 (RT) 루프 (<1 ms):
- 구성 요소: O-DU (dApps).
- 작업: 수신된 $U_k$ 및 $W_k$ 와 순간 채널 상태 정보 (CSI) 및 전력 제약을 위한 학습된 라그랑주 승수 ( $\xi_l$ ) 를 사용하여 O-DU 는 폐형 업데이트 방정식을 통해 최종 프리코딩 행렬 ( $V_{k,l}$ ) 을 계산합니다.
- O-DU 간 통신: 결합된 O-RU 를 위한 필요한 채널/프리코딩 정보를 교환하여 E2 인터페이스의 부하를 최소화하는 새로운 D2 인터페이스가 제안됩니다.

3. 주요 기여

새로운 최적화 공식화: 일관된 결합 전송을 가진 셀프리 대규모 MIMO 를 위한 비볼록 프리코딩 문제를 공식화하고, 이를 WMMSE 문제로 재구성하여 BCD 를 통해 해결했습니다.
전문가 유도 DRL: DRL 이 고차원 프리코딩 행렬 대신 저차원 중간 변수 ( $U, W$ ) 를 학습하는 하이브리드 프레임워크를 제안했습니다. 이는 최적화 이론을 학습 과정을 안내하는 데 활용하여 수렴성과 안정성을 향상시킵니다.
계층적 O-RAN 구현: 실시간 프리코딩을 위해 dApps 를, 최적화 및 훈련을 위해 xApps/rApps 를 활용하여 Non-RT, Near-RT, RT 루프 전반에 걸친 실용적인 배포를 설계했습니다.
동적 적응성: 이 프레임워크는 재훈련 없이 실시간으로 라그랑주 승수를 업데이트하여 사용자 최소 데이터 속도 요구사항 ( $R_{min}$ ) 의 변화에 동적으로 적응합니다.
신호 감소: 중앙집중식 방식에 비해 E2 인터페이스의 신호 오버헤드를 획기적으로 줄이는 분산 메커니즘을 도입했습니다.

4. 성능 결과

제안된 프레임워크를 C-RZF, D-RZF, WMMSE 및 다양한 DRL 베이스라인 (E2E-DRL, DRL-WMMSE) 과 비교한 광범위한 시뮬레이션이 수행되었습니다.

집계 처리량:
- D-RZF보다 최대 24.4% 더 우수합니다.
- WMMSE보다 최대 35.8% 더 우수합니다.
- End-to-End DRL보다 최대 50.2% 더 우수합니다.
- **Centralized RZF (C-RZF)**와 비교 가능한 성능을 달성하지만 복잡도는 훨씬 낮습니다.
신호 오버헤드:
- 전체 채널 행렬이 아닌 저차원 중간 변수만 교환되므로 C-RZF 대비 E2 인터페이스 신호 오버헤드를 최대 99.81% 줄입니다.
확장성:
- 계산 복잡도는 사용자 및 O-RU 수에 따라 효율적으로 확장되며, 입방적으로 확장되는 중앙집중식 방식과 다릅니다.
- Near-RT 루프당 추론 지연은 6.38 ms로 10 ms 목표치 내에 있습니다.
강건성:
- 이동성: 프레임워크는 높은 사용자 속도 (최대 45 km/h) 에서도 성능을 유지하며, 최소한의 저하 (<4%) 만 발생합니다.
- 불완전한 CSI: 심각한 채널 추정 오류 하에서도 제안된 학습 기반 방법은 중앙집중식 분석 방법 (C-RZF) 보다 우수합니다.
- 공정성: $R_{min}$ 을 조정함으로써 집계 처리량 극대화와 셀 에지 사용자의 공정성 보장 사이의 균형을 맞출 수 있습니다.

5. 의의

이 논문은 차세대 무선 네트워크에서 이론적 최적화와 실제 배포 사이의 간극을 메웁니다.

실용성: O-RAN 의 유연한 아키텍처가 엄격한 실시간 제약을 준수하면서 복잡한 AI/ML 솔루션 (DRL) 을 호스팅할 수 있음을 보여줍니다.
효율성: 학습 공간을 줄이기 위해 도메인 지식 (반복적 알고리즘) 을 사용하여 무선 시스템의 DRL 에서 발생하는 "차원의 저주"를 해결합니다.
미래 대비: 이 프레임워크는 동적 네트워크 조건 (사용자 이동성, 변화하는 QoS 요구사항) 과 불완전한 채널 정보를 처리하도록 설계되어 6G 셀프리 네트워크의 실현 가능한 후보가 됩니다.

요약하자면, 이 논문은 O-RAN 생태계 내에서 최적화 이론과 다중 에이전트 강화 학습 간의 시너지를 활용하여 셀프리 대규모 MIMO 프리코딩을 위한 견고하고 확장 가능하며 효율적인 솔루션을 제시합니다.