Multi-Agent Deep Reinforcement Learning-Based Fairness-Aware Power Allocation in NOMA Systems under Imperfect SIC for 5G Communication Networks

現代の世界を流れる目に見えないデータの川の中で、無線ネットワークは絶え間ない闘いに直面しています。それは、限られたスペクトラムをいかにしてより多くの人々へ提供するかという問題です。数十年にわたり、標準的な解決策は、利用可能な無線周波数を別々のレーンに分割し、各ユーザーに独自の経路を割り当てることでした。直交多重アクセスとして知られるこの手法は、信頼性は高いものの、他のレーンが空いているときでも車が一本道の道路で順番待ちを強いられる高速道路のように、非効率的です。NOMA（非直交多重アクセス）と呼ばれる新しいアプローチは、そのルールを根本から変えます。ユーザーを時間や周波数で分離する代わりに、複数のユーザーが全く同じ周波数を同時に共有することを可能にします。これを実現するために、送信機は、異なるユーザーに異なる電力レベルが割り当てられた単一の合成信号を送信します。接続状態が強いユーザーには弱い信号が送られ、接続状態が弱いユーザーには強い信号が送られます。受信側では、逐次干渉除去と呼ばれるプロセスがフィルターのように機能し、強い信号を取り除くことで、その下に隠れた弱い信号を明らかにします。この技術は、現在数十億のデバイスを接続している第5世代（5G）ネットワークにおいて不可欠な、より多くのデータを同じスペースに詰め込むことを約束するものです。

しかし、NOMAの約束は、各ユーザーに正確にどれだけの電力を与えるかという、繊細なバランス調整にかかっています。もし電力の分配が不適切であれば、接続の弱いユーザーはデータを受信できず、ネットワーク全体としても容量を無駄にしてしまいます。この問題は、機器が完璧ではない現実世界ではさらに困難になります。信号を取り除くプロセスはエラーを起こしやすく、微かな干渉の残骸を残して接続を劣化させることがあります。さらに、無線環境は混沌としています。信号は建物に跳ね返り、予測不能に減衰します。この電力を管理する従来の手法は、固定されたルールや複雑な中央集権的計算に依存することが多く、こうした急速な変化に追いつくことができません。それらは接続状態の良いユーザーを優先する傾向があり、信号の弱いユーザーを置き去りにしたり、状況の変化に対して適応するのが遅すぎたりします。

これらの課題に対処するため、カンパラ国際大学およびナイジェリアのその他の機関の研究チームは、人工知能の一種を用いてこの電力分配を管理する新しい方法を提案しました。ネットワーク全体の意思決定を行う単一の中央集権的な「脳」に頼るのではなく、すべてのユーザーが独立したインテリジェントなエージェントとして機能するシステムを設計したのです。マルチエージェント深層強化学習として知られるこのアプローチにより、各ユーザーは自身のローカルな経験から学ぶことができます。これは、交通管制塔からの指示を待つ代わりに、周囲の車を見ながら、グループにとって最適となる方法に基づいて速度を調整することで、混雑した交差点をナビゲートすることを学ぶドライバーのグループのようなものです。このシステムでは、各ユーザーは自身の信号品質と直面している干渉を観察し、どの程度の電力を要求するかについて自ら決定を下します。これらのエージェントは利己的に行動しているわけではありません。彼らは、グループ全体が公平かつ効率的であることを報酬として得る共通の目標に基づいて訓練されています。

研究者たちは、実際の5Gネットワークの予測不可能な状況を模したシミュレーション環境で、この分散型システムをテストしました。彼らは、単純な固定ルール、等電力分配、および遺伝的アルゴリズムや中央集権型学習システムのような高度なアルゴリズムを含む、いくつかの確立された手法と比較を行いました。シミュレーションは結果の信頼性を確保するために数千回実行されました。その結果、中央集権的なシステムは完璧な条件下では最高の総データ速度を達成できる一方で、この新しいマルチエージェント・アプローチは、パフォーマンスと信頼性の優れたバランスを提供することが明らかになりました。具体的には、新手法はユーザーの接続失敗（アウトレージ確率として知られる指標）を大幅に減少させ、信号強度が比較的低い場合でもこれを10パーセント未満に抑えました。また、高い公平性を維持し、信号の弱いユーザーが取り残されないよう配慮し、高い信号強度において0.96の公平スコアを達成しました。

おそらく最も重要な点は、この新しいアプローチが現実世界のハードウェアに見られる不完全さに対して堅牢であるという点です。研究者が信号キャンセルのプロセスやチャネル状態の測定にエラーを導入した際、中央集権的なシステムのパフォーマンスは分散型のものよりも急激に低下しました。マルチエージェント・システムは完全なグローバルな視点ではなく、ローカルな観察に基づいているため、これらの不正確さに左右されにくかったのです。データの正確性において、この新手法は高信号強度においてエラー率を1000分の1未満に抑え、テストされた他の手法を上回りました。研究者たちは、中央集権的なインテリジェンスにも役割はあるものの、ユーザーが局所的に協力し適応することを学ぶネットワークの方が、よりスケーラブルで回復力のあるソリューションを提供できると結論付けました。この研究は、次世代のネットワークには、たった一つの全知全能の制御装置ではなく、無線世界の混沌を共に切り抜けていく、スマートで協力的なエージェントの集合体が必要である可能性を示唆しています。