Multi-Agent Deep Reinforcement Learning-Based Fairness-Aware Power Allocation in NOMA Systems under Imperfect SIC for 5G Communication Networks

In den unsichtbaren Datenflüssen, die durch unsere moderne Welt strömen, stehen drahtlose Netzwerke in einem ständigen Kampf: Wie lassen sich mehr Menschen mit derselben begrenzten Menge an Spektrum bedienen? Jahrzehntelang war die Standardlösung, die verfügbaren Funkfrequenzen in separate Spuren aufzuteilen und jedem Nutzer seinen eigenen exklusiven Pfad zuzuweisen. Diese Methode, bekannt als orthogonaler Mehrfachzugriff, funktioniert zuverlässig, ist aber ineffizient – wie eine Autobahn, auf der Autos gezwungen sind, abwechselnd auf einer einspurigen Straße zu fahren, selbst wenn die anderen Spuren leer sind. Ein neuerer Ansatz namens Non-Orthogonal Multiple Access, oder NOMA, ändert die Regeln grundlegend. Anstatt Nutzer nach Zeit oder Frequenz zu trennen, ermöglicht er es mehreren Nutzern, exakt dieselbe Frequenz zur gleichen Zeit zu teilen. Um dies zu ermöglichen, sendet der Sender ein einzelnes, kombiniertes Signal, bei dem verschiedenen Nutzern unterschiedliche Leistungsstärken zugewiesen werden. Der Nutzer mit der stärksten Verbindung erhält ein schwächeres Signal, während der Nutzer mit der schwächsten Verbindung ein stärkeres erhält. Am Empfangende fungiert ein Prozess namens sukzessive Interferenzunterdrückung (Successive Interference Cancellation) wie ein Filter, der die stärkeren Signale entfernt, um die darunter liegenden schwächeren Signale freizulegen. Diese Technik verspricht, weitaus mehr Daten in denselben Raum zu packen – eine Notwendigkeit für die fünfte Generation, oder 5G-Netzwerke, die derzeit Milliarden von Geräten verbinden.

Das Versprechen von NOMA hängt jedoch von einem empfindlichen Balanceakt ab: der Entscheidung, wie viel Leistung genau jedem Nutzer zugeteilt wird. Wenn die Leistung schlecht verteilt ist, könnten die Nutzer mit schwachen Verbindungen ihre Daten nicht empfangen, während das Netzwerk als Ganzes Kapazität verschwendet. Dieses Problem wird in der realen Welt noch schwieriger, in der die Ausrüstung nicht perfekt ist. Der Prozess des Entfernens von Signalen ist anfällig für kleine Fehler, die einen schwachen Rest von Interferenzen hinterlassen können, der die Verbindung verschlechtern kann. Darüber hinaus ist die drahtlose Umgebung chaotisch; Signale prallen von Gebäuden ab und verblassen unvorhersehbar. Traditionelle Methoden zur Verwaltung dieser Leistung verlassen sich oft auf feste Regeln oder komplexe, zentralisierte Berechnungen, die Schwierigkeiten haben, mit diesen schnellen Veränderungen Schritt zu halten. Sie neigen dazu, die Nutzer mit den besten Verbindungen zu bevorzugen und diejenigen mit schlechten Signalen zurückzulassen, oder sie reagieren zu langsam, wenn sich die Bedingungen ändern.

Um diese Herausforderungen anzugehen, schlug ein Team von Forschern der Kampala International University und anderer Institutionen in Nigeria einen neuen Weg vor, diese Leistungsverteilung mithilfe einer Form von künstlicher Intelligenz zu steuern. Anstatt sich auf einen einzelnen zentralen Verstand zu verlassen, der Entscheidungen für das gesamte Netzwerk trifft, entwarfen sie ein System, in dem jeder Nutzer als ein unabhängiger, intelligenter Agent agiert. Dieser Ansatz, bekannt als Multi-Agent Deep Reinforcement Learning, ermöglicht es jedem Nutzer, aus seiner eigenen lokalen Erfahrung zu lernen. Stellen Sie sich eine Gruppe von Autofahrern vor, die, anstatt darauf zu warten, dass ein Verkehrsturm ihnen sagt, wann sie losfahren sollen, lernen, eine belebte Kreuzung zu navigieren, indem sie die Autos um sie herum beobachten und ihre Geschwindigkeit basierend auf dem anpassen, was für die Gruppe am besten funktioniert. In diesem System beobachtet jeder Nutzer seine eigene Signalqualität und die Interferenz, der er ausgesetzt ist, und trifft dann seine eigene Entscheidung darüber, wie viel Leistung er anfordert. Diese Agenten handeln nicht egoistisch; sie werden mit einem gemeinsamen Ziel trainiert, das die gesamte Gruppe für Fairness und Effizienz belohnt.

Die Forscher testeten dieses dezentralisierte System in einer simulierten Umgebung, die die unvorhersehbaren Bedingungen eines echten 5G-Netzwerks nachahmte. Sie verglichen ihre neue Methode mit mehreren etablierten Techniken, darunter einfache feste Regeln, gleichmäßige Leistungsverteilung sowie fortgeschrittene Algorithmen wie genetische Algorithmen und zentralisierte Lernsysteme. Die Simulationen liefen tausende Male durch, um sicherzustellen, dass die Ergebnisse zuverlässig sind. Die Ergebnisse zeigten, dass das zentralisierte System zwar unter idealen Bedingungen die höchste Gesamtdatenrate erreichen konnte, der neue Multi-Agenten-Ansatz jedoch eine überlegene Balance zwischen Leistung und Zuverlässigkeit bot. Insbesondere reduzierte die neue Methode die Anzahl der Fälle, in denen Nutzer keine Verbindung aufbauen konnten – eine Kennzahl, die als Ausfallwahrscheinlichkeit (Outage Probability) bekannt ist – erheblich und hielt sie selbst bei relativ geringer Signalstärke unter zehn Prozent. Sie bewahrte zudem ein hohes Maß an Fairness, indem sie sicherstellte, dass Nutzer mit schlechten Verbindungen nicht zurückgelassen wurden, und erreichte eine Fairness-Bewertung von 0,96 bei hohen Signalstärken.

Vielleicht am wichtigsten ist, dass die Studie zeigte, dass dieser neue Ansatz robust gegenüber den Unvollkommenheiten ist, die in der realen Hardware vorkommen. Als die Forscher Fehler in den Prozess der Interferenzunterdrückung und in der Messung der Kanalbedingungen einführten, sank die Leistung des zentralisierten Systems deutlich stärker als die des dezentralen Systems. Da das Multi-Agenten-System auf lokalen Beobachtungen statt auf einer perfekten globalen Sichtweise basiert, wurde es weniger durch diese Ungenauigkeiten erschüttert. In Bezug auf die Datengenauigkeit reduzierte die neue Methode die Fehlerrate auf weniger als eins zu tausend bei hohen Signalstärken und übertraf damit die anderen getesteten Methoden. Die Forscher kamen zu dem Schluss, dass zentrale Intelligenz zwar ihren Platz hat, aber ein Netzwerk, in dem Nutzer lernen zu kooperieren und sich lokal anzupassen, eine skalierbarere und widerstandsfähigere Lösung für die Zukunft der drahtlosen Kommunikation bietet. Diese Arbeit legt nahe, dass die nächste Generation von Netzwerken vielleicht keinen einzelnen, allwissenden Controller benötigt, sondern eine Sammlung smarter, kooperierender Agenten, die gemeinsam durch das Chaos der drahtlosen Welt navigieren können.