💻 computer science

A Decentralized Multi-Metric Q-Learning Objective Function (MM-QLOF) for Efficient Routing in IoT Networks

Dieses Paper schlägt MM-QLOF vor, eine dezentrale Multi-Metrik-Q-Learning-Zielfunktion, die Paket-Erfolgsrate, erwartete Übertragungen und Kongestionsniveaus integriert, um eine autonome, adaptive Auswahl des Elternknotens in IoT-Netzwerken zu ermöglichen, wodurch die Paketlieferraten signifikant verbessert und die Latenz im Vergleich zu bestehenden RPL-Standards reduziert wird.

Ursprüngliche Autoren: Youness TALBI, Abdelhadi ELOUDRHIRI HASSANI, Adil SALBI, Issam BOUGANSSA

Veröffentlicht 2026-06-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Youness TALBI, Abdelhadi ELOUDRHIRI HASSANI, Adil SALBI, Issam BOUGANSSA

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine geschäftige Stadt vor, in der Tausende von winzigen, batteriebetriebenen Lieferdrohnen (die IoT-Geräte) Pakete an ein zentrales Lagerhaus (das Internet) senden müssen. Um dies effizient zu gestalten, muss jede Drohne eine „Eltern“-Drohne auswählen, an die sie das Paket übergeben kann, welche es dann die Kette hinauf bis zum Lagerhaus weiterreicht.

Das Problem ist: Wenn die Stadt zu überfüllt wird (hohes Verkehrsaufkommen), versagen die üblichen Regeln für die Auswahl eines Elternteils. Die Drohnen wählen dann vielleicht einen Elternteil, der zwar nah erscheint, aber tatsächlich in einem Stau feststeckt, was dazu führt, dass Pakete verloren gehen, verzögert werden oder Energie durch erneutes Senden verschwendet wird.

Dieses Paper schlägt eine neue, intelligentere Methode vor, wie diese Drohnen ihre Eltern auswählen können. Anstatt einer starren Karte zu folgen, nutzen sie ein „Lernsystem“ namens MM-QLOF. So funktioniert es, vereinfacht erklärt:

1. Der alte Weg vs. der neue Weg

Der alte Weg (OF0 und MRHOF): Stellen Sie sich einen Lieferfahrer vor, der nur auf zwei Dinge achtet: „Wie viele Stopps sind es noch bis zum Lagerhaus?“ (OF0) oder „Ist die Straße asphaltiert und glatt?“ (MRHOF). Wenn eine Straße zwar glatt, aber völlig verstopft ist, wählt der Fahrer sie trotzdem aus, was zu Verzögerungen führt.
Der neue Weg (MM-QLOF): Dieses System gibt jeder Drohne ein „smartes Gehirn“ basierend auf Reinforcement Learning (bestärkendem Lernen). Denken Sie an einen Videospiel-Charakter, der durch Versuch und Irrtum lernt.
- Das Ziel: Die Drohne möchte ihre „Punktzahl“ (eine Belohnung) maximieren.
- Die Lektion: Wenn eine Drohne einen Elternteil wählt und das Paket schnell und sicher ankommt, erhält sie eine Belohnung (Punkte). Wenn das Paket verloren geht oder verzögert wird, erhält sie eine Strafe (sie verliert Punkte).

2. Die drei „Anzeigen“, die die Drohnen beobachten

Um ihre Punktzahl zu berechnen, prüft die Drohne drei spezifische Anzeigen bei jedem potenziellen Elternteil:

Erfolgsrate (PSR): „Wie oft fängt dieser Elternteil das Paket, das ich werfe?“ (Zuverlässigkeit).
Übertragungsanzahl (ETX): „Wie oft muss ich versuchen, dieses Paket an diesen Elternteil zu übergeben?“ (Effizienz).
Auslastung (Congestion Level): „Ist der Briefkasten dieses Elternteils voll?“ (Verkehr).

Das System kombelt diese drei Werte. Wenn ein Elternteil einen vollen Briefkasten hat (hohe Auslastung), erhält die Drohne eine schwere Strafe, selbst wenn die Straße glatt ist. Dies verhindert, dass die Drohne eine „glatte, aber verstopfte“ Route wählt.

3. Der „Smart Switch“ (Hysterese)

In diesen Netzwerken gibt es ein kniffliges Problem: Manchmal sieht ein Elternteil nur deshalb etwas besser aus, weil es eine winzige, vorübergehende Schwankung gibt. Wenn die Drohne den Elternteil jedes Mal wechselt, wenn sie eine winzige Verbesserung sieht, wird das gesamte Netzwerk chaotisch – wie eine Tanzfläche, auf der ständig alle ihre Partner wechseln.

Um dies zu beheben, führt das Paper einen Hysteresemechanismus ein. Denken Sie an eine „Änderungsschwelle“.

Die Drohne wird erst dann zu einem neuen Elternteil wechseln, wenn der neue Elternteil signifikant besser ist (mindestens 10 % besser) als der aktuelle.
Wenn der neue Elternteil nur „ein bisschen“ besser ist, bleibt die Drohne bei ihrem aktuellen Partner, um das Netzwerk stabil zu halten.

4. Die Ergebnisse: Eine weniger überfüllte Stadt

Die Forscher haben dieses System in einer Computersimulation (einer virtuellen Stadt) mit 51 Drohnen getestet. Sie haben ihr neues „Smart Brain“-System mit den Standard-, älteren Systemen verglichen.

Hier ist, was sie herausgefunden haben:

Weniger verlorene Pakete: Das neue System lieferte etwa 11 % mehr Pakete erfolgreich als die Standardsysteme, insbesondere wenn die Stadt sehr überfüllt war.
Schnellere Lieferung: Pakete kamen 18 % bis 23 % schneller an, da die Drohnen die Verkehrsstaus umgingen.
Bessere Batterielebensdauer: Da die Drohnen nicht ständig verlorene Pakete erneut senden mussten, sparten sie eine geringe Menge an Energie.

Das Fazit

Das Paper argumentt, dass indem man diese winzigen Geräte lehrt, aus ihrer Umgebung zu „lernen“ – indem sie speziell auf Verkehrsstaus (Auslastung) achten zusätzlich zur Straßenqualität – man viel intelligentere Entscheidungen treffen kann. Dies hält das Netzwerk auch dann reibungslos am Laufen, wenn alle gleichzeitig Daten senden wollen.

Die Autoren merkten auch an, dass die „Gewichtungen“ dieser drei Anzeigen angepasst werden können. Wenn es Ihnen um jeden Preis wichtig ist, das Paket ankommen zu lassen, gewichten Sie die „Erfolgsrate“ höher. Wenn es Ihnen vor allem um Geschwindigkeit geht, gewichten Sie die „Auslastung“ höher. Dies ermöglicht es, das System auf unterschiedliche Bedürfnisse abzustimmen.

Technische Zusammenfassung: Eine dezentrale Multi-Metrik-Q-Learning-Zielfunktion (MM-QLOF) für effizientes Routing in IoT-Netzwerken

Problemstellung
Die Arbeit befasst sich mit der Verschlechterung der Leistung in Internet-of-Things (IoT)-Netzwerken unter Hochverkehrsbedingungen. Insbesondere in Low-Power and Lossy Networks (LLNs), die das IPv6 Routing Protocol for Low-Power and Lossy Networks (RPL) nutzen, führen hohe Verkehrslasten zu erheblicher Kongestion, Verschlechterung der Verbindungsqualität und Paketinterferenzen. Diese Bedingungen machen die Auswahl eines optimalen Elternknotens (Next Hop) für Standard-RPL-Zielfunktionen (Objective Functions, OFs) extrem schwierig. Traditionelle Ansätze wie die Zero Objective Function (OF0), die auf der Hop-Anzahl basiert, und die Minimum Rank Objective Function with Hysteresis (MRHOF), die auf der Expected Transmission Count (ETX) basiert, versagen oft dabei, dynamische Kongressionsniveaus und Echtzeit-Paketerfolgsraten zu berücksichtigen. Infolgedessen wählen Knoten möglicherweise Elternknoten mit gesättigten MAC-Queues aus, was zu erhöhten Kollisionen, erneuten Übertragungen, End-to-End-Latenzen und Paketverlusten führt.

Methodik
Die Autoren schlagen MM-QLOF (Multi-Metric Q-Learning Objective Function) vor, einen dezentralen Ansatz, der Reinforcement Learning (speziell Q-Learning) in den RPL-Elternknoten-Auswahlprozess integriert. Die Methodik funktioniert wie folgt:

Definition von Zustand und Aktion: Jeder IoT-Knoten agiert als autonomer Agent. Der „Zustand“ (State) ist das aktuelle Bedürfnis des Knotens, einen bevorzugten Elternknoten zu wählen, und die „Aktion“ (Action) ist die Auswahl eines spezifischen Kandidaten-Elternknotens aus dem RPL-Elternknoten-Set.
Multi-Metrik-Belohnungsfunktion: Die Kerninnovation liegt in der Belohnungsfunktion, welche die Kandidaten-Elternknoten basierend auf drei normalisierten Metriken bewertet:
- Paketerfolgsrate (Packet Success Rate, PSR): Misst die Zuverlässigkeit der unmittelbaren Verbindung (empfangene Bestätigungen/ACKs im Verhältnis zu den gesendeten Paketen).
- Expected Transmission Count (ETX): Gibt die Anzahl der benötigten Übertragungen für eine erfolgreiche Zustellung an; niedrigere Werte werden bevorzugt.
- Kongressionsniveau (Congestion Level): Eine Metrik auf der MAC-Schicht, die die Belegung der Warteschlange und Paketverluste im Verhältnis zu den Übertragungen widerspiegelt.
  Die Belohnungsfunktion ist so formuliert, dass sie die PSR und eine niedrige Kongression (hohe „Normalisierte Kongression“) maximiert und gleichzeitig den ETX minimiert. Die Formel lautet:
  $Reward = \frac{w_{psr} \cdot NormalisiertePSR + w_{congestion} \cdot NormalisierteCONGESTION}{w_{etx} \cdot ETX}$
Q-Learning-Mechanismus: Knoten führen eine Q-Tabelle, die Kandidaten-Elternknoten auf Q-Werte abbildet. Nach der Auswahl eines Elternknotens und der Beobachtung des Ergebnisses aktualisiert der Knoten den Q-Wert mittels der Bellman-Gleichung:
$Q_{new}(s_t, a_t) = (1 - \alpha)Q_{old}(s_t, a_t) + \alpha [R_t + \gamma \max Q(s_{t+1}, a_{t+1})]$
wobei $\alpha$ die Lernrate und $\gamma$ der Diskontierungsfaktor ist, sowie $R_t$ die berechnete Belohnung darstellt.
Stabilitätsmechanismen: Um Netzwerkinstabilitäten durch häufiges Wechseln der Elternknoten aufgrund geringfügiger Metrikfluktuationen zu verhindern, implementieren die Autoren:
- Hysterese: Ein Wechsel des Elternknotens erfolgt nur, wenn der Q-Wert des neuen Kandidaten den Q-Wert des aktuellen Elternknoten um einen spezifischen Schwellenwert (10 %) übersteigt.
- $\epsilon$ -greedy Strategie: Ein dynamisches Gleichgewicht zwischen Exploration (Auswahl zufälliger Elternknoten, um bessere Pfade zu entdecken) und Exploitation (Auswahl des Elternknotens mit dem höchsten Q-Wert). Die Explorationsrate $\epsilon$ wird reduziert, sobald die Q-Werte konvergieren.

Wesentliche Beiträge

Dezentrales Lernen: Die Arbeit zeigt, dass Knoten autonom optimale Routing-Entscheidungen treffen können, ohne zentrale Koordination, und sich dabei an variable Netzwerkbedingungen anpassen.
Integriertes Metrik-Framework: Die Arbeit schlägt eine spezifische Kombination aus PSR, ETX und Kongressionsniveau innerhalb eines Q-Learning-Frameworks vor und argumentiert, dass dieses Trias eine umfassendere Sicht auf die Netzwerkgesundheit bietet als Single-Metric-Ansätze.
Adaptive Gewichtung: Die Studie liefert eine empirische Analyse darüber, wie die Gewichtung dieser Metriken den Trade-off zwischen der Paketlieferrate (Packet Delivery Ratio, PDR) und der Latenz beeinflusst. Sie legt nahe, dass die Gewichtungen der Metriken basierend auf der Verkehrslast angepasst werden sollten (z. B. Priorisierung von Kongressionsmetriken bei hoher Last).
Algorithmische Implementierung: Die Autoren stellen detaillierte Algorithmen für den Q-Wert-Aktualisierungsprozess und den Auswahlprozess der Elternknoten bereit, einschließlich Initialisierungsstrategien und Konvergenzprüfungen.

Ergebnisse
Der MM-QLOF-Ansatz wurde mit dem Cooja-Emulator (Contiki-NG) in einer linearen Topologie mit 51 Knoten unter variierenden Verkehrslasten (von 1 Paket alle 3 Sekunden bis zu 1 Paket alle 0,5 Sekunden) evaluiert. Die Ergebnisse wurden mit den Standard-Verfahren OF0 und MRHOF verglichen:

Paketlieferrate (PDR): MM-QLOF verbesserte die PDR im Durchschnitt um 10,7 % gegenüber OF0 und um 11,1 % gegenüber MRHOF. Unter hoher Verkehrslast (120 Pakete/Min.) übertraf es OF0 um 4,65 % und MRHOF um 1,52 %.
End-to-End-Latenz: Die vorgeschlagene Methode reduzierte die Latenz im Durchschnitt um 18,7 % gegenüber OF0 und um 23,6 % gegenüber MRHOF. In Szenarien mit hoher Verkehrslast war die Reduktion noch ausgeprägter (34,11 % gegenüber OF0 und 44,66 % gegenüber MRHOF).
Energieverbrauch: Aufgrund reduzierter erneuter Übertragungen und Verzögerungen erreichte MM-QLOF eine leichte Senkung des Stromverbrauchs im Vergleich zu den Baseline-Zielfunktionen.
Metrik-Sensitivität: Empirische Studien bestätigten, dass die Priorisierung von PSR und ETX die PDR verbessert, aber die Latenz erhöhen kann, während die Priorisierung der Kongression die Latenz signifikant reduziert, aber die PDR leicht senken kann, falls sie nicht korrekt ausbalanciert ist.

Bedeutung und Ansprüche
Das Paper behauptet, dass MM-QLOF eine signifikante Verbesserung der Routing-Effizienz für IoT-Netzwerke bietet, insbesondere unter Hochverkehrsbedingungen, in denen traditionelle statische Zielfunktionen versagen. Durch die direkte Integration der Kongressionsbewusstsein in die Auswahl der Elternknoten mittels Reinforcement Learning erreicht das Protokoll einen besseren Kompromiss zwischen Zuverlässigkeit (PDR), Geschwindigkeit (Latenz) und Energieeffizienz. Die Autoren betonen, dass der Ansatz ein adaptives Verhalten ermöglicht, welches es den Knoten erlaubt, dynamisch kongestionsgestaute Pfade und gesättigte Warteschlangen zu umgehen und somit die negativen Auswirkungen von Verkehrspitzen abzumildern. Die Arbeit legt nahe, dass das aktuelle Modell effektiv ist, zukünftige Arbeiten jedoch das Modell auf mobile IoT-Szenarien ausweiten und zusätzliche Metriken wie die Restenergie einbeziehen könnten.