Technische Samenvatting: Dual Mind World Model Geïnspireerd Netwerk Digital Twin voor Toegangsschema's

Probleemstelling

Opkomende netwerksystemen, waaronder industriële IoT en real-time cyber-fysieke infrastructuren, worden geconfronteerd met kritieke uitdagingen bij het plannen van kanaaltoegang onder dynamische verkeersstromen, strikte QoS-deadlines (Quality of Service) en interferentiebeperkingen. Traditionele planningsalgoritmen vertonen een dichotomie:

• Regelgebaseerde methoden (bijv. Max-Weight Scheduling, Longest-Queue-First) missen vaak de aanpasbaarheid aan real-time beperkingen of vereisen restrictieve aannames (bijv. frame-gebaseerd verkeer, bekende a priori aankomsten).
• Datagestuurde methoden (bijv. Reinforcement Learning) bieden weliswaar aanpasbaarheid, maar lijden vaak aan een gebrek aan interpreteerbaarheid, hoge sample-complexiteit en een onvermogen om haalbaarheid te garanderen onder specifieke domeinbeperkingen zoals interferentie of pakketdeadlines.

De kernuitdaging is het ontwikkelen van een planningsstrategie die een balans vindt tussen aanpasbaarheid aan bursty en heterogeen verkeer met interpreteerbaarheid en naleving van beperkingen (deadlines, vermijden van interferentie) zonder dat uitgebreide hertraining of black-box besluitvorming vereist is.

Methodologie

De auteurs stellen een Dual Mind World Model (DMWM) framework voor, geïmplementeerd binnen een configureerbare Network Digital Twin (NDT). Deze architectuur bootst de dual-process besluitvorming na die wordt gevonden in de cognitieve wetenschap, door twee onderscheidende modules te integreren:

1. Fast Mind (Reactieve Heuristiek):

   • Fungeert als een lichtgewicht fallback-mechanisme.
   • Maakt gebruik van eenvoudige heuristieken (bijv. het selecteren van knooppunten met de langste wachtrijen) wanneer beperkingen eenvoudig zijn, of wanneer de deliberatieve module niet binnen de tijdslimieten een haalbaar plan kan vinden.
   • Garandeert lage latentie-responsiviteit.

2. Slow Mind (Symbolische Planner):

   • Werkt binnen de Network Digital Twin om symbolische forward rollouts uit te voeren.
   • Genereert een reeks haalbare kandidaatschema's op basis van een Informed Constraint Navigation (ICN) laag, die acties filtert tegen interferentiegrafieken, wachtrijbeschikbaarheid en pakketdeadlines.
   • Simuleert een eindige horizon ($H$) van toekomstige wachtrijtoestanden voor elk kandidaatschema om langetermijnbeloningen (throughput en congestiebeheersing) te voorspellen.
   • Selecteert het schema dat de voorspelde cumulatieve beloning maximaliseert.

De Beslissingslus:
De scheduler schakelt dynamisch tussen deze modi. Als de Slow Mind een haalbare verzameling schema's identificeert ($F(t) \neq \emptyset$), selecteert deze de optimale op basis van de symbolische rollout. Indien er geen haalbaar plan wordt gevonden of de berekening te kostbaar is, valt het systeem terug op de heuristiek van de Fast Mind. Deze hybride aanpak vermijdt het "black-box" karakter van pure RL terwijl de voorzienigheid van model-gebaseerde planning behouden blijft.

Belangrijkste Bijdragen

Het artikel schetst vijf primaire bijdragen:

1. Hybride Cognitief Model: Een planningsframework dat een symbolische planner integreert met een reactieve fallback, waarbij een balans wordt gevonden tussen aanpasbaarheid en uitvoering met lage latentie.
2. Symbolische Toestands-overgang: Een efficiënte functie waarmee de agent toekomstige wachtrijtoestanden kan simuleren en zo langetermijnvoorzienigheid verkrijgt zonder afhankelijk te zijn van neurale dynamica-modellering.
3. Logica-gebaseerde Constraint Filtering: Een mechanisme (ICN) dat per-node deadlines, interferentievermijding en wachtrijbewustzijn afdwingt voordat de planningsfase begint, wat haalbaarheid garandeert.
4. Simulatie-gestuurde Digital Twin: Een geconstrueerde omgeving die bursty verkeer, heterogene knooppunten en planningsbeperkingen modelleert voor uitgebreide benchmarking.
5. Empirische Benchmarking: Een vergelijkende evaluatie tegen klassieke heuristieken (LQF, Round Robin) en leergebaseerde baselines (Q-Learning) over vier verschillende scenario's.

Experimentele Resultaten

Het framework werd geëvalueerd in een tijdslot-gebaseerde draadloze netwerksimulatie ($N=5$ knooppunten, $K=3$ gelijktijdige transmissies) onder vier scenario's: Default, Bursty Traffic, Deadline-Sensitive en Interference-Constrained.

• Throughput: DMWM behaalde consistent de hoogste of bijna-hoogste gemiddelde throughput in alle scenario's, waarbij het LQF en RL-agents overtrof, met name onder bursty en deadline-gevoelige belastingen.
• Wachtrijbeheer: Het framework behield lagere gemiddelde wachtrijgroottes vergeleken met reactieve policies, wat wijst op superieure congestiebeheersing.
• Deadline & Latentie: In deadline-gevoelige scenario's verminderde DMWM de gemiddelde vertraging en het aantal deadline-schendingen aanzienlijk vergeleken met zowel heuristieken als de RL-agent. Dit wordt toegeschreven aan het feit dat de forward rollout mechanisme expliciet de impact op de vertraging evalueert.
• Robuustheid: DMWM vertoonde een lagere variantie over simulatieproeven heen, wat duidt op robuustheid in dynamische netwerkomstandigheden.
• Model Nauwkeurigheid: Visualisaties bevestigden dat de voorspellingen van de symbolische world model over wachtrijtoestands-transities nauw overeenkwamen met de werkelijke systeemdynamiek, wat de betrouwbaarheid van de "imagination" module valideert.

Betekenis en Claims

Het artikel claimt dat het DMWM-framework de kloof overbrugt tussen netwerkniveau-redeneren en low-overhead leren. De betekenis ligt in:

• Interpreteerbaarheid: In tegen tegenover black-box neurale planners is het besluitvormingsproces transparant en gebaseerd op symbolische logica en expliciete controle van beperkingen.
• Sample Efficiëntie: Het systeem vereist geen uitgebreide trainingsdata of hertraining om zich aan nieuwe omstandigheden aan te passen, aangezien het vertrouwt op interne simulatie (imagination) in plaats van trial-and-error leren.
• Garantie van Haalbaarheid: Door beperkingen af te dwingen via de ICN-laag, zorgt de scheduler ervoor dat beslissingen ontworwerp voldoen aan fysieke en protocollaire beperkingen (interferentie, deadlines).
• Schaalbaarheid: Het modulaire ontwerp maakt directe integratie in echte of gesimuleerde Network Digital Twins mogelijk, wat een stap vormt naar schaalbare, adaptieve netwerkoptimalisatie voor kritieke en hulpbron-beperkte systemen.

De auteurs positioneren dit werk als een stap richting NDT-gebaseerde netwerkoptimalisatie, waarbij zij aantonen dat het combineren van symbolische planning met reactieve heuristieken een superieur resultaat kan opleveren in complexe, beperkte omgevingen zonder de nadelen van puur model-vrije benaderingen.