⚡ electrical engineering

Active Inference for Adaptive Traffic Signal Control in Noisy Nonstationary IoT Environments

Dieses Paper schlägt einen nachvollziehbaren Active-Inference-Controller für das adaptive Verkehrsmanagement vor, der sowohl regelbasierte Heuristiken als auch Deep Reinforcement Learning in verrauschten, nichtstationären IoT-Umgebungen übertrifft, indem er die erwartete freie Energie minimiert, um Leerlaufzeiten und CO2-Emissionen zu reduzieren.

Ursprüngliche Autoren: Dénes Toth, George Ambroladze, Edwin Sundberg, Ali Beikmohammadi, Alfreds Lapkovskis

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dénes Toth, George Ambroladze, Edwin Sundberg, Ali Beikmohammadi, Alfreds Lapkovskis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine belebte Stadtkreuzung wie eine riesige, chaotische Küche vor, in der Autos die Zutaten sind, Ampeln die Köche und das Ziel darin besteht, alle so schnell wie möglich zu „füttern“ (bewegen zu lassen), ohne dabei das Essen zu verbrennen (Verschmutzung oder Unfälle zu verursachen).

Dieses Paper stellt einen neuen Typ von „smartem Koch“ für Ampeln vor, genannt Active Inference (AIF). Hier wird erklärt, wie er funktioniert, wie er getestet wurde und was er herausgefunden hat – einfach erklärt.

Das Problem: Die Küche ist neblig und chaotisch

In der realen Welt sind Verkehrssensoren (wie Kameras oder Radar) nicht perfekt. Sie werden von großen LKWs blockiert, durch starken Regen verwirrt oder übersehen Autos komplett. Das ist so, als würde ein Koch versuchen zu kochen, während er eine beschlagene Brille trägt und mit Kunden zu tun hat, die ständig ihre Bestellung ändern.

Alte Regeln: Traditionelle Ampeln folgen einem strengen Rezept (z. B. „Grün für 30 Sekunden, dann Rot“). Sie können nicht reagieren, wenn es in der Küche chaotisch wird.
Der „Black Box“-Lerner: Neuere KI-Systeme (genannt Deep Reinforcement Learning oder DQN) sind wie ein Sous-Chef, der tausende Male geübt hat, zu kochen. Sie sind großartig im Kochen, wenn sie genau in dieser speziellen Küche geübt haben. Aber wenn der Nebel dichter wird oder ein Kunde plötzlich etwas Komisches bestellt, könnten sie verwirrt sein. Außerdem weiß niemand, warum sie eine bestimmte Entscheidung getroffen haben; sie tun es einfach.

Die Lösung: Der „neugierige Koch“ (Active Inference)

Die Autoren schlagen einen neuen Koch vor, der auf Active Inference basiert. Anstatt nur ein Rezept auswendig zu lernen oder basierend auf früherer Praxis zu raten, nutzt dieser Koch ein spezielles mentales Modell, um ständig zwei Fragen zu stellen:

„Was will ich sehen?“ (Pragmatischer Wert): „Ich möchte sehen, dass die Warteschlangen im Verkehr kürzer werden und die Luft sauberer wird.“
„Was muss ich lernen?“ (Epistemischer Wert): „Ich bin mir nicht sicher, was gerade passiert, weil es neblig ist. Ich sollte die Ampel umschalten, um die andere Straßenseite besser unter die Lupe zu nehmen.“

Dieser Koch versucht, ein Konzept namens „Expected Free Energy“ zu minimieren. Denken Sie an dies als einen „Verwirrungswert“. Der Koch möchte Entscheidungen treffen, die seine Verwirrung verringern und ihn seinem Ziel näher bringen (flüssiger Verkehr).

Das Beste daran: Im Gegensatz zur „Black Box“-KI führt dieser Koch Tagebuch. Man kann in das Tagebuch schauen und genau sehen, warum er das Licht umgeschaltet hat: „Ich habe das Licht umgeschaltet, weil ich besorgt war, dass ich die Autos auf der Nordseite nicht sehen konnte, also habe ich das Licht geschaltet, um nachzusehen.“

Das Experiment: Die Simulations-Küche

Die Forscher bauten eine digitale Verkehrssimulation (eine virtuelle Küche) mit einer vierarmigen Kreuzung. Sie testeten drei Köche:

Der Regelbefolger: Hält sich an einen festen Zeitplan.
Die trainierte KI (DQN): Hat durch stundenlanges Üben in der Simulation gelernt.
Der neugierige Koch (AIF): Nutzt die beschriebene Methode des „Verwirrungswerts“.

Sie ließen die Simulation durch vier Schwierigkeitsstufen laufen:

Level 1: Klares Wetter, normaler Verkehr.
Level 2: Sensoren werden durch große LKWs blockiert (Okklusion).
Level 3: Es regnet stark (Wetter).
Level 4: Ein Auto kracht zusammen und blockiert die Straße, während es gleichzeitig regnet und die Sensoren blockiert sind (Der „perfekte Sturm“).

Die Ergebnisse: Wer hat am besten gekocht?

1. Unter ruhigen Bedingungen (Level 1 & 3):
Die trainierte KI (DQN) war etwas schneller darin, den Verkehr zu bewegen. Sie hatte genau für dieses Szenario geübt und kannte das Rezept aus dem Effeff. Der neugierige Koch (AIF) war fast genauso gut, aber nicht ganz so schnell.

2. Im „perfekten Sturm“ (Level 4):
Hier gewann der neugierige Koch (AIF) deutlich.

Leerlaufzeit: Der neugierige Koch hielt Autos insgesamt 56.977 Sekunden lang auf. Die trainierte KI hielt sie insgesamt 71.741 Sekunden auf. Das ist ein riesiger Unterschied.
Verschmutzung: Der neugierige Koch produzierte weniger CO2-Emissionen.
Warum? Als die Sensoren unzuverlässig wurden und ein Unfall passierte, wurde die trainierte KI verwirrt, weil sie nicht exakt diese Kombination von Katastrophen geübt hatte. Der neugierige Koch hingegen war darauf ausgelegt, mit Unsicherheit umzugehen. Er erkannte: „Ich weiß nicht, was passiert, also muss ich mehr Informationen sammeln und mich anpassen“, was den Verkehr besser am Laufen hielt.

3. Die Kompromisse:
Der neugierige Koch war nicht perfekt.

Bus-Priorität: Er war etwas schlechter darin, Busse schnell durchzulassen, verglichen mit den anderen. Da er sich auf die Gesamtzahl der Autos konzentrierte, um die allgemeine Verwirrung zu reduzieren, ignorierte er manchmal einen einzelnen Bus, der in der entgegengesetzten Spur wartete.
Lichtwechsel: Er schaltete die Lichter häufiger um. Während dies half, Informationen zu sammeln, könnte er im Vergleich zum stetigen Regelbefolger etwas „zappelig“ wirken.

Das Fazit

Dieses Paper zeigt, dass eine „erfahrene“ KI zwar großartig für vorhersehbare Situationen ist, ein neugieriger Koch, der aktiv versucht, Unsicherheit zu verstehen, jedoch viel besser ist, wenn Dinge schiefgehen (wie schlechtes Wetter oder Unfälle).

Der größte Gewinn des neugierigen Kochs ist die Transparenz. Wenn ein Verkehrsmanager fragt: „Warum haben Sie das Licht rot geschaltet?“, kann der neugierige Koch seine Argumentation Schritt für Schritt erklären. Die trainierte KI sagt nur: „Weil mein Gehirn es mir gesagt hat“, was schwer zu vertrauen ist, wenn Dinge schiefgehen.

Kurz gesagt: Wenn die Verkehrswelt ruhig ist, gewinnt ein erfahrener Experte. Wenn die Welt chaotisch und unvorhersehbar wird, gewinnt ein neugieriges, selbstbewusstes System.

Technisches Resümee: Aktive Inferenz für die adaptive Verkehrssteuerung in verrauschten, nichtstationären IoT-Umgebungen

1. Problemstellung

Die Steuerung von städtischen Verkehrssignalen steht vor erheblichen Herausforderungen bei realen Einsätzen, in denen Sensordaten oft unvollständig, verrauscht und unterliegt nichtstationären Nachfragemustern. Traditionelle regelbasierte Controller mangelt es unter unvorhersehbaren Bedingungen an Flexibilität, während Deep Reinforcement Learning (DRL)-Ansätze, obwohl leistungsstark, umfangreiche Trainingsdaten benötigen und unter Problemen der „Black-Box“-Interpretierbarkeit leiden, was sie schwer auditierbar macht. Darüber hinaus ist die reale IoT-Sensorik an Kreuzungen durch Sensorokklusion (z. B. durch schwere Fahrzeuge), wetterbedingte Dämpfung und stochastische Infrastrukturstörungen (z. B. Unfälle) beeinträchtigt. Die Arbeit adressiert das Bedürfnis nach einem Verkehrssignal-Controller, der unter diesen verrauschten, teilweise beobachtbaren Bedingungen effektiv bleibt und gleichzeitig einen nachvollziehbaren Entscheidungsprozess bietet.

2. Methodik

Die Autoren schlagen einen Active Inference (AIF) Controller für eine vierarmige signalisierte Kreuzung vor. Im Gegensatz zu Standard-Kontrollparadigmen, die Wahrnehmung und Aktion trennen, rahmt AIF beides als einen vereinheitlichten Prozess der Minimierung des Erwarteten Freien Energiewerts (Expected Free Energy, EFE).

Kernrahmen

Der Agent operiert an diskreten Zeitschritten $t$ und hält approximative posteriore Überzeugungen (Beliefs) $q(s_t)$ über verborgene Zustände $s_t$ (Verkehrsstau-Niveaus) basierend auf Beobachtungen $o_t$ aufrecht. Die Policy $\pi$ wählt Aktionen (Phasen: Nord-Süd oder Ost-West Grün) aus, um den EFE zu minimieren, definiert als:
$G(\pi) \triangleq -[PV(\pi) + \lambda EV(\pi)]$
Wobei:

Pragmatischer Wert ($PV$): Belohnt Beobachtungen, die den Präferenzen entsprechen (z. B. geringer Stau, niedrige Emissionen).
Epistemischer Wert ($EV$): Belohnt Beobachtungen, die die Unsicherheit über die verborgenen Zustände reduzieren (Exploration).
$\lambda$ : Eine Gewichtungskonstante, die die beiden Werte ausbalanciert.

Systeminstanziierung

Zustandsraum: Die verborgenen Zustände sind für jede Richtung (NS und EW) in sechs Stau-Niveaus (von „sehr niedrig“ bis „Stau“) diskretisiert.
Beobachtungen: Vektoren, die verrauschte Fahrzeugzahlen, kumulative CO2-Emissionen und Busanzahlen enthalten. Das Beobachtungsmodell ist eine zustandsbedingte multivariate Gaußverteilung.
Transitionsdynamik: Zwei manuell spezifizierte Transitionsmatrizen ( $T_{red}$ und $T_{green}$ ) kodieren die Intuition, dass Grünphasen den Stau reduzieren, während Rotphasen ihn erhöhen.
Rauschmodellierung: Die experimentelle Umgebung simuliert realistische IoT-Ausfälle, einschließlich:
- Sensorokklusion: Schwere Fahrzeuge, die die Detektion blockieren.
- Wetterbedingte Dämpfung: Reduzierte Detektionswahrscheinlichkeit bei widrigem Wetter.
- Stochastische Unfälle: Zufällige Blockaden, die den Verkehrsfluss einfrieren.

Vergleichs-Baselines

Der AIF-Controller wird gegen folgende Modelle getestet:

Regelbasierte Heuristik: Ein Prioritäts-Scoring-System mit festen Boni für Busse und Hauptstraßen-Bias.
Deep Q-Network (DQN): Ein Standard-DRL-Agent, der mit Experience Replay und $\epsilon$ -greedy Exploration trainiert wurde, optimiert für dieselbe Belohnungsfunktion (Minimierung von Leerlaufzeit, Emissionen und Buslast).

3. Zentrale Beiträge

Die Arbeit leistet drei primäre Beiträge:

Simulationsumgebung: Design einer SUMO-basierten Simulationsumgebung, welche verrauschte, nichtstationäre IoT-Sensorbedingungen modelliert, einschließlich Sensorokklusion, wetterbedingter Dämpfung und stochastischer Unfälle.
AIF-Controller-Entwicklung: Implementierung eines AIF-Controllers, der die Signalphasen dynamisch auswählt, indem er den EFE über Gaußsche Überzeugungen bezüglich Stau, Emissionen und das Vorhandensein des öffentlichen Nahverkehrs minimiert.
Umfassende Evaluierung: Ein strenger Vergleich über vier Szenarien zunehmender Umweltstörungen (von sauberen Daten bis hin zu vollem Rauschen/Unfällen) und 100 unabhängiger Zufallssäden (Random Seeds), wobei die Trade-offs zwischen Effizienz, Emissionen und Policy-Stabilität analysiert werden.

4. Experimentelle Ergebnisse

Die Experimente wurden über eine Simulationszeit von 3.600 Sekunden pro Szenario durchgeführt. Die wichtigsten Ergebnisse sind:

Leistung in hoher Störungsintensität (Szenario 4):
- Leerlaufzeit: AIF erreichte die niedrigste kumulative Leerlaufzeit (56.977 s) im Vergleich zu DQN (71.741 s) und dem regelbasierten Baseline-Modell (72.247 s).
- Emissionen: AIF produzierte die niedrigsten Gesamtemissionen an CO2 (29,12 kg) gegenüber DQN (30,56 kg) und dem regelbasierten Ansatz (31,53 kg).
- Robustheit: AIF hielt selbst im verrauschtesten Szenario eine geringere mittlere Leerlaufzeit als DQN, während die Leistung von DQN unter voller Störung signifikant abfiel.
Leistung bei geringer Störungsintensität (Szenarien 1–3):
- DQN übertraf AIF im Allgemeinen in den Szenarien 1 und 3 (z. B. 5.305 s vs. 7.287 s Leerlaufzeit in Szenario 3), was wahrscheinlich auf szenariospezifisches Pretraining zurückzuführen ist.
- AIF übertraf DQN in Szenario 2 (7.341 s vs. 8.385 s).
- In allen Szenarien übertraf sowohl AIF als auch DQN die regelbasierte Baseline deutlich (etwa die Halbierung der kumulativen Leerlaufzeit).
Trade-offs:
- Bus-Priorität: AIF hatte eine niedrigere Service-Rate für die Bus-Priorität (80,5–8,20 %) im Vergleich zu DQN (84,6–89,7 %) und dem regelbasierten System. Dies wird darauf zurückgeführt, dass die pragatische Wertfunktion die allgemeine Staureduktion gegenüber spezifischen Fahrzeugtypen priorisiert, da Busse nur einen kleinen Teil des Gesamtverkehrs ausmachen.
- Phasenwechsel: AIF wechselte die Phasen häufiger (261–278 Wechsel) als DQN (177–266) oder das regelbasierte System, was auf eine dynamischere Reaktion auf Unsicherheit hindeutet.
Stabilität: AIF zeigte eine geringere Varianz (Standardabweichung) in der Leerlaufzeit über die Seeds in den Szenarien 1 und 2, während DQN in den Szenarien 3 und 4 engere Verteilungen aufwies.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass Active Inference eine fundierte Alternative zu Deep Reinforcement Learning für die adaptive Verkehrssteuerung bietet, insbesondere in Umgebungen, die durch partielle Beobachtbarkeit und Nichtstationarität gekennzeichnet sind.

Zero-Shot-Generalisierung: Im Gegensatz zu DQN, das ein umfangreiches Pretraining für spezifische Szenarien erfordert, operiert der AIF-Controller ohne eine Pretraining-Phase. Seine Fähigkeit, die DQN-Leistung in verrauschten Umgebungen ohne szenariospezifisches Training zu erreichen oder zu übertreffen, deutet darauf hin, dass der epistemische Wert-Term im EFE-Ziel eine strukturelle Überlegenheit bei der Handhabung von Unsicherheit bietet.
Auditierbarkeit: Ein wesentlicher Vorteil ist die Nachvollziehbarkeit der AIF-Pipeline. Jede Stufe – von den posterioren Überzeugungen bis hin zu den spezifischen Komponenten des EFE (pragmatisch vs. epistemisch) – ist explizit und inspizierbar. Dies adresset die „Black-Box“-Verifizierungsprobleme im Zusammenhang mit DRL und ermöglicht es Betreibern zu verstehen, warum eine bestimmte Phase gewählt wurde.
Durchführbarkeit: Die Ergebnisse legen nahe, dass AIF eine lebensfähige Alternative zu Reinforcement Learning für die adaptive Verkehrssteuerung ist, die in der Lage ist, mehrere Ziele (Verzögerung, Emissionen, öffentlicher Nahverkehr) auszubalancieren und gleichzeitig robust gegenüber Sensordegradation und stochastischen Störungen zu bleiben.

Die Autoren kommen zu dem Schluss, dass AIF zwar gewisse Einbußen bei der Bus-Priorität hinnimmt und eine höhere Frequenz der Phasenwechsel aufweist, seine Robustheit in verrauschten, nichtstationären IoT-Umgebungen und seine Interpretierbarkeit es jedoch zu einem überzeugenden Ansatz für intelligente Verkehrssysteme der nächsten Generation machen. Zukünftige Arbeiten schlagen vor, das Framework auf Multi-Intersections-Netzwerke und Hardware-in-the-Loop-Deployments auszuweiten.