🤖 machine learning

Reward-Conditioned Attention: How Reward Design Shapes What Autonomous Driving Agents See

Diese Arbeit zeigt, dass das Belohnungsdesign bei Reinforcement-Learning-Agenten für autonomes Fahren deren interne Aufmerksamkeitsmuster grundlegend prägt, wobei spezifische Belohnungskonfigurationen die Aufmerksamkeitsstrategien auf Bildelemente wie Navigationspfade oder Kollisionsrisiken nicht nur modulieren, sondern qualitativ umkehren können, wodurch die Analyse der Aufmerksamkeit als kritisches Diagnosewerkzeug zur Verifizierung sicherheitskritischer Systemverhalten etabliert wird.

Ursprüngliche Autoren: Mohamed Benabdelouahad, Ahmed Djalal Hacini, Nadir Farhi, Aissa Boulmerka

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohamed Benabdelouahad, Ahmed Djalal Hacini, Nadir Farhi, Aissa Boulmerka

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen Roboter, ein Auto zu fahren. Sie bringen es ihm bei, indem Sie ihm „Belohnungen“ geben (wie Punkte für das Bleiben in der Spur) und „Bestrafungen“ erteilen (wie Punktabzug für das Kollidieren mit einer Wand). Normalerweise interessiert uns nur, ob der Roboter gut fährt. Aber diese Arbeit stellt eine tiefere Frage: Worauf schaut der Roboter eigentlich, während er fährt, und verändert die Art und Weise, wie wir ihn belohnen, seine Wahrnehmung?

Hier ist die Geschichte ihrer Entdeckung, einfach erklärt.

Die drei Fahrer

Die Forscher erschufen drei identische Roboter-Fahrer. Sie alle hatten dasselbe Gehirn (Architektur), sahen dieselben Trainingsvideos (Waymo-Datensatz) und starteten mit denselben Einstellungen. Der einzige Unterschied war die „Bewertungskarte“ (das Belohnungssystem), die sie zum Lernen verwendeten:

Der „Basale“ Fahrer: Er wird nur bestraft, wenn er kollidiert, von der Straße abkommt oder gegen eine rote Ampel fährt. Es ist ihm nicht wirklich wichtig, wohin er fährt, sondern nur, nicht zu kollidieren.
Der „Minimale“ Fahrer: Er erhält die basalen Bestrafungen, bekommt aber auch Punkte dafür, dass er auf der GPS-Route bleibt und vorwärts fährt. Er möchte das Ziel erreichen.
Der „Vollständige“ Fahrer: Er erhält alles, was der Minimale Fahrer bekommt, plus zusätzliche Punkte dafür, dass er komfortabel fährt (sanftes Fahren) und eine spezielle Strafe, wenn er anderen Autos zu schnell zu nahe kommt (Time-to-Collision).

Der große Fehler: Das Vermischen der Daten

Bevor sie die interessanten Ergebnisse fanden, entdeckten die Autoren eine große Falle in der Art und Weise, wie Wissenschaftler normalerweise dies untersuchen.

Stellen Sie sich vor, Sie wollen herausfinden, ob ein Fahrer mehr auf Fußgänger achtet, wenn es regnet.

Der falsche Weg (Naives Pooling): Sie nehmen jede einzelne Sekunde der Fahrt aus 50 verschiedenen Fahrten, mischen sie alle in einen riesigen Eimer und zählen die Gesamtzahl der Blicke. Das ist so, als würde man eine ruhige Sonntagsfahrt mit einer chaotischen Rushhour-Fahrt vermischen. Da einige Fahrten von Natur aus ruhig und andere chaotisch sind, geht das „Signal“ im Rauschen verloren. Die Daten sahen so aus, als würde der Fahrer seinen Blick kaum verändern.
Der richtige Weg (Innerhalb einer Episode): Die Forscher betrachten jede Fahrt einzeln. Sie fragten: „Hat der Fahrer in dieser spezifischen Fahrt kurz vor einer Beinahe-Kollision mehr auf den Fußgänger geachtet?“
Das Ergebnis: Als sie die Fahrten einzeln betrachteten, fanden sie ein klares Muster: Wenn die Gefahr (das Risiko) stieg, stieg auch die Aufmerksamkeit des Roboters auf andere Autos. Der „falsche Weg“ hatte diesen Zusammenhang um mehr als das Dreifache unterschätzt!

Die zwei großen Entdeckungen

Nachdem sie ihre Mathematik korrigiert hatten, fanden sie zwei faszinierende Dinge darüber heraus, wie die „Bewertungskarte“ die Augen des Roboters veränderte.

1. GPS vs. Gefahr (Der Inhalt der Belohnung formt den Fokus)

Der „Minimale“ Fahrer (der sich um das GPS kümmerte) widmete der GPS-Routen-Information 4,7-mal mehr Aufmerksamkeit als der „Basale“ Fahrer.

Die Analogie: Denken Sie an den „Basalen“ Fahrer als einen Touristen, der nur verhindern will, gegen einen Baum zu fahren. Er schaut kaum auf die Karte. Der „Minimale“ Fahrer ist wie ein Lieferant, der muss an die Adresse kommen. Er starrt ständig auf die GPS-Karte.
Die Lektion: Wenn Sie dem Roboter sagen: „Geh hierhin“, wird er die Anweisungen „Geh hierhin“ auch buchstäblich intensiver anschauen. Das Belohnungssystem bestimmt, was der Roboter priorisiert.

2. Die Gewohnheit der „Wachsamkeit“ (Kontinuierliche Sicherheitsbelohnungen)

Dies war die überraschendste Erkenntnis. Der „Vollständige“ Fahrer (der bestraft wurde, wenn er anderen Autos zu nahe kam) schaute nicht nur auf Autos, wenn sie in Gefahr waren. Er behielt sie auch dann im Auge, wenn alles sicher war.

Die Analogie: Stellen Sie sich einen Sicherheitswachmann vor.
- Der „Minimale“ Fahrer ist wie ein Wachmann, der erst dann zur Tür schaut, wenn der Alarm losgeht.
- Der „Vollständige“ Fahrer ist wie ein Wachmann, der den Raum immer scannt, selbst wenn niemand da ist, weil er darauf trainiert wurde, eine Beinahe-Kollision zu fürchten.
Das Ergebnis: Selbst wenn kein Risiko bestand, behielt der „Vollständige“ Fahrer ein höheres Maß an „Überwachung“ (Beobachtung anderer Autos) bei als die anderen. Er entwickelte die Gewohnheit, in erhöhter Alarmbereitschaft zu sein.

Der Wendepunkt: Gleiche Straße, andere Augen

In einigen schwierigen Situationen machten der „Vollständige“ Fahrer und der „Minimale“ Fahrer genau das Gegenteil. Wenn die Straße gefährlich wurde, schaute der eine vielleicht auf die Fahrbahnmarkierungen, während der andere auf die anderen Autos blickte.

Die Lektion: Die Änderung der Belohnung macht den Roboter nicht einfach nur „besser“ oder „schlechter“. Sie kann die gesamte Strategie der Weltwahrnehmung komplett umkehren.

Das Fazbeit

Das Paper kommt zu dem Schluss, dass die Aufmerksamkeitsanalyse ein diagnostisches Werkzeug ist. Genau wie ein Arzt ein Röntgenbild verwendet, um zu sehen, ob ein Knochen gebrochen ist, können Ingenieure darauf schauen, „wo der Roboter hinsieht“, um zu prüfen, ob ihr Belohnungssystem ihm die richtigen Lektionen lehrt.

Wenn Sie wollen, dass ein Roboter ein wachsamer Sicherheitsfahrer ist, können Sie nicht einfach hoffen, dass er lernt; Sie müssen die Belohnungen so gestalten, dass er lernt, immer auf die richtigen Dinge zu sehen.

Technisches Resümee: Belohnungsbedingte Aufmerksamkeit im autonomen Fahren

Problemstellung
Obwohl Reinforcement Learning (RL) in Simulationen für das autonome Fahren (AD) bereits Expertenleistungen erbracht hat, bleiben die internen Mechanismen, die diese Policies steuern, opak. Es besteht eine kritische Lücke im Verständnis darüber, wie die Belohnungsfunktion – das primäre Signal, das RL-Agenten leitet – die internen Aufmerksamkeitsmuster des Agenten formt. Obwohl die Gültigkeit von Aufmerksamkeitsgewichten als Post-hoc-Erklärungen für Modellentscheidungen debattiert wird, stellt diese Arbeit eine differenzierte Frage: Bestimmt das Design der Belohnung vorhersagbar, worauf der Encoder seine Aufmerksamkeit richtet? Das Verständnis dieser Beziehung ist essenziell, um zu verifizieren, dass Belohnungsfunktionen Agenten dazu lehren, die korrekten Aspekte der Fahrszene zu überwachen, und um ein fundiertes Reward-Engineering in sicherheitskritischen Systemen voranzutreiben.

Methodik
Die Studie nutzt das V-Max-Framework und verwendet drei Soft Actor-Critic (SAC)-Agenten, die auf dem Waymo Open Motion Dataset (WOMD) trainiert wurden. Alle drei Agenten teilen eine identische Perceiver-basierte Latent-Query (LQ)-Encoder-Architektur, die 280 Input-Token (repräsentierend das Ego-Fahrzeug, andere Agenten, Straßengeometrie, Ampeln und GPS-Wegpunkte) über Cross-Attention in eine kompakte latente Repräsentation überführt.

Das zentrale experimentelle Design isoliert den Effekt des Belohnungsdesigns durch den Vergleich von drei Agenten, die auf denselben Daten mit identischen Initialisierungs-Seeds, aber unterschiedlichen Belohnungskonfigurationen trainiert wurden:

Basic: Bestraft lediglich Sicherheitsverletzungen (Kollision, Abkommen von der Fahrbahn, Rotlicht).
Minimal: Fügt Navigationsanreize hinzu (Einhaltung der Route und Vorwärtsbewegung).
Complete: Fügt kontinuierliche Proximitätsstrafen basierend auf der Kollisionszeit (Time-to-Collision, TTC), Geschwindigkeitsbegrenzungen und Komfort hinzu.

Zentrale methodische Innovation: Innerhalb-der-Episode-Korrelation
Ein zentraler methodischer Beitrag ist die Ablehnung des „naiven Pooling“ (Aggregieren aller Zeitschritte über alle Episoden hinweg) zur Analyse der Zusammenhang zwischen Aufmerksamkeit und Risiko. Die Autoren zeigen, dass das Pooling die Dynamik innerhalb einer Episode mit der Heterogenität zwischen den Episoden (z. B. urbane vs. suburbane Risikoprofile) vermischt, was zu einer signifikanten Unterschätzung des Zusammenhangs zwischen Aufmerksamkeit und Risiko führt.

Stattdessen verwendet die Studie die Spearman-Rangkorrelation innerhalb der Episode ( $\rho_i$ ) zwischen dem Kollisionsrisiko ( $R$ ) und der agentenbezogenen Aufmerksamkeit für jedes Szenario einzeln. Diese Korrelationen werden über die Szenarien hinweg mittels der Fisher-z-Transformation aggregiert. Dieser Ansatz handhabt die Varianz in heterogenen RL-Episoden korrekt und offenbart robuste statistische Signale, die durch gepoolte Metriken verborgen bleiben.

Kernergebnisse
Die Analyse, durchgeführt über 50 reale Szenarien (3.676 Zeitschritte für das Complete-Modell), liefert drei primäre Erkenntnisse:

Validierung der Analyse innerhalb der Episode:
Für das Complete-Reward-Modell ist die Korrelation innerhalb der Episode zwischen Kollisionsrisiko und Aufmerksamkeit auf „Andere Agenten“ robust positiv ( $\bar{\rho} = +0,291$ , 95 % KI $[+0,125, +0,442]$ ). In den 16 risiko-reaktivsten Szenarien verstärkt sich diese Korrelation signifikant ( $\bar{\rho} = +0,522$ ); dabei erhöhen die Agenten ihre Aufmerksamkeit auf dynamische Bedrohungen unter Bedrohung um 77 %. Im Gegensatz dazu liefert das naive Pooling eine Korrelation von nur $+0,088$ , was eine 3,3-fache Unterschätzung darstellt.
Belohnungsinhalte formen die Aufmerksamkeits-Baselines:
Die spezifischen Komponenten der Belohnungsfunktion diktieren direkt die Allokation der Aufmerksamkeitsressourcen. Agenten, die mit Navigationsbelohnungen trainiert wurden (Minimal und Complete), weisen eine signifikant höhere Aufmerksamkeit für GPS-Pfad-Token auf als jene, die nur mit Basis-Sicherheitsstrafen trainiert wurden.
- Minimal vs. Complete: Das Minimal-Modell weist 33,5 % Aufmerksamkeit auf GPS-Pfade zu, verglichen mit 16,4 % beim Complete-Modell (ein 2,0-facher Unterschied).
- Basic vs. Minimal: Die Spanne reicht von 7,1 % (Basic) bis 33,5 % (Minimal), ein 4,7-facher Unterschied.
  Dies bestätigt, dass der Belohnungsinhalt bestimmt, welche Szenenelemente der Encoder priorisiert.
Kontinuierliche Sicherheitsbelohnungen erzeugen einen Vigilanz-Prior:
Die Einbeziehung kontinuierlicher TTC-basierter Proximitätsstrafen im Complete-Modell etabliert einen „erlernten Vigilanz-Prior“ (Wachsamkeits-Prior). Selbst während kollisionsfreier Phasen hält das Complete-Modell eine erhöhte „Ruhe-Überwachung“ (Resting Surveillance) anderer Agenten aufrecht, verglichen mit dem Minimal-Modell.
- In 16 von 26 qualifizierenden Szenarien hält das Complete-Modell eine mittlere Steigerung der Ruhe-Überwachung von Agenten um +151 % gegenüber dem Minimal-Modell aufrecht.
- Diese erhöhte Baseline ist ab dem ersten Zeitschritt präsent, was darauf hindeutet, dass der Agent eine Form der ständigen Bereitschaft lernt, statt nur auf Risiko-Spitzen zu reagieren.
Qualitative Umkehrung der Strategie:
In mehreren Szenarien zeigen die Complete- und Minimal-Modelle entgegengesetzte Richtungen der Aufmerksamkeits-Risiko-Korrelation. Dies demonstriert, dass das Belohnungsdesign die Aufmerksamkeitsstrategie eines Agenten qualitativ umkehren kann und nicht nur die Magnitude seiner Reaktion moduliert.

Bedeutung und Ansprüche
Das Paper behauptet, dass die Aufmerksamkeitsanalyse als praktisches Diagnosewerkzeug dient, um zu verifizieren, ob eine Belohnungsfunktion das beabsichtigte Repräsentationsverhalten in sicherheitskritischen RL-Systemen erzeugt. Durch den Nachweis, dass das Belohnungsdesign die internen Aufmerksamkeitsmuster direkt formt, argumentieren die Autoren:

Praktiker können Aufmerksamkeitsmetriken nutzen, um zu verifizieren, ob ein Agent die korrekten Elemente der Szene überwacht.
Die „Innerhalb-der-Episode-Korrelation mit Fisher-z-Transformation“ ist der angemessene statistische Standard für die Aufmerksamkeitsanalyse in heterogenen RL-Umgebungen, da aggregierte Metriken kritische Verhaltensheterogenitäten verbergen.
Das Reward-Engineering muss berücksichtigen, wie Belohnungskomponenten nicht nur die Policy-Aktionen, sondern den fundamentalen Repräsentationsfokus des Agenten verändern.

Die Studie kommt zu dem Schluss, dass Aufmerksamkeitsgewichte zwar nicht immer erklären können, warum eine Entscheidung getroffen wurde, sie aber zuverlässig offenbaren, worauf der Agent trainiert wurde, was sie zu einer lebenswichtigen Komponente der Validierung von Belohnungsdesigns macht.