⚡ electrical engineering

Safety with Agency: Human-Centered Safety Filter with Application to AI-Assisted Motorsports

Dieses Paper stellt einen menschenzentrierten Sicherheitsfilter (HCSF) für die geteilte Autonomie vor, der durch eine neuartige, modellfreie Steuerung die Sicherheit in komplexen Szenarien wie dem Motorsport erhöht, ohne dabei die menschliche Handlungsfreiheit oder den Fahrkomfort einzuschränken.

Ursprüngliche Autoren: Donggeon David Oh, Justin Lidard, Haimin Hu, Himani Sinhmar, Elle Lazarski, Deepak Gopinath, Emily S. Sumner, Jonathan A. DeCastro, Guy Rosman, Naomi Ehrich Leonard, Jaime Fernández Fisac

Veröffentlicht 2026-02-12

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Donggeon David Oh, Justin Lidard, Haimin Hu, Himani Sinhmar, Elle Lazarski, Deepak Gopinath, Emily S. Sumner, Jonathan A. DeCastro, Guy Rosman, Naomi Ehrich Leonard, Jaime Fernández Fisac

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Der „sanfte Co-Pilot“: Warum KI beim Autofahren nicht wie ein nervöser Fahrschüler sein sollte

Stell dir vor, du sitzt in einem extrem schnellen Rennwagen. Du liebst das Adrenalin, du liebst die Kontrolle. Plötzlich merkst du, dass du eine Kurve zu schnell ansteuerst. In diesem Moment gibt es zwei Arten von „digitalen Schutzengeln“, die eingreifen könnten:

1. Der „Panik-Schutzengel“ (Das bisherige System):
Das ist wie ein Fahrschüler, der erst in der allerletzten Millisekunde mit voller Wucht in das Lenkrad greift und die Bremse tritt. Er rettet dich zwar vor der Wand, aber es fühlt sich an wie ein Schlag in den Bauch. Du erschrickst, verlierst das Gefühl für das Auto und fragst dich: „Was zur Hölle war das gerade?“ In der Fachsprache nennen Forscher das „Automation Surprise“ – der Moment, in dem der Mensch nicht mehr versteht, warum die Maschine plötzlich das Kommando übernimmt.

2. Der „sanfte Co-Pilot“ (Die neue Methode der Forscher – HCSF):
Die Forscher haben nun etwas entwickelt, das eher wie ein erfahrener Rennfahrer wirkt, der neben dir sitzt. Er greift nicht erst ein, wenn es knallt, sondern er „flüstert“ dem Auto quasi durch winzige, fast unmerkliche Korrekturen zu: „Ein bisschen mehr Bremse, ein winziges Stück mehr Lenken nach links...“

Wie funktioniert das „Gehirn“ dieses Co-Piloten?

Die Forscher nutzen eine Methode, die sie HCSF nennen. Man kann es sich wie einen unsichtbaren Sicherheits-Ring um das Auto herum vorstellen.

Lernen durch Erfahrung: Anstatt dem Computer mühsam mathematische Formeln über die Physik des Autos beizubringen (was bei komplexen Rennwagen fast unmöglich ist), lässt man die KI einfach Millionen Mal „virtuell“ fahren. Sie lernt durch Ausprobieren: „Wenn ich so fahre, knallt es; wenn ich so fahre, bleibe ich auf der Strecke.“
Der „sanfte Nudge“ (Der sanfte Stupser): Das Besondere ist die Mathematik dahinter. Die KI berechnet ständig: „Was will der Mensch gerade tun? Und wie kann ich seine Entscheidung nur so minimal verändern, dass er trotzdem sicher bleibt?“ Es ist wie ein Tanz: Die KI korrigiert dich nicht gegen deinen Willen, sondern sie lenkt deine Energie sanft in die richtige Richtung.

Was haben die Tests ergeben?

Die Forscher haben das Ganze in einem hochrealistischen Rennsimulator (Assetto Corsa) mit 83 echten Menschen getestet. Das Ergebnis war eindeutig:

Sicherheit ohne Stress: Die Leute sind viel seltener von der Strecke abgekommen oder gegen andere Autos gekracht.
Du bist immer noch der Chef: Die Fahrer fühlten sich nicht mehr wie Passagiere, die nur noch zuschauen. Sie hatten das Gefühl, die Kontrolle zu behalten („Human Agency“), weil die Korrekturen so flüssig und natürlich waren.
Kein Magenbrechgefühl: Da die Eingriffe nicht mehr so ruckartig und „hölzern“ waren, war das Fahren viel komfortabler und weniger erschreckend.
Glückliche Fahrer: Die Teilnehmer waren insgesamt viel zufriedener mit der Unterstützung als mit den alten, abrupten Systemen.

Das Fazit in einem Satz:

Anstatt den Menschen im entscheidenden Moment zu „überfahren“, lernt diese neue KI, wie ein unsichtbarer, sanfter Helfer zu agieren, der dich sicher ans Ziel bringt, ohne dir das Gefühl zu geben, dass du nur noch ein Zuschauer in deinem eigenen Auto bist.

Technische Zusammenfassung: Human-Centered Safety Filter (HCSF)

1. Problemstellung

In hochdynamischen und sicherheitskritischen Umgebungen, wie dem Motorsport (Shared Autonomy), stellt die Integration von KI eine Herausforderung dar: Wie kann eine KI den Menschen unterstützen, ohne dessen Handlungsspielraum (Human Agency) zu untergraben oder durch abrupte Eingriffe („Automation Surprise“) Unbehagen und Kontrollverlust zu verursachen?

Herkömmliche Sicherheitsfilter (z. B. Last-Resort Safety Filters – LRSF) greifen oft erst im letzten Moment massiv ein. Dies führt zu diskontinuierlichen, ruckartigen Korrekturen, die die intuitive Kontrolle des Fahrers stören und das Vertrauen in das System untergraben können. Zudem erfordern klassische modellbasierte Ansätze (wie Control Barrier Functions – CBF) oft eine genaue Kenntnis der Systemdynamik, was bei komplexen „Black-Box“-Systemen (wie High-Fidelity-Simulatoren) problematisch ist.

2. Methodik

Die Autoren schlagen einen Human-Centered Safety Filter (HCSF) vor, der auf zwei theoretischen Säulen basiert: der Hamilton-Jacobi (HJ) Reachability Analysis und Discrete-Time Control Barrier Functions (DCBF).

Modellfreier Ansatz (Q-CBF): Anstatt die Systemdynamik explizit zu modellieren, nutzen die Autoren Reinforcement Learning (RL), um eine neuronale Sicherheits-Wertfunktion $Q(x, u)$ zu lernen. Diese Funktion beschreibt den sichersten verfügbaren Wert für einen gegebenen Zustand $x$ und eine Aktion $u$ .
Q-CBF Constraint: Die Kerninnovation ist die Einführung einer neuartigen Sicherheitsbedingung, der Q-CBF. Im Gegensatz zu herkömmlichen CBFs, die die Dynamik $\Delta h(x, u)$ benötigen, nutzt der HCSF die Bedingung:
$Q(x, u) \geq \gamma V(x)$
Hierbei ist $V(x)$ die Sicherheitswertfunktion und $\gamma \in [0, 1)$ ein Parameter, der steuert, wie schnell die Sicherheit abnehmen darf. Da $Q$ direkt aus Black-Box-Interaktionen gelernt wurde, ist für die Anwendung zur Laufzeit kein Wissen über die Systemdynamik erforderlich.
Optimierung der Intervention: Der HCSF löst in jedem Zeitschritt ein Optimierungsproblem, das die vom Menschen gewählte Aktion $u_{human}$ so wenig wie möglich verändert, während die Q-CBF-Bedingung erfüllt bleibt:
$\min_{u \in U} \|u_{human}(x) - u\|^2 \quad \text{s.t. } Q(x, u) \geq \gamma V(x)$
Dies führt zu sanften „Nudges“ (Anstößen) anstelle von abrupten Übernahmen.

3. Key Contributions (Hauptbeiträge)

Erster vollkommen modellfreier CBF-Sicherheitsfilter: Die Synthese und Anwendung erfolgt ohne Kenntnis der zugrunde liegenden physikalischen Modelle.
Skalierbarkeit: Durch den Einsatz von Deep RL kann der Filter auf hochdimensionale Zustandsräume (hier: 133 Dimensionen im Rennsimulator) angewendet werden.
Förderung der Human Agency: Der Filter ist explizit darauf ausgelegt, die Intention des Menschen zu respektieren und die Interventionen minimal und glatt zu gestalten.
Validierung in einer High-Fidelity-Umgebung: Einsatz im Simulator Assetto Corsa unter realen Bedingungen mit menschlichen Fahrern unterschiedlicher Skill-Level.

4. Ergebnisse

Die Autoren führten eine umfassende Nutzerstudie mit 83 Teilnehmern durch und verglichen den HCSF mit einem herkömmlichen LRSF und unassistiertem Fahren.

Robustheit: Der HCSF reduzierte Vorfälle (Abkommen von der Strecke, Kollisionen) im Vergleich zum unassistierten Fahren drastisch und war mindestens so robust wie der LRSF.
Human Agency & Komfort: Der HCSF verbesserte die wahrgenommene Kontrolle (Agency) und den Fahrkomfort (gemessen an Jerk und Eingangsänderungen) signifikant gegenüber dem LRSF. Während der LRSF die Agency durch abrupte Eingriffe senkte, hielt der HCSF sie auf einem Niveau, das dem unassistierten Fahren nahekam.
Zufriedenheit: Teilnehmer berichteten über eine signifikant höhere Gesamtzufriedenheit mit dem HCSF im Vergleich zu beiden anderen Gruppen.
Transparenz: Durch visuelle Hinweise (Pfeile auf dem Bildschirm, die die Korrekturen der KI anzeigen) wurde die Zusammenarbeit zwischen Mensch und KI verbessert.

5. Signifikanz

Die Arbeit ist wegweisend für die Shared Autonomy. Sie zeigt, dass Sicherheit und menschliche Autonomie kein Nullsummenspiel sein müssen. Durch den mathematisch fundierten, aber modellfreien Ansatz kann die Technologie auf eine Vielzahl komplexer, realer Systeme übertragen werden (z. B. Fahrerassistenzsysteme, Robotik), bei denen die Dynamik zu komplex für klassische Modelle ist. Der HCSF bietet einen Weg, KI-Assistenten zu schaffen, die als vertrauenswürdige, sanfte Partner agieren, anstatt als störende, unvorhersehbare Korrektoren.