💻 computer science

Anomaly-Informed Confidence Calibration for Vision-Based Safety Prediction

Dieser Artikel schlägt eine Anomalieinformierte Online-Kalibrierung vor, die Anomaliewerte für Wahrnehmung und Dynamik aus einem Weltmodell fusioniert, um Konfidenzschätzungen durch Temperaturskalierung dynamisch anzupassen, wodurch die Zuverlässigkeit der Sicherheitsvorhersage bei realen Verteilungsverschiebungen im autonomen Rennsport erheblich verbessert wird, ohne dass ein Nachtrainieren des Modells erforderlich ist.

Ursprüngliche Autoren: Zhenjiang Mao, Jiawen Wu, Gabriel Wagner, Zhongzheng Zhang, Ivan Ruchkin

Veröffentlicht 2026-05-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhenjiang Mao, Jiawen Wu, Gabriel Wagner, Zhongzheng Zhang, Ivan Ruchkin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten ein selbstfahrendes Rennauto darin, auf der Strecke zu bleiben. Das Auto verfügt über ein „Gehirn" (einen Sicherheitsvorhersager), das den Kamerabildstrom analysiert und sagt: „Ich bin zu 99 % sicher, dass ich sicher bin!" oder „Ich bin zu 50 % sicher, dass ich sicher bin!"

Das Problem ist, dass das Gehirn des Autos, wenn die Welt seltsam wird – etwa wenn es dunkel wird, die Kamera unscharf wird oder der Lenkradmechanismus klebrig wird – oft gefährlich übermäßig selbstbewusst wird. Es sagt weiterhin „99 % sicher!", obwohl es kurz vor einem Unfall steht. Das ist vergleichbar mit einem Wettervorhersager, der „100 % Sonnenschein" ankündigt, während ein Hurrikan zuschlägt.

Diese Arbeit stellt eine neue Methode vor, um dieses Selbstvertrauen zu korrigieren, genannt Anomalieinformierte Vertrauenskalibrierung. So funktioniert es, aufgeteilt in einfache Konzepte:

1. Der blinde Fleck: „Die Lücke zwischen Wahrnehmung und Dynamik"

Aktuelle Systeme haben einen blinden Fleck. Sie sind hervorragend darin, visuelle Probleme zu erkennen (wie einen dunklen Tunnel oder eine unscharfe Linse). Aber sie sind schlecht darin, mechanische Probleme zu erkennen (wie einen verzögerten Lenkmotor oder Bremsen, die zu empfindlich sind).

Die Analogie: Stellen Sie sich einen Fahrer vor, der auf eine Straße blickt. Wenn es zu regnen beginnt (visuell), sehen sie, dass die Straße nass wird. Aber wenn die Lenksäule zu kleben beginnt (Dynamik), sieht die Straße perfekt normal aus, aber das Auto lenkt nicht korrekt. Alte Systeme schauen nur auf die Straße; sie übersehen die klebende Lenksäule.

2. Die Lösung: Ein „Zwei-Sinne"-Detektiv

Die Autoren haben ein System entwickelt, das wie ein Detektiv mit zwei verschiedenen Sinnen funktioniert, um herauszufinden, warum das Auto in Schwierigkeiten geraten könnte. Sie verwenden ein „Weltmodell" (ein Simulator im Gehirn des Autos), um zwei spezifische Scores zu generieren:

Sinn 1: Der visuelle Score (Wahrnehmung): Dieser prüft: „Sieht das Bild seltsam aus?" (z. B. Ist es zu dunkel? Ist es unscharf?). Es ist wie das Prüfen, ob Ihre Augen richtig funktionieren.
Sinn 2: Der Bewegungsscore (Dynamik): Dieser prüft: „Bewegt sich das Auto so, wie es sollte?" Er betrachtet die Lenkbefehle und die tatsächliche Bewegung des Autos. Wenn das Auto versucht zu lenken, die Räder aber nicht reagieren, steigt dieser Score an, selbst wenn das Kamerabild perfekt aussieht.

3. Die Korrektur: Der „Vertrauens-Thermostat"

Sobald das System weiß, was falsch ist und wie schlimm es ist, passt es das Vertrauen des Autos mithilfe eines „Thermostats" an.

Normaler Tag: Wenn alles normal aussieht und sich normal bewegt, bleibt der Thermostat auf einer angenehmen Einstellung. Das Auto behält sein hohes Vertrauen bei.
Seltsamer Tag: Wenn der visuelle Score oder der Bewegungsscore ansteigt, dreht der Thermostat die „Temperatur" hoch. Dies zwingt das Vertrauen des Autos, näher an 50/50 zu sinken.
- Metapher: Anstatt zu schreien „Ich bin zu 100 % sicher!", flüstert das Auto: „Ich bin mir nicht mehr so sicher, vielleicht sollte ich langsamer fahren."

4. Wie sie es trainierten (ohne etwas zu zerstören)

Das Tolle ist, dass sie das Hauptgedächtnis des Autos nicht neu trainieren oder ihm das Fahren erneut beibringen mussten.

Sie nahmen das bestehende Autogehirn und fügten oben einen kleinen „Kalibrierer"-Modul hinzu.
Sie trainierten diesen Kalibrierer mit simulierten Störungen (wie dem Hinzufügen von digitalem Rauschen oder dem Verlangsamen der Lenkung in einer Computersimulation).
Sie bewiesen, dass das, was der Kalibrierer aus diesen Simulationen lernte, tatsächlich auf reale Probleme (wie echte Dunkelheit oder echte mechanische Verzögerungen) funktionierte, die er zuvor nie gesehen hatte.

Die Ergebnisse

Sie testeten dies an einem physischen ferngesteuerten Rennauto (ein DonkeyCar) auf einer echten Strecke.

Das Problem: Ohne diese Korrektur lag das Auto in 18,4 % der Fälle falsch bezüglich seiner Sicherheit (Erwarteter Kalibrierungsfehler).
Die Korrektur: Mit ihrem neuen System sank der Fehler auf 11,6 %.
Der Sieg: Dies ist eine 37 %ige Verbesserung gegenüber den besten bestehenden Methoden. Das Auto wurde viel besser darin zu erkennen, wann es in Schwierigkeiten ist, insbesondere wenn die Schwierigkeiten mechanischer Natur waren (wie ein klebendes Lenkrad) und nicht nur visuell.

Kurz gesagt: Sie gaben dem selbstfahrenden Auto die Möglichkeit zu erkennen: „Hey, meine Augen funktionieren vielleicht gut, aber meine Beine verhalten sich seltsam", und gab dann höflich zu: „Okay, ich bin nicht so sicher, wie ich dachte", wodurch verhindert wurde, dass es selbstbewusst von einer Klippe fährt.

Technische Zusammenfassung: Anomalieinformierte Konfidenzkalibrierung für sicherheitskritische Vorhersagen auf visueller Basis

Problemstellung
Zuverlässige Konfidenzschätzungen sind entscheidend für den Einsatz von visuellen Reglern in sicherheitskritischen autonomen Systemen, wie beispielsweise beim autonomen Rennsport. Moderne Prädiktoren zeigen oft eine gefährliche Überzuversicht, wenn sie auf Verteilungsverschiebungen zur Laufzeit stoßen. Ein primäres Hindernis, das in dieser Arbeit identifiziert wurde, ist die „Wahrnehmungs-Dynamik-Lücke": Standard-Anomaliesignale (z. B. Rekonstruktionsfehler von Autoencodern) operieren ausschließlich im Beobachtungsraum. Sie detektieren visuelle Korruptionen (z. B. Dunkelheit, Unschärfe) effektiv, versagen jedoch bei der Erkennung von Dynamikanomalien (z. B. Aktorik-Bias, Steuerungsverzögerung, nicht modellierte Reibung), bei denen der Bildstrom plausibel bleibt, während die Fahrzeugbahn stillschweigend abweicht. Bestehende nachträgliche Kalibrierungsmethoden, wie die Standard-Temperaturskalierung, verlassen sich auf einen einzigen festen Skalar und verschlechtern sich unter Verteilungsverschiebungen erheblich. Umgekehrt verursachen reichhaltigere Unsicherheitsquantifizierungstechniken wie Deep Ensembles oder MC Dropout Rechenkosten, die mit der Echtzeitsteuerung unvereinbar sind, und behandeln alle Anomalien als monolithische Unsicherheitsquelle.

Methodik
Die Autoren schlagen ein Framework zur anomalieinformierten Online-Kalibrierung vor, das die Sicherheitskonfidenz anpasst, ohne den Basissicherheitsprädiktor neu zu trainieren. Der Ansatz integriert Signale aus einem eingefrorenen „Weltmodell" und Augmentierung zur Laufzeit (TTA) in einen leichten Kalibrator. Die Pipeline besteht aus vier Stufen:

Extraktion von Anomaliescores: Das Framework extrahiert zwei komplementäre, kontinuierliche Anomaliescores aus einem erlernten Weltmodell (ein VAE mit latenter Dynamik):
- Wahrnehmungsscore ( $\rho_i$ ): Abgeleitet aus dem mittleren pixelweisen Rekonstruktionsfehler des VAE-Decoders über ein Kontextfenster. Dies erfasst visuelle Verteilungsverschiebungen.
- Dynamikscore ( $\delta_i$ ): Abgeleitet aus der Mahalanobis-Distanz eines 12-dimensionalen Merkmalsvektors im Zustandsübergangsraum. Dieser Vektor umfasst Monte-Carlo-Dropout-Unsicherheitsschätzungen, Aktionsmusterstatistiken (z. B. Einfrieren-Raten, Ruck) und zeitliche Korrelationen. Dieser Score erfasst Anomalien in den Übergangsdynamiken, die Bilder visuell nominal belassen.
  Beide Scores werden unter Verwendung von In-Distribution-Statistiken auf $[0, 1]$ normalisiert.
Augmentierung zur Laufzeit (TTA): Um die visuelle Robustheit zu erhöhen, wird der Sicherheitsprädiktor $g$ auf dem Originalbild sowie auf $M=8$ augmentierten Versionen (zufällige photometrische Jitter und Gaußsches Rauschen) evaluiert. Die Vorhersagen werden gemittelt, um eine geglättete Basisvorhersage $\bar{p}_{i+k}$ zu erzeugen. Dieser Schritt reduziert die Empfindlichkeit gegenüber geringfügigen visuellen Störungen.
Anomaliebedingte Temperaturskalierung: Die Kerninnovation ist ein dynamischer Temperaturskalierungsmechanismus, bei dem die effektive Temperatur $T_{eff}$ eine Funktion der Anomaliescores ist:
$T_{eff} = T_k \cdot \exp(w_\rho \rho_i + w_\delta \delta_i)$
Hierbei ist $T_k$ eine Basistemperatur pro Vorhersagehorizont, und $w_\rho, w_\delta$ sind lernbare Gewichte. Wenn Anomalieevidenz ( $\rho_i, \delta_i$ ) zunimmt, steigt $T_{eff}$ , zieht die vorhergesagte Wahrscheinlichkeit in Richtung 0,5 und reduziert die Überzuversicht. Wenn keine Anomalien vorliegen, reduziert sich die Methode auf die Standard-Temperaturskalierung.
Trainingsregime: Der Kalibrator wird auf einer Mischung aus In-Distribution-Daten und synthetisch augmentierten Daten (unter Verwendung von Korruptionstypen, die von den Testprotokollen disjunkt sind) trainiert. Der Basissicherheitsprädiktor und das Weltmodell bleiben während des Kalibrierungstrainings eingefroren.

Hauptbeiträge

Online-Kalibrierungsframework: Eine Methode, die Anomalieevidenz aus einem Weltmodell mit TTA fusioniert, um die Sicherheitskonfidenz in Echtzeit anzupassen, ohne den Basisprädiktor neu zu trainieren.
Entkoppelte Anomaliescore-Erstellung: Eine Strategie, die Wahrnehmungs- und Dynamikscores trennt und die von rein visuellen Anomaliesignalen hinterlassene Wahrnehmungs-Dynamik-Lücke adressiert.
Physikalische Validierung: Eine Validierung auf einer physischen DonkeyCar-Plattform, die zeigt, dass eine auf synthetischen Augmentierungen trainierte Kalibrierung auf qualitativ unterschiedliche reale Korruptionen übertragbar ist.

Experimentelle Ergebnisse
Die Methode wurde auf einem physischen DonkeyCar unter vier nicht gesehenen realen Anomalieprotokollen evaluiert: Dunkelheit (visuell), Unschärfe (visuell), Aktuator-Bias (Dynamik) und Verarbeitungs-Latenz (Dynamik).

OOD-Detektion: Die fusionierten Anomaliescores erreichten eine mittlere AUROC von 0,830 zur Unterscheidung von In-Distribution- und OOD-Daten und übertrafen Baselines wie Feature-Norm (0,658) und vorhersageabgeleitete Heuristiken (ca. 0,54) signifikant. Bemerkenswert ist, dass der Dynamikscore erhebliche Gewinne bei der Erkennung von Aktuator-Bias und Latenz brachte, wo bildbasierte Methoden Schwierigkeiten hatten.
Kalibrierungsleistung: Die vorgeschlagene Methode reduzierte den durchschnittlichen Expected Calibration Error (ECE) von 0,184 (beste Baseline, DAC) auf 0,116, was einer Verbesserung von 37 % entspricht.
Ablationsstudien:
- Der Wahrnehmungsscore ( $\rho$ ) lieferte das dominante Kalibriersignal und reduzierte den OOD-Durchschnitts-ECE um 28 %, wenn er zu TTA hinzugefügt wurde.
- Der Dynamikscore ( $\delta$ ) trug komplementäre Robustheit bei, insbesondere zur Reduzierung der Varianz über verschiedene Seeds hinweg und zur Verbesserung der Erkennung dynamikspezifischer Anomalien, obwohl er den mittleren ECE nicht signifikant weiter senkte, wenn er zu TTA+ $\rho$ hinzugefügt wurde.
- Die Methode bewahrte die In-Distribution-Leistung und erreichte einen mittleren ECE von 0,121 auf dem zurückgehaltenen nominalen Testset.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass eine zuverlässige Konfidenzschätzung in sicherheitskritischer Robotik über die Kalibrierung mit einem einzelnen Skalar und die rein visuelle Anomalieerkennung hinausgehen muss. Durch die explizite Modellierung der „Wahrnehmungs-Dynamik-Lücke" und die Konditionierung der Kalibrierungstemperatur auf entkoppelte Anomalieevidenz kann das System die Überzuversicht unter Verteilungsverschiebungen selektiv reduzieren, während die nominale Leistung erhalten bleibt. Die Arbeit zeigt, dass synthetische Augmentierungen als struktureller Stellvertreter für reale Korruptionen dienen können, wodurch ein auf synthetischen Daten trainierter Kalibrator auf nicht gesehene physische Anomalien (z. B. Hardware-Degradation) generalisiert, ohne den zugrunde liegenden Sicherheitsprädiktor neu zu trainieren. Die Autoren weisen darauf hin, dass die Methode zwar eine starke Übertragbarkeit zeigt, die Extrapolation über den Trainings-Schweregradbereich hinaus jedoch eine Einschränkung bleibt.