💻 computer science

World Model Failure Classification and Anomaly Detection for Autonomous Inspection

Die Autoren stellen einen hybriden, policy-agnostischen Rahmen vor, der ein Weltmodell mit konformer Vorhersage kombiniert, um autonome Inspektionsaufgaben in Echtzeit erfolgreich, als bekannte Fehler oder als Anomalien zu klassifizieren und dabei menschliche Beobachter zu übertreffen.

Ursprüngliche Autoren: Michelle Ho, Muhammad Fadhil Ginting, Isaac R. Ward, Andrzej Reinke, Mykel J. Kochenderfer, Ali-akbar Agha-Mohammadi, Shayegan Omidshafiei

Veröffentlicht 2026-02-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Michelle Ho, Muhammad Fadhil Ginting, Isaac R. Ward, Andrzej Reinke, Mykel J. Kochenderfer, Ali-akbar Agha-Mohammadi, Shayegan Omidshafiei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen hochintelligenten Roboter-Hund (wie den Boston Dynamics Spot), der in einer riesigen Fabrik oder einem Büro arbeitet. Seine Aufgabe ist es, wie ein menschlicher Inspektor herumzulaufen und auf vielen verschiedenen Messgeräten (den sogenannten "Manometern" oder Druckmessern) die Werte abzulesen.

Das Problem: Die Welt ist chaotisch. Manchmal ist das Messgerät verdeckt, manchmal blendet das Licht, manchmal ist es unscharf. Ein menschlicher Inspektor würde sofort sagen: "Aha, hier kann ich nichts lesen, ich muss mich neu positionieren!" Ein normaler Roboter hingegen könnte versuchen, einen Wert zu erraten, der falsch ist – und das könnte im schlimmsten Fall zu einem Unfall führen.

Diese Forscher haben eine Lösung entwickelt, die man sich wie einen doppelten Sicherheitswächter vorstellen kann. Hier ist die Erklärung in einfachen Worten:

1. Der "Zukunfts-Prophet" (Das Weltmodell)

Stellen Sie sich vor, der Roboter hat ein inneres Gehirn, das wie ein Filmemacher funktioniert. Er schaut sich das aktuelle Bild des Messgeräts an und versucht, den nächsten Frame des Videos vorherzusagen.

Normalfall (Erfolg): Wenn alles klar ist, sagt der Roboter: "Ich sehe das Zifferblatt klar, also wird das nächste Bild auch klar sein." Das passt perfekt.
Problemfall: Wenn das Licht plötzlich blendet oder ein Schatten das Bild verdeckt, sagt das Gehirn: "Moment, das nächste Bild sollte eigentlich so aussehen, aber es sieht ganz anders aus!" Der Unterschied zwischen der Vorhersage und der Realität ist das Warnsignal.

2. Die zwei Wächter im Kontrollraum

Anstatt nur zu sagen "Es ist komisch", hat das Team zwei spezielle Wächter (Modelle) eingestellt, die mit Hilfe einer cleveren statistischen Methode namens Konforme Vorhersage (stellen Sie sich das wie einen sehr genauen Zollstock vor, der nicht falsch misst) entscheiden:

Wächter A (Der Erfolgs-Experte): Er kennt nur die perfekten, klaren Bilder. Wenn das Bild davon abweicht, sagt er: "Hey, das ist kein perfekter Erfolg mehr!"
Wächter B (Der Fehler-Experte): Er wurde mit Bildern trainiert, bei denen das Messgerät verdeckt oder schief war. Wenn er so etwas sieht, sagt er: "Das ist ein bekannter Fehler, ich kenne das!"

3. Die drei möglichen Urteile

Das System kombiniert die Meinungen dieser beiden Wächter, um sofort zu entscheiden, was zu tun ist:

Erfolg (Success): Beide Wächter sind zufrieden. Der Roboter liest den Wert ab und geht zum nächsten Gerät.
Bekannter Fehler (Known Failure): Der "Fehler-Experte" schreit "Stopp!", aber der "Erfolgs-Experte" ist ruhig.
- Was bedeutet das? Der Roboter weiß genau, was los ist (z. B. "Das Messgerät ist verdeckt"). Er kann eine spezifische Aktion ausführen, z. B. "Ich bewege mich ein bisschen zur Seite, um es freizumachen."
Anomalie / Unbekanntes (Anomaly / OOD): Beide Wächter schreien "Stopp!".
- Was bedeutet das? Das Gehirn des Roboters ist völlig verwirrt. Es sieht etwas, das weder einem perfekten Bild noch einem bekannten Fehler gleicht (z. B. extreme Spiegelungen oder ein völlig neues Hindernis).
- Die Reaktion: Der Roboter weiß nicht, was er tun soll. Er stoppt sofort und ruft einen Menschen zur Hilfe, anstatt blindlings einen falschen Wert zu melden.

Warum ist das so genial?

Früher als der Mensch: In Tests hat das System Fehler oft 1 bis 3 Sekunden früher erkannt als ein menschlicher Beobachter. Das ist wie ein Bremsassistent im Auto, der schon bremst, bevor Sie das Hindernis richtig sehen.
Keine Panik bei Neuem: Früher mussten Roboter für jeden denkbaren Fehler trainiert werden. Dieses System erkennt auch Dinge, die es noch nie gesehen hat, und sagt einfach: "Ich bin mir nicht sicher, bitte helfe mir."
Echtzeit-Fähigkeit: Es läuft so schnell, dass es sogar auf einem echten Roboter-Hund in einer echten Fabrik funktioniert hat.

Zusammenfassung mit einer Analogie

Stellen Sie sich vor, Sie spielen ein Videospiel.

Ein normaler Roboter läuft blind weiter, auch wenn er gegen eine unsichtbare Wand läuft.
Ein Roboter mit diesem neuen System hat einen Zauberspiegel.
- Wenn er sieht, dass der Weg klar ist, läuft er weiter.
- Wenn er sieht, dass er gegen eine bekannte Wand läuft, weicht er aus.
- Wenn der Spiegel plötzlich rot aufleuchtet und alles verzerrt ist (etwas völlig Unbekanntes), bleibt er stehen und ruft: "Chef, hier stimmt was nicht, ich weiß nicht weiter!"

Dieses System macht autonome Roboter nicht nur schneller, sondern vor allem sicherer, indem es verhindert, dass sie in kritischen Situationen falsche Entscheidungen treffen.

1. Problemstellung

Autonome Inspektionsroboter versprechen, Kosten und Risiken bei der Überwachung industrieller Anlagen zu senken. Ein zentrales Hindernis für den zuverlässigen Einsatz ist jedoch die Fähigkeit des Roboters, korrekte Messwerte (z. B. von Druck- oder Temperaturmessgeräten) auch unter schwierigen Bedingungen zu erfassen. Herausforderungen entstehen durch:

Okklusionen: Verdeckte Instrumente durch andere Ausrüstung.
Eingeschränkte Sichtwinkel: Unzureichende Ausrichtung der Kamera.
Umweltbedingungen: Glare (Spiegelungen), Schatten, Unschärfe oder schlechte Beleuchtung.

Das Ziel ist nicht nur die Erkennung von bekannten Fehlermustern (z. B. wenn das Messgerät verdeckt ist), sondern auch die Identifizierung von Out-of-Distribution (OOD)-Fällen, also Situationen, die während des Trainings nicht gesehen wurden. Herkömmliche Ansätze scheitern oft daran, dass sie entweder nur bekannte Fehler klassifizieren oder nur Anomalien erkennen, ohne spezifische Handlungsempfehlungen für bekannte Fehler zu geben.

2. Methodik

Die Autoren schlagen einen hybriden Rahmenwerk vor, der überwachtes Fehler-Clustering (Supervised Failure Classification) mit Anomalieerkennung (Anomaly Detection) kombiniert.

Architektur (World Model Backbone):
- Das System nutzt ein Weltmodell (basierend auf dem NVIDIA Cosmos Tokenizer), das Videoframes komprimiert und zukünftige Frames vorhersagt.
- Es werden zwei separate Modelle trainiert: eines auf Daten von erfolgreichen Inspektionen ( $M_{success}$ ) und eines auf Daten von bekannten Fehlern ( $M_{fail}$ ).
- Die Modelle lernen, die nächste Frame-Sequenz basierend auf der aktuellen Eingabe vorherzusagen. Abweichungen zwischen Vorhersage und Realität dienen als Anomalie-Score.
Entscheidungslogik:
- Das System verwendet zwei Entscheidungsfunktionen, $D_{success}$ und $D_{fail}$ , die auf den Scores der jeweiligen Modelle basieren.
- Die Klassifizierung erfolgt wie folgt:
  - Erfolg (Success): Nur $D_{success}$ wird ausgelöst (Score unter dem Schwellenwert).
  - Bekannter Fehler (Known Failure): Nur $D_{fail}$ wird ausgelöst (der Fehler ist bekannt und trainiert).
  - Anomalie (OOD): Beide Entscheidungsfunktionen werden ausgelöst ( $D_{success}=1$ und $D_{fail}=1$ ), da das Eingabematerial von beiden Trainingsverteilungen abweicht.
Konforme Vorhersage (Conformal Prediction - CP):
- Um robuste Schwellenwerte ( $\eta_s, \eta_f$ ) zu bestimmen, wird CP verwendet. Dies kalibriert die Scores basierend auf einem Kalibrierungsdatensatz.
- Der Ansatz ist policy-agnostisch (unabhängig von der Steuerungsstrategie des Roboters) und verteilungsfrei.
- Es werden verschiedene Metriken zur Berechnung der Scores getestet, darunter Rekonstruktionsfehler, Latent Prediction Error (Abweichung im latenten Raum) und Mahalanobis-Distanz.

3. Wichtige Beiträge

Hybrider Detektor: Eine Kombination aus klassifizierendem Fehler-Clustering (für bekannte Fälle) und OOD-Erkennung (für unbekannte Fälle) in einem einzigen Framework.
Kalibrierte Schwellenwerte: Nutzung von Konformer Vorhersage, um feste Schwellenwerte zu definieren, die eine zuverlässige Trennung zwischen Erfolg, bekanntem Fehler und OOD ermöglichen.
Evaluation auf realen Daten: Das Framework wurde mit einem Datensatz aus Büro- und Industrieanlagen getestet, der 290 Videos (Erfolge, Fehler, OOD) umfasst.
Echtzeit-Deployment: Die erfolgreiche Implementierung und Demonstration auf einem Boston Dynamics Spot-Roboter in einer echten Inspektionsumgebung.

4. Ergebnisse

Die Experimente wurden mit verschiedenen Metriken und Quantilen (90%, 95%, 100%) durchgeführt:

Genauigkeit:
- Der Latent Prediction Error (Abweichung der latenten Vorhersage) erzielte die beste Balance mit einer Genauigkeit von über 90% bei der Unterscheidung zwischen Erfolg, bekanntem Fehler und OOD-Fällen (bei 90% Quantil).
- Die Mahalanobis-Distanz zeigte zwar eine perfekte Trennung (100%), neigte aber zu Overfitting und war instabil in hochdimensionalen Räumen.
- Rekonstruktionsfehler und Trainingsverluste schnitten schlechter ab, da sie oft nicht stark genug zwischen nominalen und anomalen Daten unterscheiden.
Detektionszeit:
- Das System konnte Fehler früher erkennen als ein menschlicher Beobachter.
- Der Latent Prediction Error erkannte Fehler im Durchschnitt 1 bis 3 Sekunden früher als ein Mensch.
- Die Mahalanobis-Distanz war zwar noch früher, aber aufgrund der hohen Fehlalarmrate weniger praktikabel.
Hardware-Tests:
- Das System lief erfolgreich auf einem Spot-Roboter. Die Inferenz erfolgte zwar extern (aufgrund von Speicherbeschränkungen), aber der gesamte Pipeline-Aufwand ist gering (< 1,5 GB Speicherbedarf), was ein Onboard-Deployment in Zukunft ermöglicht.
- Das System reagierte angemessen: Bei Erfolg wartete es, bei bekanntem Fehler wurde das Messgerät für einen späteren Neustart markiert, und bei OOD-Eingaben (z. B. Unschärfe) initiierte der Roboter automatisch einen Zoom-Vorgang.

5. Bedeutung und Ausblick

Dieses Paper demonstriert einen wichtigen Schritt hin zu robusteren autonomen Inspektionssystemen.

Sicherheit: Durch die frühe Erkennung von Fehlern und Anomalien können kritische Sicherheitsrisiken (z. B. übersehene Druckwerte) minimiert werden.
Datenqualität: Das Framework dient nicht nur der Runtime-Überwachung, sondern kann auch als Feedback-Signal für das Training genutzt werden, um Lücken in den Trainingsdaten zu identifizieren und gezielt neue Daten zu sammeln.
Skalierbarkeit: Der Ansatz ist flexibel und kann auf verschiedene Inspektionsaufgaben übertragen werden, ohne dass für jede neue Fehlerart ein komplett neues Modell trainiert werden muss.

Zukünftige Arbeiten sollen adaptive, zeitvariante Schwellenwerte (z. B. mittels Martingalen) einführen, um Verteilungsverschiebungen (Distribution Shifts) besser zu handhaben, und die Architektur weiter vereinfachen, indem ein einzelnes Modell mit Klassifikationskopf anstelle mehrerer Modelle verwendet wird.