World Model Failure Classification and Anomaly Detection for Autonomous Inspection

Probleemstelling

Autonome inspectierobots worden steeds vaker ingezet om industriële locaties te monitoren, wat kosten en risico's voor menselijke inspecteurs verlaagt. Echter, het verkrijgen van accurate metingen (zoals aflezingen van meetinstrumenten of "gauges") is uitdagend door factoren zoals:

• Occlusies: Instrumenten die deels bedekt zijn door andere apparatuur.
• Beperkte gezichtsvelden: Het instrument is niet volledig zichtbaar.
• Onverwachte omgevingscondities: Glans, schaduwen of slechte verlichting die buiten de trainingsdistributie vallen.

Bestaande systemen hebben moeite om onderscheid te maken tussen bekende fouten (bijv. een robot die een instrument mist) en Out-of-Distribution (OOD) anomalieën (nieuwe, onbekende omstandigheden). Als een robot een gevaarlijke aflezing mist of niet reageert op een anomalie, kan dit leiden tot ernstige veiligheidsrisico's. Er is behoefte aan een systeem dat niet alleen fouten detecteert, maar ook classificeert of het een bekende fout is of een onbekende anomalie, zodat de robot adequaat kan reageren.

Methodologie

De auteurs stellen een hybride raamwerk voor dat supervised failure classification (geclassificeerde fouten) combineert met anomaly detection (OOD-detectie) op basis van een wereldmodel (world model) en conformal prediction (CP).

1. Architectuur en Wereldmodel:

   • Het systeem gebruikt een wereldmodel-ruggengraat (gebaseerd op de NVIDIA Cosmos Tokenizer) om toekomstige videoframes te voorspellen op basis van ingevoerde frames.
   • De video-invoer wordt gecomprimeerd en getokeniseerd. Het model leert de dynamiek van de omgeving en de camera-pan-tilt-zoom (PTZ) bewegingen.
   • Er worden twee aparte modellen getraind: één op succesvolle data en één op bekende fouten (bijv. occlusie, slechte hoek).

2. Decision Functies en Conformal Prediction:

   • Het systeem gebruikt twee beslissingsfuncties: $D_{success}$ en $D_{fail}$.
   • Voor elke traject (videosequentie) worden scores berekend op basis van de voorspellingsfouten van de modellen (bijv. latent prediction error).
   • Conformal Prediction (CP) wordt gebruikt om drempelwaarden ($\eta_s$ en $\eta_f$) te kalibreren. Deze drempels worden bepaald op basis van een calibratiedataset en zorgen voor statistisch gegarandeerde betrouwbaarheid.
   • Classificatielogica:
     • Succes: $D_{success}=0$ en $D_{fail}=1$ (binnen de succes-drempel, buiten de fout-drempel).
     • Bekende Fout: $D_{success}=1$ en $D_{fail}=0$ (binnen de fout-drempel, buiten de succes-drempel).
     • Anomalie (OOD): $D_{success}=1$ en $D_{fail}=1$ (buiten beide drempels). Dit betekent dat de invoer afwijkt van zowel de succes- als de bekende-fout distributie.

3. Dataset:

   • De dataset bestaat uit 290 video's (gemiddeld 10 seconden) verzameld in kantoor- en industriële omgevingen.
   • Indeling: Succes, Bekende Fouten (occlusie, verkeerde hoek), en OOD (schaduwen, glans, wazigheid).

Belangrijkste Bijdragen

1. Hybride Detector: Een uniek systeem dat zowel bekende fouten (voor corrigerende acties) als onbekende anomalieën (voor waarschuwingen) detecteert binnen één raamwerk.
2. Gecalibreerde Drempels: Het gebruik van Conformal Prediction om drempelwaarden te stellen die policy-agnostisch en distributie-vrij zijn, waardoor robuuste classificatie mogelijk is zonder expliciete labels voor alle mogelijke fouten.
3. Real-time Implementatie: Succesvolle implementatie en evaluatie op een Boston Dynamics Spot-robot in een echte inspectiescenario.
4. Datakwaliteitsfeedback: Het systeem kan dienen als feedbackmechanisme om de kwaliteit van trainingsdata te beoordelen en gerichte datacollectie te sturen.

Resultaten

De prestaties zijn geëvalueerd op basis van classificatie-accuratesse en detectietijd (vergeleken met een menselijke waarnemer).

• Accuratesse:
  • Het systeem bereikte >90% accurate classificatie in het onderscheiden van succes, bekende fouten en OOD-cases.
  • De Latent Prediction Error (fout in de voorspelde latente representatie) bleek de meest betrouwbare metriek, met een accuratesse van ongeveer 91% bij een 90% quantiel-drempel.
  • De Mahalanobis-afstand toonde de beste scheiding (100% OOD-detectie), maar was vatbaar voor overfitting en instabiliteit in hoge dimensies, wat leidde tot meer vals-positieven.
• Detectietijd:
  • Het systeem detecteerde fouten en anomalieën gemiddeld 1 tot 3 seconden eerder dan een menselijke waarnemer.
  • Dit komt doordat het model subtiel visuele of latente patronen herkent die voorafgaan aan de zichtbare fout.
• Hardware-deployatie:
  • Het systeem werd gedemonstreerd op een Boston Dynamics Spot. Hoewel de inferentie extern werd gehost vanwege bandbreedtebeperkingen, is het systeem lichtgewicht genoeg (ca. 1,5 GB opslag) voor on-board deployatie.
  • De reactietijd was voldoende voor real-time toepassingen, waarbij de robot bij een OOD-geval automatisch inzoomt en bij een bekende fout de inspectie hervat.

Betekenis en Toekomstperspectief

Dit werk markeert een belangrijke stap in het veiligstellen van autonome systemen in kritieke industriële omgevingen. Door niet alleen te vertrouwen op "black-box" anomaliedetectie, maar ook kennis van bekende fouten te integreren, kan het systeem informatieve acties ondernemen (bijv. "probeer opnieuw" vs. "stop en waarschuw").

• Veiligheid: Het biedt een vroege waarschuwingssysteem dat voorkomt dat robots gevaarlijke situaties missen of onterecht doorgaan met onbetrouwbare metingen.
• Trainingsdata-optimalisatie: Het systeem kan helpen bij het identificeren van gaten in trainingsdata, wat leidt tot betere modellen door gerichte datacollectie.
• Toekomstige verbeteringen: De auteurs suggereren het gebruik van adaptieve, tijdvariërende CP-drempels om distributieveranderingen (distribution shift) beter aan te pakken, en het integreren van semantische foutdetectie voor een menselijker begrip van de omgeving.

Kortom, dit paper presenteert een robuust, real-time raamwerk dat autonome inspectie veiliger en betrouwbaarder maakt door een combinatie van wereldmodellen en statistische onzekerheidskalibratie.