World Model Failure Classification and Anomaly Detection for Autonomous Inspection

Titolo

Classificazione dei Fallimenti del Modello Mondiale e Rilevamento delle Anomalie per l'Ispezione Autonoma

1. Il Problema

I robot di ispezione industriale offrono vantaggi significativi in termini di costi e sicurezza rispetto alle ispezioni umane, ma affrontano sfide critiche nella lettura accurata degli strumenti (es. manometri) in ambienti complessi. Le difficoltà principali includono:

• Occlusioni e punti di vista limitati: Gli strumenti possono essere parzialmente nascosti o tagliati dal campo visivo.
• Condizioni ambientali impreviste: Riflessi, ombre e scarsa illuminazione possono portare a letture errate.
• Distinzione tra fallimenti noti e anomalie: È cruciale distinguere tra fallimenti sistemici noti (es. un manometro oscurato) e casi "Out-of-Distribution" (OOD), ovvero situazioni non viste durante l'addestramento (es. condizioni di luce estreme).
• Reattività: Il robot deve rilevare questi fallimenti in tempo reale, prima che un operatore umano possa intervenire, per prevenire rischi di sicurezza o errori di misurazione.

2. Metodologia

Gli autori propongono un framework ibrido che combina la classificazione supervisionata dei fallimenti con il rilevamento di anomalie (OOD), utilizzando un modello di "mondo" (World Model) come back-end.

Architettura e Flusso

• Modello di Base: Il sistema si basa su un World Model (adattato da NVIDIA Cosmos) che prevede i futuri fotogrammi video a partire da input compressi.
• Doppio Modello Predittivo: Vengono addestrati due modelli distinti:
  1. Un modello addestrato su dati di successo ($M_{success}$).
  2. Un modello addestrato su dati di fallimento noto ($M_{fail}$).
• Funzioni di Decisione: Il sistema utilizza due funzioni di decisione basate su punteggi di errore di previsione:
  • $D_{success}$: Rileva se l'input è un fallimento rispetto al modello di successo.
  • $D_{fail}$: Rileva se l'input è un successo rispetto al modello di fallimento.
• Logica di Classificazione:
  • Successo: $D_{success}=0$ e $D_{fail}=1$ (L'input è coerente con il successo e non con il fallimento).
  • Fallimento Conosciuto: $D_{success}=1$ e $D_{fail}=0$ (L'input è coerente con il fallimento noto).
  • Anomalia (OOD): $D_{success}=1$ e $D_{fail}=1$ (L'input è incoerente con entrambi i modelli, indicando una situazione non vista in addestramento).

Calibrazione con Conformal Prediction (CP)

Per garantire affidabilità statistica senza assumere distribuzioni specifiche, il framework utilizza la Conformal Prediction per calibrare le soglie ($\eta_s, \eta_f$).

• Vengono calcolati punteggi (es. errore di predizione latente, distanza di Mahalanobis) su set di calibrazione separati.
• Le soglie sono impostate a un quantile specifico (es. 90% o 95%) per bilanciare falsi positivi e falsi negativi.
• Questo approccio rende il sistema agnostico rispetto alla politica (policy-agnostic) e libero da distribuzioni (distribution-free).

3. Contributi Chiave

1. Rilevatore Ibrido: Unione di classificazione supervisionata (per fallimenti noti) e rilevamento OOD (per fallimenti nuovi) in un'unica architettura.
2. Soglie CP Calibrate: Utilizzo di metriche conformali per definire soglie di decisione robuste che distinguono tra successo, fallimento e OOD.
3. Validazione su Dati Reali: Valutazione su dataset raccolti in ambienti sia d'ufficio che industriali, comprendendo 290 video di ispezione di manometri.
4. Deploy Hardware in Tempo Reale: Implementazione e test su un robot Boston Dynamics Spot, dimostrando la fattibilità operativa.

4. Risultati Sperimentali

Il framework è stato testato su diverse metriche di punteggio (errore di ricostruzione, errore di predizione latente, distanza di Mahalanobis, ecc.).

• Accuratezza:

  • La metrica "Latent Prediction Error" ha ottenuto le migliori prestazioni, raggiungendo un'accuratezza superiore al 90% nella distinzione tra successo, fallimento e OOD.
  • La distanza di Mahalanobis ha mostrato un'accuratezza del 100% nel rilevamento OOD, ma era soggetta a overfitting e instabilità in spazi ad alta dimensionalità.
  • L'errore di ricostruzione e la distanza coseno hanno performato peggio, probabilmente a causa della natura del modello Cosmos addestrato principalmente per la ricostruzione.

• Tempo di Rilevamento:

  • Il sistema ha rilevato i fallimenti prima di un osservatore umano.
  • Utilizzando l'errore di predizione latente, la classificazione è avvenuta in media 1-3 secondi prima che il fallimento diventasse evidente visivamente per un operatore.
  • La metrica di Mahalanobis è stata la più veloce (circa 6-9 secondi prima), ma a causa dell'alto tasso di falsi positivi, è meno affidabile.

• Deploy Hardware:

  • Il sistema è stato eseguito su un Boston Dynamics Spot con telecamera PTZ.
  • Sebbene l'inferenza fosse ospitata esternamente a causa di vincoli di condivisione, il pipeline completo richiede meno di 1.5 GB di memoria, rendendo fattibile un deploy onboard.
  • Il robot ha dimostrato capacità di reagire: in caso di fallimento, registra il manometro per un riesame; in caso di OOD (es. sfocatura), attiva uno zoom per riacquisire l'immagine.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo per l'autonomia robotica in ambienti critici:

• Sicurezza Proattiva: La capacità di rilevare anomalie prima che si verifichino errori critici o incidenti di sicurezza.
• Azioni Informate: A differenza dei sistemi OOD puri che si limitano a segnalare un "errore", questo framework suggerisce azioni correttive specifiche (es. "rileggi il manometro" vs "cambia strategia di ispezione").
• Qualità dei Dati: Il sistema può fungere da feedback per migliorare i set di dati di addestramento, identificando lacune (OOD) che necessitano di raccolta dati mirata.
• Scalabilità: L'approccio agnostico rispetto alla politica e basato su modelli pre-addestrati facilita l'adozione in diversi scenari industriali senza bisogno di ri-addestramento massiccio per ogni nuovo ambiente.

In sintesi, il paper dimostra che l'integrazione di modelli del mondo con la Conformal Prediction permette di creare sistemi di ispezione autonoma robusti, capaci di distinguere tra fallimenti noti e imprevisti, operando in tempo reale con un margine di sicurezza superiore alla percezione umana.