Edge-Optimized Vision-Language Models for Underground Infrastructure Assessment

Sintesi Tecnica: Modelli Vision-Language Ottimizzati per l'Edge per la Valutazione delle Infrastrutture Sotterranee

Formulazione del Problema
La manutenzione delle infrastrutture sotterranee, come i sistemi di fognature e di scoli, è fondamentale per la sicurezza pubblica ma tradizionalmente si affida a revisioni video manuali lente e inconsistenti. Sebbene le piattaforme robotiche autonome dotate di sensori visivi possano rilevare efficientemente le carenze strutturali utilizzando il deep learning, rimane un divario significativo nel convertire questi rilevamenti automatizzati in sintesi azionabili e leggibili dagli esseri umani. Gli esistenti modelli Vision-Language (VLM) spesso mancano della conoscenza specialistica del dominio necessaria per descrizioni precise delle infrastrutture e affrontano vincoli computazionali e di memoria proibitivi quando vengono implementati su robot mobili con risorse limitate. La sfida consiste nello sviluppare un sistema end-to-end che esegua il rilevamento dei difetti in tempo reale e generi sintesi concise e specifiche del dominio su dispositivi edge senza compromettere l'accuratezza o la latenza.

Metodologia
Gli autori propongono una nuova pipeline a due stadi progettata per l'implementazione edge, integrando un modello di segmentazione leggero con un modello Vision-Language (VLM) perfezionato.

1. Stadio 1: Rilevamento dei Difetti Visivi (RAPID-SCAN)
   Il primo stadio impiega RAPID-SCAN (Resource-Aware Pipeline Inspection and Defect Segmentation using Compact Adaptive Network). Si tratta di un framework di segmentazione semantica leggero caratterizzato da una Dynamic Feature Pyramid Network con routing adattivo e moduli Squeeze-and-Excitation. Elabora immagini RGB per generare maschere di segmentazione a livello di pixel per varie categorie di difetti (ad es., crepe, radici, fori). Il modello è ottimizzato per l'efficienza, utilizzando il filtraggio spaziale per consolidare i rilevamenti ridondanti entro una soglia di prossimità.

2. Stadio 2: Sintesi Vision-Language
   Il secondo stadio utilizza un modello VLM Microsoft Phi-3.5 perfezionato. Questo modello riceve input multimodali che consistono nell'immagine RGB originale e nella maschera di segmentazione dello Stadio 1. Viene istruito per generare sintesi testuali strutturate che affrontano quattro principi di ispezione chiave:

• Condizione: Stato strutturale attuale.
• Posizione: Contesto spaziale all'interno della condotta.
• Gravità: Valutazione dell'urgenza e della criticità.
• Implicazioni: Potenziali rischi se non affrontati.

3. Dataset e Annotazione
   Gli autori introducono un dataset curato di 5.051 immagini di ispezione di fogne e scoli accoppiate con didascalie in linguaggio naturale verificate da esperti. Il processo di annotazione è semi-automatizzato: le didascalie iniziali sono generate dal VLM e successivamente perfezionate da esperti con conoscenza del dominio per garantire precisione, chiarezza e allineamento con gli standard di reporting del settore.

4. Ottimizzazione Edge e Implementazione
   Per consentire prestazioni in tempo reale su robot mobili, il sistema impiega diverse strategie di ottimizzazione:

• Fine-Tuning Efficiente dei Parametri: Il modello Phi-3.5 è adattato utilizzando QLoRA (Quantized Low-Rank Adaptation), quantizzando i pesi base a 4-bit NormalFloat4 (NF4) mentre addestra gli adapter LoRA in FP16. Ciò riduce i parametri addestrabili da 3,8 miliardi a 67 milioni.
• Quantizzazione Post-Training e Accelerazione: La pipeline utilizza la quantizzazione INT8 e NVIDIA TensorRT per l'accelerazione specifica sull'hardware su Jetson AGX Orin. Ciò include l'inferenza a precisione mista (FP16 per l'encoder visivo, INT8 per i layer linguistici) e la fusione dei kernel.
• Integrazione Robotica: Il sistema è implementato su un Clearpath Jackal UGV dotato di una telecamera Axis RGB PTZ, Velodyne VLP-16 LiDAR e IMU. L'architettura software è costruita su ROS 1 Noetic, con nodi modulari per l'interfaccia dei sensori, l'inferenza AI, la gestione dell'ispezione e un'interfaccia uomo-macchina per la visualizzazione e l'interrogazione in tempo reale.

Contributi Chiave

• Pipeline Nuova: Un'architettura a due stadi che combina la segmentazione RAPID-SCAN con la sintesi VLM specifica del dominio per reportistica azionabile.
• Segmentazione Efficiente: RAPID-SCAN raggiunge prestazioni competitive (F1-score di 0,834) con solo 0,64 milioni di parametri, rappresentando una riduzione del 97% rispetto ai modelli allo stato dell'arte come U-Net.
• Dataset Curato: Un nuovo dataset di immagini di fogne e scoli con descrizioni verificate da esperti, progettato specificamente per il fine-tuning e la valutazione dei VLM.
• Strategie di Ottimizzazione Edge: Implementazione di QLoRA, quantizzazione post-training e accelerazione TensorRT per soddisfare i rigidi vincoli edge (latenza < 5s, memoria < 8GB).
• Validazione nel Mondo Reale: Valutazione completa su una piattaforma robotica mobile sia in laboratorio che in ambienti reali di scoli.

Risultati Sperimentali

• Prestazioni di Segmentazione: RAPID-SCAN ha raggiunto un F1-score di 0,834 e un mIoU di 0,729 con soli 0,19 GFLOPS, superando significativamente i modelli più grandi in termini di efficienza computazionale pur mantenendo un'accuratezza comparabile.
• Qualità della Sintesi: Il VLM perfezionato ha dimostrato prestazioni superiori rispetto al modello pre-addestrato di base, raggiungendo un punteggio ROUGE-L di 0,36 (rispetto allo 0,26 del baseline) e punteggi più alti in BLEU, METEOR e BERTScore. L'analisi qualitativa ha confermato che le sintesi generate corrispondono strettamente alla verità di base degli esperti in termini di terminologia tecnica e principi strutturali.
• Efficienza Computazionale: Su NVIDIA Jetson AGX Orin, l'VLM ottimizzato ha raggiunto una latenza di inferenza di 2,3 secondi per sintesi con una dimensione del modello di 2,1 GB (una riduzione del 69% rispetto al baseline a precisione intera). La latenza totale end-to-end dall'acquisizione dell'immagine alla generazione della sintesi è stata mediamente di 3,1 secondi.
• Implementazione sul Campo: Le prove sul campo in uno scolo di 60 piedi con scarsa illuminazione e superfici irregolari hanno confermato la robustezza del sistema. La pipeline ha rilevato con successo i difetti e ha generato sintesi azionabili in tempo reale, operando entro i limiti termici e di potenza.

Significato
L'articolo afferma che questo lavoro colma il divario tra il rilevamento automatico dei difetti e le informazioni azionabili per la manutenzione delle infrastrutture. Consentendo ai robot di trasmettere osservazioni in linguaggio naturale, il sistema migliora l'intuitività robotica per una efficace collaborazione uomo-robot, fondamentale per compiti critici per la sicurezza. La ricerca dimostra la fattibilità dell'implementazione di sistemi AI integrati su dispositivi edge per supportare soluzioni di ispezione scalabili e autonome, facendo avanzare i campi dell'IA incarnata (embodied AI) e dell'interazione uomo-robot. Gli autori sottolineano che il lavoro futuro si concentrerà su tassonomie di difetti più ampie, architetture di sintesi migliorate e mappatura 3D per un contesto spaziale potenziato.