Edge-Optimized Vision-Language Models for Underground Infrastructure Assessment

Technische Samenvatting: Rand-geoptimaliseerde Visuele-Taalmodellen voor Inspectie van Ondergrondse Infrastructuur

Probleemformulering
Het onderhoud van ondergrondse infrastructuur, zoals riool- en duikergestelsels, is cruciaal voor de publieke veiligheid, maar rust traditioneel op trage, inconsistente handmatige videoreviews. Hoewel autonome robotplatforms uitgerust met visuele sensoren defecten aan de structuur efficiënt kunnen detecteren met behulp van deep learning, blijft er een aanzienlijke kloof bestaan in het omzetten van deze geautomatiseerde detecties naar bruikbare, menselijk leesbare samenvattingen. Bestaande Visuele-Taalmodellen (VLM's) missen vaak de gespecialiseerde domeinkennis die vereist is voor precieze beschrijvingen van infrastructuur en worden geconfronteerd met prohibitieve computationele en geheugenbeperkingen bij implementatie op middelenarme mobiele robots. De uitdaging is het ontwikkelen van een end-to-end systeem dat real-time defectdetectie uitvoert en beknopte, domeinspecifieke samenvattingen in natuurlijke taal genereert op randapparatuur (edge devices), zonder concessies te doen aan nauwkeurigheid of latentie.

Methodologie
De auteurs stellen een nieuwe twee-fasen pijplijn voor die is ontworpen voor randimplementatie, waarbij een lichtgewicht segmentatiemodel wordt geïntegreerd met een gefinetuned Visueel-Taalmodel (VLM).

1. Fase 1: Visuele Defectdetectie (RAPID-SCAN)
   De eerste fase maakt gebruik van RAPID-SCAN (Resource-Aware Pipeline Inspection and Defect Segmentation using Compact Adaptive Network). Dit is een lichtgewicht semantisch segmentatieframework met een Dynamische Feature Pyramid Network met adaptieve routering en Squeeze-and-Excitation modules. Het verwerkt RGB-beelden om pixelniveau-segmentatiemaskers te genereren voor diverse defectcategorieën (bijv. scheuren, wortels, gaten). Het model is geoptimaliseerd voor efficiëntie door gebruik te maken van ruimtelijke filtering om redundante detecties binnen een nabijheidsdrempel te consolideren.

2. Fase 2: Visuele-Taal Samenvatting
   De tweede fase maakt gebruik van een gefinetuned Microsoft Phi-3.5 VLM. Dit model ontvangt multimodale inputs bestaande uit de originele RGB-afbeelding en het segmentatiemasker uit Fase 1. Het is gepromptt om gestructureerde samenvattingen in natuurlijke taal te genereren die vier belangrijke inspectieprincipes adresseren:

   • Conditie: Huidige structurele staat.
   • Locatie: Ruimtelijke context binnen de pijpleiding.
   • Ernst: Beoordeling van urgentie en kritikaliteit.
   • Implicaties: Potentiële risico's indien niet aangepakt.

3. Dataset en Annotatie
   De auteurs introduceren een gecureerde dataset van 5.051 riool- en duikerinspectiebeelden gekoppeld aan door experts geverifieerde tekstuele bijschriften. Het annotatieproces is semi-geautomatiseerd: initiële bijschriften worden gegenereerd door de VLM en vervolgens verfijnd door menselijke experts met domeinkennis om precisie, helderheid en afstemming met industriële rapportage-standaarden te waarborgen.

4. Randoptimalisatie en Implementatie
   Om real-time prestaties op mobiele robots mogelijk te maken, hanteert het systeem verschillende optimalisatiestrategieën:

   • Parameter-Efficiënte Fine-Tuning: Het Phi-3.5 model wordt aangepast met behulp van QLoRA (Quantized Low-Rank Adaptation), waarbij de basisgewichten worden gekwantiseerd naar 4-bit NormalFloat4 (NF4) terwijl de LoRA-adapters in FP16 worden getraind. Dit vermindert het aantal trainbare parameters van 3,8 miljard naar 67 miljoen.
   • Post-Training Kwantisatie en Acceleratie: De pijplijn maakt gebruik van INT8-kwantisatie en NVIDIA TensorRT voor hardware-specifieke acceleratie op de Jetson AGX Orin. Dit omvat mixed-precision inferentie (FP16 voor de visuele encoder, INT8 voor de taal-lagen) en kernel-fusie.
   • Robotische Integratie: Het systeem is geïmplementeerd op een Clearpath Jackal UGV uitgerust met een Axis RGB PTZ-camera, Velodyne VLP-16 LiDAR en IMU. De softwarearchitectuur is gebouwd op ROS 1 Noetic, met modulaire nodes voor sensorinterface, AI-inferentie, inspectiebeheer en een mens-machine-interface voor real-time visualisatie en query's.

Belangrijkste Bijdragen

• Nieuwe Pijplijn: Een twee-fasen architectuur die RAPID-SCAN segmentatie combineert met domeinspecifieke VLM-samenvatting voor actiegerichte rapportage.
• Efficiënte Segmentatie: RAPID-SCAN bereikt een concurrerende prestatie (0,834 F1-score) met slechts 0,64 miljoen parameters, wat een reductie van 97% betekent ten opzichte van state-of-the-art modellen zoals U-Net.
• Gecureerde Dataset: Een nieuwe dataset van riool- en duikerbeelden met door experts geverifieerde beschrijvingen, specifiek ontworpen voor VLM fine-tuning en evaluatie.
• Randoptimalisatiestrategieën: Implementatie van QLoRA, post-training kwantisatie en TensorRT-acceleratie om aan strikte randvoorwaarden te voldoen (latentie < 5s, geheugen < 8GB).
• Validatie in de Praktijk: Uitgebreide evaluatie op een mobiel robotplatform in zowel laboratorium- als echte duikermilieus.

Experimentele Resultaten

• Segmentatieprestaties: RAPID-SCAN bereikte een F1-score van 0,834 en een mIoU van 0,729 met slechts 0,19 GFLOPS, waarmee het aanzienlijk beter presteert dan grotere modellen in computationele efficiëntie terwijl de nauwkeurigheid vergelijkbaar blijft.
• Kwaliteit van Samenvatting: Het gefinetunede VLM demonstreerde superieure prestaties vergeleken met het baseline pretrained model, met een ROUGE-L score van 0,36 (vergeleken met 0,26 voor de baseline) en hogere scores in BLEU, METEOR en BERTScore. Kwalitatieve analyse bevestigde dat de gegenereerde samenvattingen nauw aansloten bij de expert grondwaarheid wat betreft technische terminologie en structurele principes.
• Computationele Efficiëntie: Op de NVIDIA Jetson AGX Orin bereikte het geoptimaliseerde VLM een inferentie-latentie van 2,3 seconden per samenvatting met een modelgrootte van 2,1 GB (een reductie van 69% ten opzichte van de full-precision baseline). De totale end-to-end latentie van beeldopname tot samenvattinggeneratie bedroeg gemiddeld 3,1 seconden.
• Veldimplementatie: Proeven in het veld in een 60 voet lange duiker met weinig licht en onregelmatige oppervlakken bevestigden de robuustheid van het systeem. De pijplijn detecteerde succesvol defecten en genereerde real-time actiegerichte samenvattingen, werkend binnen de thermische en elektrische limieten.

Betekenis
Het artikel stelt dat dit werk de kloof overbrugt tussen geautomatiseerde defectdetectie en actiegerichte inzichten voor infrastructuuronderhoud. Door robots in staat te stellen observaties in natuurlijke taal over te brengen, verbetert het systeem de robotische intuïtie voor effectieve mens-robot samenwerking, wat cruciaal is voor veiligheidskritische taken. Het onderzoek toont de haalbaarheid aan van het implementeren van geïntegreerde AI-systemen op randapparatuur om geïntegreerde AI-systemen op randapparatuur te ondersteunen voor schaalbare en autonome inspecties oplossingen, wat de velden van embodied AI en mens-robot interactie vooruit helpt. De auteurs merken op dat toekomstig werk zich zal richten op bredere defect-taxonomieën, verbeterde samenvattingsarchitecturen en 3D-mapping voor verbeterde ruimtelijke context.