💻 computer science

Language-in-the-Loop Culvert Inspection on the Erie Canal

Dit paper introduceert VISION, een autonoom systeem dat een visueel-taalmodel koppelt aan een planningsalgoritme om op een viervoeter gefundeerde, hoogwaardige inspecties van afvoerbuizen onder het Eriekanaal uit te voeren zonder domeinspecifieke training.

Oorspronkelijke auteurs: Yash Turkar, Yashom Dighe, Karthik Dantu

Gepubliceerd 2026-02-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yash Turkar, Yashom Dighe, Karthik Dantu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een oude, ondergrondse afvoerpijp moet controleren. Deze pijp ligt diep onder het beroemde Eriekanaal in New York. Het is een donkere, modderige, krappe ruimte waar mensen niet graag naartoe gaan. Het is gevaarlijk, koud en je kunt er makkelijk vastlopen.

Vroeger moesten inspecteurs hier met hun hoofd en zaklamp naar binnen. Ze moesten bukken, glijden en hopen dat de muur niet instortte. Dat is niet alleen riskant, maar ook erg lastig om goed te doen.

De onderzoekers van de Universiteit van Buffalo hebben een slimme oplossing bedacht: VISION.

Hier is hoe het werkt, vertaald in een verhaal:

1. De Robot als "Nieuwe Inspecteur"

In plaats van een mens sturen ze een vierpoot-robot (een Boston Dynamics Spot, die eruitziet als een metalen hond) de pijp in. Deze robot kan over de modderige vloer lopen, door ondiep water waden en zelfs de steile oevers beklimmen. Hij draagt een speciale "rugzak" met camera's en lampen.

2. De "Super-Breine" (De VLM)

Het echte wonder is niet de robot zelf, maar het brein dat erbovenop zit. Ze hebben een Vision-Language Model (VLM) gebruikt.

De Analogie: Stel je voor dat je een zeer ervaren, maar soms wat vergetelijke, inspecteur hebt die ook een kunstcriticus is. Je kunt tegen deze persoon praken in gewone taal.
Hoe het werkt: De robot kijkt naar de muur en vraagt aan de "Super-Breine": "Kijk eens naar die muur. Zie je iets raars? Iets dat er niet goed uitziet?"
De AI hoeft niet te weten wat "roest" of "slijtage" heet in een strakke lijst. Ze kan gewoon zeggen: "Daar ziet het eruit alsof er iets loszit" of "Die vlek lijkt op waterlekkage". Dit noemen ze open-vocabulary: de AI begrijpt wat je bedoelt, zelfs als je het niet perfect kunt benoemen.

3. Het "Zoom-in" Spel

De robot doet eerst een snelle scan. De AI zegt: "Hé, bij die hoek linksboven lijkt er iets mis te zijn."
Maar de eerste foto is vaak wazig of te ver weg. De robot moet dus dichterbij komen.

De Slimme Beweging: De robot weet dat hij in een smalle pijp zit. Hij kan niet zomaar draaien als een danser. Hij moet voorzichtig zijn.
Het systeem berekent precies hoe de robot moet lopen en hoe de camera (die op een beweegbare arm zit) moet kantelen om die "rauwe plek" perfect scherp en van dichtbij te fotograferen.
Het is alsof de robot een verrekijker vasthoudt, die automatisch scherpstelt op het punt waar de AI zegt: "Kijk daar eens!"

4. De "Tweede Opinie"

Nadat de robot de close-up foto heeft gemaakt, stuurt hij die terug naar de AI.

De AI kijkt nu naar de scherpe foto en zegt: "Oké, mijn eerste vermoeden was dat het een lekke plek was. Maar nu ik het van dichtbij zie, is het eigenlijk gewoon een schaduw van de camera. Of... ja, hier is echt een barst."
De AI schrijft een verslag in gewone taal, zodat mensen het begrijpen.

Waarom is dit zo cool?

Veiligheid: Geen mens hoeft meer in die gevaarlijke gaten te kruipen.
Geen "Leerboeken" nodig: Bij oude systemen moest je de computer duizenden foto's van roest tonen om hem te leren wat roest is. Hier hoef je dat niet te doen. Je kunt gewoon tegen de robot zeggen: "Zoek naar dingen die eruitzien alsof ze kapot gaan." De AI begrijpt het direct.
Snelheid: De robot doet in minder dan 90 minuten wat een mens in 2 uur doet, en levert betere, scherpere foto's op.

Het Resultaat

Toen ze dit systeem testten in een echte pijp onder het Eriekanaal, bleek het heel goed te werken. Menselijke experts (die jaren ervaring hebben) waren het grotendeels eens met de conclusies van de robot. Soms dacht de robot dat er iets mis was waar er niets was, maar door de "close-up" stap kon hij dat zelf corrigeren.

Kort samengevat:
Ze hebben een robot met een "spraakgestuurd brein" gemaakt die als een slimme hond door donkere pijpen loopt, vraagt aan een AI wat er mis is, en dan zelfstandig dichterbij komt om het te bewijzen. Het is een stap in de richting van robots die niet alleen luisteren, maar ook echt begrijpen wat ze zien.

Titel: Language-in-the-Loop Culvert Inspection op het Erie-kanaal

Auteurs: Yash Turkar, Yashom Dighe, Karthik Dantu (University at Buffalo)
Systeemnaam: VISION (Visual Inspection System with Intelligent Observation and Navigation)

1. Het Probleem

Kunstwerken zoals de Eriekanaal (opgericht in 1825) bevatten honderden afvoerbuizen (culverts) die essentieel zijn voor het waterbeheer. Deze buizen ondergaan structurele slijtage zoals corrosie, afbrokkeling (spalling) en lekkage.

Uitdagingen bij menselijke inspectie: De inspectie is gevaarlijk en moeilijk vanwege de beperkte toegang, slechte verlichting, onzekerheid over de luchtkwaliteit en de fysieke moeilijkheid om de locaties te bereiken (steile hellingen, modder).
Uitdagingen bij robotische inspectie: Bestaande methoden voor defectdetectie hebben moeite met de specifieke omstandigheden:
- Gesloten sets (Closed-set): Klassieke detectoren falen bij onbekende of zeldzame defecttypes.
- Open-vocabulaire modellen: Bestaande Vision-Language Models (VLMs) presteren vaak slecht zonder fijnafstemming (fine-tuning) vanwege gebrek aan domeinspecifieke data.
- 3D-reconstructie: Door slechte verlichting en gebrek aan textuur in de buizen zijn fotogrammetrische reconstructies onbetrouwbaar en missen ze micro-schade (zoals fijne barsten).
- Beperkte mobiliteit: Robots kunnen niet vrij bewegen in de smalle, cilindrische buizen; beweging is beperkt tot axiale translatie en het kantelen van camera's.

2. Methodologie: Het VISION-systeem

VISION is een autonoom systeem dat loopt op een Boston Dynamics Spot-robot en een "Language-in-the-Loop" architectuur gebruikt. Het koppelt een web-schaal Vision-Language Model (VLM) aan een planner voor viewpoint-optimalisatie.

De werking in stappen:

Navigatie en Data-acquisitie: De robot navigeert naar vooraf gedefinieerde waypoints langs de buis. Bij elk waypoint maakt een vaste camera (Camera-1) een breedbeeldfoto.
VLM ROI-voorstelling: De foto wordt verzonden naar een VLM (GPT-5 via API). De inspecteur geeft een korte, algemene prompt (bijv. "zoek naar structurele schade"). Het VLM genereert:
- Bounding boxes voor Regions of Interest (ROI's).
- Natuurlijke taal-rationales (waarom wordt dit als defect gezien?).
- Een betrouwbaarheidsscore.
- Belangrijk: Er is geen fijnafstemming nodig; het model gebruikt zijn algemene kennis.
Dieptefusie: De 2D-voorstellingen van het VLM worden gecombineerd met stereodieptedata om 3D-coördinaten en afstanden te bepalen.
Viewpoint-Optimalisatie (View Planner):
- Doel: Een tweede, hoogresolutie camera (Camera-2) op een pan-tilt-gimbal positioneren om de voorgestelde ROI's scherp en centraal in beeld te krijgen.
- Beperkingen: De robot kan alleen vooruit/achteruit bewegen; de gimbal heeft mechanische limieten en er is risico op zelfocclusie.
- Tweestaps-strategie:
  - Stap 1 (Coarse): Een brute-force grid search over yaw, pitch en translatie om een haalbare startconfiguratie te vinden en lokale minima te vermijden.
  - Stap 2 (Refinement): Een gradient-based optimalisatie (L-BFGS-B) om de pose te verfijnen. De kostenfunctie ( $J$ ) straft gebieden die het beeldveld verlaten, niet-centrering, verkeerde schaal, schuine hoeken en onjuiste afstand (focus).
Herbevestiging en Rapportage: De robot beweegt naar de berekende posities, maakt hoogresolutie foto's en stuurt deze terug naar het VLM. Het VLM beoordeelt of de oorspronkelijke hypothese wordt bevestigd, gedeeltelijk bevestigd of verworpen, en genereert een defectbeschrijving.

3. Belangrijkste Bijdragen

Eind-tot-eind framework: Een volledig autonoom systeem voor inspectie van afvoerbuizen dat navigatie, waarneming, redenering en actie integreert.
Zero-shot inspectie met VLMs: Demonstratie van hoe web-schaal VLMs zonder domeinspecifieke training kunnen worden ingezet voor abstracte inspectietaken, wat de noodzaak van grote gelabelde datasets elimineert.
Gecombineerde planning: Een methode om VLM-voorstellingen te vertalen naar fysiek haalbare camera-posities binnen de strenge geometrische beperkingen van een afvoerbuis.
Veldvalidatie: Succesvolle implementatie en evaluatie in een echte, moeilijke omgeving (Eriekanaal) met een legged robot.

4. Resultaten

Het systeem werd getest in Culvert 110 (66 meter lang, 1,2 meter diameter) onder het Eriekanaal. De prestaties werden geëvalueerd door niet-auteur-evaluatoren (NAE's) en vakexperts (SME's) van de New York Canal Corporation (NYCC).

Overeenkomst in redenering (RAR):
- De initiële voorstellen van het VLM bereikten een 61,4% overeenkomst met SME's (vakexperts).
- Na herbevestiging met close-up beelden steeg de kwaliteit van de bevindingen aanzienlijk.
Betrouwbaarheid (Coverage Confidence - CC):
- SME's gaven een 93,8% score voor de zekerheid dat het systeem geen significante defecten had gemist. Dit suggereert dat het systeem, ondanks dat het soms "valse positieven" genereert, zeer goed is in het vinden van echte problemen.
Kwaliteit van beschrijvingen (DDS):
- De automatisch gegenereerde defectbeschrijvingen scoorden gemiddeld 2,4 op een schaal van 3, wat aangeeft dat de VLM coherent en nuttige narratieven kan produceren.
Efficiëntie:
- Een volledige inspectie van de 66m-buis duurde minder dan 90 minuten (inclusief opzet), vergeleken met ongeveer 2 uur voor een menselijke inspecteur.
- Het systeem kon binnen 15 seconden per ROI een close-up maken na de initiële detectie.

5. Betekenis en Toekomstperspectief

Veiligheid en Toegankelijkheid: Het systeem vermindert het risico voor menselijk personeel door gevaarlijke ruimtes autonoom te inspecteren.
Brug tussen mens en robot: Door natuurlijke taal te gebruiken als interface, kunnen domeinexperts (die geen programmeurs zijn) direct instructies geven aan de robot. Dit verlaagt de drempel voor het inzetten van geavanceerde autonomie.
Rol van niet-experts: De resultaten tonen aan dat niet-domeinexperts (NAE's) de initiële voorstellen goed kunnen beoordelen, wat de werklast voor specialisten kan verminderen.
Beperkingen en Future Work:
- Huidige afhankelijkheid van een netwerkverbinding voor VLM-calls (probleem in ondergrondse tunnels).
- Beperkingen door de mechanische limieten van de gimbal.
- Toekomstplannen omvatten het draaien van compacte VLMs lokaal op de robot (on-board) om connectiviteit te elimineren, en het uitbreiden naar periodieke inspecties voor langetermijnmonitoring van asset-degradatie.

Conclusie: VISION bewijst dat een combinatie van generatieve AI (VLM) en klassieke robotische planning (viewpoint optimization) effectief kan worden ingezet voor complexe, onvoorspelbare inspectietaken in de echte wereld, zonder dat er enorme datasets nodig zijn voor training.