Technische Samenvatting: Scheuren in de Fundering (CiF)

Probleemstelling

Geautomatiseerd structureel gezondheidsmonitoring is cruciaal voor het voorkomen van catastrofale infrastructuurfalen, maar vooruitgang op dit gebied wordt ernstig gehinderd door twee hoofdfactoren: extreme schaarste aan data en algoritmische beperkingen die specifiek zijn voor civieltechnische contexten.

1. Data-schaarste: Hoogwaardige, pixel-level defectsegmentatie vereist expertannotatie om microscopische achteruitgang te onderscheiden van onschadelijke schaduwen, waardoor crowdsourcing onpraktisch is. Bijgevolg zijn bestaande datasets klein, laagresolutie of beperkt tot classificatie en semantische segmentatie in plaats van instantiesegmentatie.
2. Algoritmische Hindernissen: Materialen van civiele infrastructuur (bijv. beton) zijn vaak monochroom en vlak, waardoor modellen moeten vertrouwen op vorm in plaats van textuur – een bekende zwakte van deep learning. Bovendien zijn defecten zoals scheuren dunne, sterk niet-convexe structuren die in conflict komen met de "centrum-bias" die inherent is aan veel moderne architecturen.
3. De Zero-Shot Illusie: Ondanks de komst van promptbare Foundation Models (FMs) en Vision-Language Models (VLMs) die getraind zijn op enorme, van het internet geplunderde datasets (bijv. COCO, LAION), bestaat er een onbewezen aanname dat dichtbevolkte beeldbegrip opgelost is. Het artikel stelt dat deze modellen niet generaliseren naar de specifieke schaal en variaties in kenmerken die nodig zijn voor infrastructuurinspectie.

Methodologie en Datasetconstructie

De auteurs introduceren Cracks in the Foundation (CiF), een dataset die gedurende vijf jaar is samengesteld via samenwerking tussen AI-onderzoekers en civieltechnische experts (waaronder partners zoals Sund & Bælt en Trafikverket).

Dataverwerving

De dataset bestaat uit ongeveer 150.000 hoogresolutie afbeeldingen (gemiddelde native resolutie: 16,66 MPx) die zijn vastgelegd van Europese civiele infrastructuur, voornamelijk bruggen. De verwervingsstrategie hanteert een hybride aanpak:

• In-the-Wild Data (26%): Verzameld tijdens routine-inspecties met consumenten- en industriële camera's, waarbij grote variabiliteit in belichting, weer en gezichtshoek wordt vastgelegd.
• Gereguleerde Inspectieopstellingen: Drone-ondersteunde verwerving met twee modi:
  • Scanopstelling: Drones vliegen parallel aan oppervlakken voor grootschalige dekking met GPS/RTK-registratie.
  • Hoogresolutieopstelling: Drones zweven stationair om gestructureerde roosters van ingezoomde afbeeldingen vast te leggen, waardoor mozaïekreconstructie van gelokaliseerde gebieden mogelijk is.

Annotatie en Klassen

• Instantie-niveau Annotatie: Alle defecten zijn geannoteerd als polygonale maskers op native resolutie, waarbij fijnmazige details (bijv. haarscheurtjes van enkele pixels breed) naast grote defecten behouden blijven.
• Klassen: Zes categorieën zijn gedefinieerd met domeinexperts:
  1. Scheur: Lineaire discontinuïteiten.
  2. Net-scheur: Onderling verbonden veelhoekige patronen (hagedisscheuren/kaart-scheuren).
  3. Scheur met Neerslag: Scheuren met minerale afzettingen (uitslaan).
  4. Afbladdering: Loslaten van oppervlaktmateriaal.
  5. Roest: Oxidatie van staalwapening.
  6. Algen: Biologische oppervlaktegroei.
• Kwaliteitscontrole: Een rigoureuze pijplijn met pilotfasen, batchverwerking en een tweestaps QA-systeem (leveranciersintern + interne steekproeven) zorgt voor labelnauwkeurigheid. Dubieuze monsters worden met experts gescreend om richtlijnen te verfijnen.

Datasetvarianten

• Volledige Variant: 12.896 native hoogresolutie afbeeldingen (gemiddelde 16,66 MPx).
• Getegelde Variant: 148.642 patches (1024×1024) afgeleid van de Volledige variant, geschikt voor standaard visuele backbones.

Evaluatie en Resultaten

De auteurs evalueerden zowel toezichtbaselines als zero-shot Foundation Models op de CiF-dataset.

Toezichtbaselines

State-of-the-art modellen (YOLOv11/v26, Mask DINO, RF-DETR, EoMT) werden volledig gefinetuned op de trainingsverdeling.

• Objectdetectie: Modellen behaalden gematigd succes, met bounding box mAP@50:95 van ongeveer 35%. De prestaties waren sterk voor hoogcontrastdefecten zoals Algen (~59% mAP), maar daalden aanzienlijk voor complexe structurele defecten zoals Net-scheuren en Scheuren met Neerslag (20–30% mAP).
• Instantiesegmentatie: De prestaties verslechterden drastisch. Mask mAP voor fijnmazige defecten (bijv. scheuren) daalde tot enkele cijfers. Het best presterende model (EoMT met een DINOv3-backbone) plateauerde op ongeveer 25% mAP voor segmentatietaken.

Evaluatie van Foundation Models (Zero-Shot)

Het artikel testte promptbare modellen (SAM3) en Vision-Language Models (Qwen3-VL) zonder finetuning.

• Zero-Shot Falen: Qwen3-VL (tot 235B parameters) behaalde een gemiddelde bounding box mAP van slechts 2,4%, en faalde in het identificeren van structurele anomalieën.
• Promptbeperkingen: Zelfs SAM3, wanneer voorzien van "orakel"-ground-truth bounding boxes of punt-prompten, had moeite met fijnmazige defecten. Voor de klasse "Scheur" behaalde SAM3 met 5 orakelpunten slechts 33,9% mAP, en met tekstprompten was de prestatie verwaarloosbaar.
• Conclusie: Huidige FMs missen de specifieke priors die nodig zijn voor defectsegmentatie in civiele infrastructuur.

Belangrijkste Bijdragen

1. CiF-dataset: De grootste en meest gedetailleerde dataset voor instantiesegmentatie van civiele infrastructuur tot nu toe, met ~150k hoogresolutie afbeeldingen en ~250k fijnmazige maskers.
2. Benchmarking: Een rigoureuze analyse die de beperkingen van huidige visuele AI blootlegt. De dataset dient als benchmark waar zelfs gespecialiseerde modellen met domein-toezicht plateauën op ~25% mAP, en zero-shot FMs bijna volledig falen.
3. Identificatie van een Blinde Vlek: Het artikel toont aan dat dichtbevolkte beeldbegrip in de gebouwde omgeving een onopgelost probleem is, wat het paradigma uitdaagt dat internet-schaal pretraining voldoende is voor gespecialiseerde, veiligheidskritieke domeinen.

Betekenis en Beweringen

Het artikel beweert dat CiF de inspectie van civiele infrastructuur vestigt als een open, fundamentele uitdaging voor hedendaagse visuele AI. De auteurs betogen dat het huidige "foundation model-paradigma", dat voornamelijk is getraind op internetafbeeldingen, "scheuren" vertoont wanneer toegepast op echte infrastructuur.

De betekenis ligt niet in de directe implementatie van een perfecte oplossing, maar in het blootleggen van een kritieke kloof:

• Geautomatiseerd structureel gezondheidsmonitoring is nog niet opgelost door huidige SOTA-modellen.
• Het domein vereist een verschuiving van uitsluitend vertrouwen op pretraining op enorme schaal naar het ontwikkelen van architecturen die in staat zijn tot redeneren op basis van vorm, extreme schaalvariaties en omgevingen met lage textuur.
• Door deze dataset open source te maken, streven de auteurs naar het stimuleren van de ontwikkeling van visuele AI die het fysieke milieu werkelijk kan beschermen, en voorbijgaat aan de "illusie" van zero-shot generalisatie.

Het artikel blijft bescheiden wat betreft toekomstige oplossingen, en merkt op dat hoewel het verder schalen van datasets misschien kan helpen, de oorzaken van deze falen (architecturaal versus datagedreven) een open vraag blijven, en de huidige economische kosten van het verwerven van dergelijke enorme, door experts geannoteerde datasets prohibitief zijn.