Technisch overzicht: Infrastructuurinspectie heroverwegen als Image Difference Classification

Probleemstelling

Onderhoud van de wegidentificatie berust traditioneel op handmatige visuele inspecties, een proces dat het Road Digital Twin (DT) raamwerk beoogt te digitaliseren. De adoptie van AI-gestuurde inspectie wordt echter aanzienlijk gehinderd door de schaarste aan geannoteerde data, een veelvoorkomende uitdaging in de sectoren Architectuur, Engineering en Constructie (AEC). Bestaande benaderingen voor het onderhoud van verkeersborden kampen vaak met twee kritieke beperkingen:

1. Beperkingen in datasets: Veel bestaande datasets bevatten alleen close-ups van de borden zelf (zonder palen en achtergronden) of maken gebruik van grove conditie-etikettering (bijv. binair beschadigd/niet beschadigd of enkelvoudige defecttypen). Geen van de huidige methoden ondersteunt conditiebewaking in de loop van de tijd met behulp van gepaarde beelden.
2. Beperkingen in taakmodellering: Huidige methoden behandelen defectidentificatie meestal als single-image classificatietaken. Ze slagen er niet in om de relationele aard van continue activamonitoring te modelleren, waarbij een inspectiebeeld wordt vergeleken met een historische referentie van hetzelfde object. Bovendien negeren ze vaak de multi-class, multi-label realiteit waarbij meerdere defecten gelijktijdig voorkomen.

Methodologie

Dit werk herformuleert defectidentificatie als een Image Difference Classification (IDC) taak. In plaats van een enkel beeld in isolatie te classificeren, vergelijkt het systeem een inspectiebeeld met een referentiebeeld van hetzelfde object dat eerder is opgenomen. Deze benadering maakt gebruik van bestaande objectafbeeldingen in Asset Management Systemen (AMS) als referenties, wat de noodzaak voor extra annotatie vermindert.

Dataset

De auteurs hebben een nieuwe, hoogwaardige dataset samengesteld uit het UK National Highways AMS, waarmee eerdere hiaten zijn opgevuld:

• Omvang: Bevat 970 beeldparen (referentie + inspectie) die de volledige context van het object vastleggen (bordoppervlak, paal en achtergrond).
• Granulariteit: Kenmerkt zich door fijnmazige, multi-label annotaties over negen conditiecategorieën (bijv. gekantelde paal, vervormd oppervlak, vandalisme, vuil) plus een "geen defect" vlag.
• Balans: Hoewel er een klassenonbalans bestaat tussen specifieke defecttypen, behoudt de dataset een balans tussen beschadigde en onbeschadigde borden (~4:6).

Experimentele opzet

De studie evalueerde twee taken: binair detecteren van de aanwezigheid van defecten en multi-class multi-label defectclassificatie.

• Simulatie van lage middelen: Prestaties werden getest onder few-shot learning condities (0 tot 8 voorbeelden per klasse) om omgevingen met beperkte data te simuleren.
• Pipeline architecturen:
  • Encoder-gebaseerde pipelines: Vier variaties gebruikmakend van vision encoders (MetaCLIP2 als backbone). Deze omvatten lineaire classifiers op geconcateneerde embeddings, cross-attention mechanismen tussen afbeeldingen, en image-text fusie architecturen.
  • Instruction-gebaseerde pipelines: Maakte gebruik van Vision Language Models (VLMs), specifiek Qwen3-VL-8B. Inspectie- en referentiebeelden werden ingevoegd in gebruikersprompts met instructies om de referentie als gids te gebruiken, terwijl tekstuele klassebeschrijvingen in system prompts werden verstrekt.
• Controle: Om een eerlijke vergelijking te garanderen, gebruikten alle pipelines dezelfde trainingsbeelden. Referentiebeelden in de trainingsset werden behandeld als pseudo "geen defect" voorbeelden voor alle modellen, waardoor prestatiewinsten het gevolg waren van de context van de referentie tijdens inferentie, en niet van een kunstmatige toename van het trainingsdatavolume.

Belangrijkste resultaten

1. Detectie van de aanwezigheid van defecten

• Prestaties: De meeste pipelines behaalden hoge F1-scores (~0.9), zelfs met zeer weinig voorbeelden, aangezien binaire detectie een eenvoudigere taak is.
• Nut van de referentie: Encoder-gebaseerde pipelines vertoonden inconsistente resultaten bij het toevoegen van referentiebeelden en presteerden vaak slechter dan single-image baselines. In contrast hiermee presteerde de instruction-gebaseerde pipeline consistent beter dan alle encoder-gebaseerde modellen, met een F1 > 0.9 met slechts 1-shot.
• Kalibratie: Ongetrainde instruction-gebaseerde modellen (0-shot) presteerden slecht (F1 ~0.007) en classificeerden bijna alle beelden als defect. Echter, het finetunen op slechts één voorbeeld per klasse "kalibreerde" het model, waardoor de prestaties stegen naar 0.905.

2. Defectclassificatie (Multi-class Multi-label)

• Complexiteit: De scores waren over het algemeen lager vanwege de complexiteit van de taak. Encoder-gebaseerde pipelines hadden moeite om een F1 van 0.5 te overschrijden, terwijl de instruction-gebaseerde pipeline net boven de 0.6 uitkwam.
• Nut van de referentie: De instruction-gebaseerde pipeline profiteerde consistent van de inclusie van referentiebeelden over alle shot-settings (winsten variërend van +0.008 tot +0.038). Opvallend genoeg overtrof de 1-shot prestatie van de instruction-gebaseerde pipeline de 8-shot prestatie van de encoder-gebaseerde pipelines.
• Statistische significantie: Een gepaarde t-test bevestigde dat de winsten van referentiebeelden in de instruction-gebaseerde pipeline statistisch significant waren bij de 1-shot en 8-shot settings (p < 0.01), maar minder significant bij 2 en 4 shots vanwege de instabiliteit bij few-shot learning.

3. Ablatie studies

• Modelgrootte: Het vergroten van de encoder backbone grootte van 2B (MetaCLIP2) naar 7B (DINOv3) overbrugde de prestatiekloof niet. Het instruction-gebaseerde model (8B) presteerde nog steeds beter dan de grotere encoder, wat suggereert dat het aantal parameters niet de enige determinant van succes is.
• Pseudo defecten: Het verwijderen van de "pseudo no defect" trainingsstrategie uit de instruction-gebaseerde pipeline resulteerde nog steeds in prestatiewinsten ten opzichte van single-image baselines, wat de robuustheid van de IDC-benadering bevestigt.

Betekenis en Claims

Het artikel beweert dat Image Difference Classification (IDC) een effectieve taakmodelleringstrategie is voor continue infrastructuurinspectie en het bijwerken van de conditie van weg-assets in Road DT. De primaire bijdragen zijn:

1. Data-efficiëntie: IDC maakt het mogelijk om bestaande historische objectafbeeldingen als referenties te gebruiken, wat de afhankelijkheid van grote, nieuw geannoteerde datasets vermindert.
2. Taakformulering: Het adresseert succesvol de multi-class, multi-label aard van real-world defecten en het temporele aspect van conditiebewaking.
3. Modelarchitectuur: De studie demonstreert dat instruction-gebaseerde VLMs superieur zijn aan encoder-gebaseerde modellen voor deze specifieke taak, mits ze een minimale "kalibratie" stap (zo weinig als één voorbeeld per klasse) ondergaan.

De auteurs concluderen dat hoewel few-shot learning voor enige instabiliteit zorgt, het vermogen van instruction-gebaseerde classifiers om referentiebeelden te gebruiken voor gegronde classificatie, IDC een levensvatbare oplossing maakt voor dataconstrainted infrastructuurmonitoring. Toekomstig werk wordt gesuggereerd om grotere datasets te testen om de fluctuaties in few-shot learning te stabiliseren en het gebruik van meerdere referentiebeelden per object te verkennen.