Sintesi Tecnica: Ripensare l'Ispezione delle Infrastrutture come Classificazione della Differenza tra Immagini

Definizione del Problema

La manutenzione delle infrastrutture stradali si affida tradizionalmente alle ispezioni visive manuali, un processo che il framework del Digital Twin (DT) stradale mira a digitalizzare. Tuttavia, l'adozione di ispezioni guidate dall'IA è significativamente ostacolata dalla scarsità di dati annotati, una sfida comune nei campi dell'Architettura, dell'Ingegneria e della Costruzione (AEC). Gli approoli esistenti per la manutenzione della segnaletica stradale soffrono spesso di due criticità fondamentali:

1. Limitazioni dei Dataset: Molti dataset esistenti contengono solo primi piani delle facce dei segnali (mancando di pali e sfondi) o utilizzano etichettature delle condizioni grossolane (ad esempio, binaria danneggiato/non danneggiato o singoli tipi di difetto). Nessuno di essi supporta attualmente il monitoraggio delle condizioni nel tempo tramite immagini accoppiate.
2. Limitazioni della Modellazione del Task: I metodi attuali trattano tipicamente l'identificazione dei difetti come compiti di classificazione di singola immagine. Essi non riescono a modellare la natura relazionale del monitoraggio continuo di un asset, dove un'immagine di ispezione viene confrontata con un riferimento storico dello stesso asset. Inoltre, spesso ignorano la realtà multi-classe e multi-label, in cui si verificano simultaneamente più difetti.

Metodologia

Questo lavoro riformula l'identificazione dei difetti come un compito di Classificazione della Differenza tra Immagini (IDC - Image Difference Classification). Invece di classificare una singola immagine in isolamento, il sistema confronta un'immagine di ispezione con un'immagine di riferimento dello stesso asset scattata precedentemente. Questo approccio sfrutta le immagini esistenti dei sistemi di gestione degli asset stradali (AMS) come riferimenti, riducendo la necessità di annotazioni aggiuntive.

Dataset

Gli autori hanno curato un nuovo dataset di alta qualità dal National Highways AMS del Regno Unito, affrontando le precedenti lacune:

• Ambito: Contiene 970 coppie di immagini (riferimento + ispezione) che catturano l'intero contesto dell'asset (faccia del segnale, palo e sfondo).
• Granularità: Presenta annotazioni multi-label dettagliate su nove categorie di condizioni (ad esempio, palo inclinato, faccia deformata, vandalismo, sporco) più un flag "nessun difetto".
• Bilanciamento: Sebbene esista uno squilibrio di classe tra specifici tipi di difetto, il dataset mantiene un equilibrio tra segnali danneggiati e non danneggiati (~4:6).

Configurazione Sperimentale

Lo studio ha valutato due task: rilevamento della presenza di difetti binario e classificazione dei difetti multi-classe multi-label.

• Simulazione a Basse Risorse: Le prestazioni sono state testate in condizioni di apprendimento few-shot (da 0 a 8 esempi per classe) per simulare ambienti con vincoli di dati.
• Architetture di Pipeline:
  • Pipeline Basate su Encoder: Quattro varianti utilizzando encoder di visione (MetaCLIP2 come backbone). Queste includevano classificatori lineari su embedding concatenati, meccanismi di cross-attention tra le immagini e architetture di fusione immagine-testo.
  • Pipeline Basate su Istruzioni: Utilizzano modelli di linguaggio visivo (VLM), specificamente Qwen3-VL-8B. Le immagini di ispezione e di riferimento vengono inserite nei prompt dell'utente insieme a istruzioni per utilizzare il riferimento come guida, mentre le descrizioni testuali delle classi sono fornite nei prompt di sistema.
• Controllo: Per garantire un confronto equo, tutte le pipeline utilizzano le stesse immagini di addestramento. Le immagini di riferimento nel set di addestramento sono state trattate come esempi pseudo "senza difetto" per tutti i modelli, garantendo che i miglioramenti delle prestazioni fossero dovuti al contesto del riferimento durante l'inferenza, e non a un aumento artificiale del volume di dati di addestramento.

Risultati Chiave

1. Rilevamento della Presenza di Difetti

• Prestazioni: La maggior parte delle pipeline ha raggiunto alti punteggi F1 (~0.9) anche con pochissimi esempi, poiché il rilevamento binario è un compito più semplice.
• Utilità del Riferimento: Le pipeline basate su encoder hanno mostrato risultati inconsistenti aggiungendo immagini di riferimento, spesso performando peggio rispetto ai baseline a singola immagine. Al contrario, la pipeline basata su istruzioni ha superato costantemente tutti i modelli basati su encoder, raggiungendo un F1 > 0.9 con un solo shot (1-shot).
• Calibrazione: I modelli basati su istruzioni non addestrati (0-shot) hanno performato scarsamente (F1 ~0.007), classificando quasi tutte le immagini come difettose. Tuttavia, il fine-tuning su un solo esempio per classe ha "calibrato" il modello, portando le prestazioni a 0.905.

2. Classificazione dei Difetti (Multi-classe Multi-label)

• Complessità: I punteggi sono complessivamente più bassi a causa della complessità del task. Le pipeline basate su encoder hanno faticato a superare un F1 di 0.5, mentre la pipeline basata su istruzioni ha raggiunto poco più di 0.6.
• Utilità del Riferimento: La pipeline basata su istruzioni ha guadagnato costantemente dall'inclusione di immagini di riferimento in tutte le impostazioni di shot (guadagni compresi tra +0.008 e +0.038). Notevolmente, la sua prestazione a 1-shot ha superato la prestazione a 8-shot delle pipeline basate su encoder.
• Significatività Statistica: Un t-test accoppiato ha confermato che i guadagni derivanti dalle immagini di riferimento nella pipeline basata su istruzioni erano statisticamente significativi nelle impostazioni a 1-shot e 8-shot (p < 0.01), sebbene meno significativi a 2 e 4 shot a causa dell'instabilità del few-shot.

3. Studi di Ablazione

• Dimensione del Modello: L'aumento della dimensione del backbone dell'encoder da 2B (MetaCLIP2) a 7B (DINOv3) non ha colmato il divario di prestazioni. Il modello basato su istruzioni (8B) ha comunque superato l'encoder più grande, suggerendo che il numero di parametri non è l'unico determinante del successo.
• Pseudo Difetti: Rimuovendo la strategia di addestramento "pseudo no defect" dalla pipeline basata su istruzioni, si ottenevano comunque miglioramenti rispetto ai baseline a singola immagine, confermando la robustezza dell'approccio IDC.

Significato e Rivendicazioni

Il documento sostiene che la Classificazione della Differenza tra Immagini (IDC) è una strategia efficace di modellazione del task per l'ispezione continua delle infrastrutture e l'aggiornamento delle condizioni degli asset del Road DT. I principali contributi sono:

1. Efficienza dei Dati: L'IDC consente di utilizzare le immagini storiche esistenti degli asset come riferimenti, riducendo la dipendenza da grandi dataset nuovi e annotati.
2. Formulazione del Task: Affronta con successo la natura multi-classe e multi-label dei difetti reali e l'aspetto temporale del monitoraggio delle condizioni.
3. Architettura del Modello: Lo studio dimosta che i VLM basati su istruzioni sono superiori ai modelli basati su encoder per questo specifico compito, a condizione che subiscano un minimo passaggio di fine-tuning di "calibrazione" (anche di un solo esempio per classe).

Gli autori concludono che, sebbene l'apprendimento few-shot introduca una certa instabilità, la capacità dei classificatori basati su istruzioni di sfruttare le immagini di riferimento per una classificazione fondata rende l'IDC una soluzione valida per il monitoraggio delle infrastrutture con vincoli di dati. Il lavoro futuro suggerisce di testare dataset più ampi per stabilizzare le fluttuazioni del few-shot ed esplorare l'uso di molteplici immagini di riferimento per ogni segnale.