Vision-Language Foundation Models for Comprehensive Automated Pavement Condition Assessment

1. Il Problema

I modelli visione-linguaggio (VLM) generici, come QwenVL o LLaVA, dimostrano eccellenti prestazioni in domini quotidiani, ma falliscono quando applicati a campi tecnici specializzati come la valutazione delle condizioni stradali. Le limitazioni principali includono:

• Mancanza di terminologia tecnica: Incapacità di utilizzare il lessico ingegneristico specifico (es. norme ASTM).
• Ragionamento strutturato assente: Difficoltà nel seguire protocolli di valutazione complessi e nel fornire stime quantitative (es. PCI - Pavement Condition Index) basate su standard.
• Allucinazioni e risposte generiche: Nei contesti zero-shot, i modelli tendono a interpretare male le distorsioni stradali o a fornire risposte non specifiche.
• Limitazioni dei dataset esistenti: I dataset attuali per l'ispezione stradale (es. CrackSeg9k, RDD2022) sono focalizzati su compiti unimodali (classificazione, rilevamento, segmentazione) e mancano di coppie "immagine-istruzione-risposta" necessarie per il ragionamento multimodale e la generazione di report tecnici.

2. Metodologia

Gli autori propongono un approccio completo basato su due pilastri fondamentali: la creazione di un dataset di istruzioni specifico per il dominio e lo sviluppo di un modello fondazionale specializzato.

A. PaveInstruct: Un Dataset Multimodale di Istruzioni

È stato creato un dataset unico contenente 278.889 coppie immagine-istruzione-risposta, derivato dall'unificazione di 9 dataset eterogenei (tra cui RDD2022, SVRDD, DSPS24, PCIer).

• Pipeline di Integrazione: È stato sviluppato un processo sistematico a quattro stadi per armonizzare formati di annotazione diversi (YOLO, Pascal VOC, CSV, cartelle colorate) in uno schema unificato, allineando i sistemi di coordinate e preservando la ricchezza semantica.
• Tassonomia delle Attività: Le istruzioni coprono 32 tipi di compiti raggruppati in 5 categorie principali:
  1. Ragionamento Spaziale: Localizzazione precisa (bounding box), enumerazione, analisi delle relazioni spaziali.
  2. Valutazione delle Condizioni: Stima del PCI, classificazione della gravità (bassa/media/alta) secondo ASTM D6433.
  3. Flussi di Lavoro Professionali: Raccomandazioni di manutenzione, compilazione di checklist, analisi della sicurezza.
  4. Ragionamento e Analisi: Catene di pensiero (Chain-of-Thought), analisi comparativa, ragionamento correttivo.
  5. Interazione Multimodale: Generazione di didascalie di lunghezza variabile, consultazioni multi-turno, confronti tra immagini.
• Qualità: Il dataset è stato validato tramite controlli automatizzati e revisione umana da parte di ingegneri civili esperti per garantire la conformità agli standard ingegneristici.

B. PaveGPT: Il Modello Fondazionale

È stato sviluppato PaveGPT, un modello VLM specializzato per l'infrastruttura stradale.

• Architettura: Basato su Qwen2.5-VL, utilizza un codificatore visivo (ViT) congelato, un progetto cross-modale (MLP) e un backbone linguistico (LLM).
• Addestramento: Il modello è stato sottoposto a Supervised Fine-Tuning (SFT) su PaveInstruct. Solo il progetto multimodale e il backbone linguistico sono stati aggiornati, preservando le rappresentazioni visive generali apprese durante il pre-addestramento.
• Obiettivo: Trasformare il modello in un assistente conversazionale in grado di eseguire compiti end-to-end, dalla rilevazione delle distorsioni alla generazione di report di manutenzione conformi agli standard.

3. Risultati Chiave

L'addestramento su PaveInstruct ha trasformato radicalmente le capacità dei modelli, superando di gran lunga le prestazioni zero-shot e i modelli di base.

• Miglioramenti Quantitativi:
  • I modelli hanno registrato miglioramenti superiori al 20% in compiti di ancoraggio spaziale (spatial grounding), ragionamento e generazione.
  • Ancoraggio Spaziale: Il modello InternVL ha raggiunto un mIoU (Mean Intersection over Union) del 30,52% dopo il fine-tuning, contro l'8,89% iniziale.
  • Stima del PCI: L'errore medio assoluto (MAE) nella stima del Pavement Condition Index è sceso significativamente (es. MiniCPM-V-2.6 ha raggiunto un MAE di 13,1, mentre i modelli zero-shot fallivano o producevano errori elevati).
  • Qualità della Generazione: I modelli addestrati hanno ottenuto punteggi superiori in metriche come BLEU-4, ROUGE-L e CIDEr, dimostrando una migliore aderenza alla terminologia tecnica e alla struttura dei report.
• Conformità agli Standard: A differenza dei modelli generici, PaveGPT e i modelli fine-tuned producono output conformi alla norma ASTM D6433, fornendo giustificazioni passo-passo per le stime di gravità e le raccomandazioni di riparazione.
• Efficienza: Sebbene PaveGPT richieda più risorse computazionali rispetto a modelli più piccoli (come PaliGemma), offre un compromesso ottimale tra accuratezza e latenza, rendendolo fattibile per il deployment su dispositivi edge o server locali.

4. Contributi Principali

1. PaveInstruct: Il primo dataset di istruzioni multimodale su larga scala specifico per la valutazione delle condizioni stradali, che unifica dati eterogenei e copre un ampio spettro di compiti ingegneristici.
2. Pipeline di Unificazione: Un metodo sistematico per armonizzare annotazioni disparate (bounding box, maschere, punteggi PCI) in un formato coerente per l'addestramento di VLM.
3. PaveGPT: Un modello fondazionale specializzato che dimostra come l'addestramento su istruzioni specifiche del dominio possa trasformare modelli generici in strumenti professionali per l'ingegneria civile.
4. Evidenza Empirica: Dimostrazione che l'addestramento su istruzioni specifiche del dominio è più determinante per le prestazioni rispetto alla semplice scala del modello, permettendo di sostituire sistemi specializzati multipli con un'unica interfaccia conversazionale.

5. Significato e Impatto

Questo lavoro segna un passo avanti significativo verso l'automazione intelligente delle infrastrutture:

• Unificazione dei Flussi di Lavoro: Permette alle agenzie di trasporto di sostituire sistemi frammentati con un unico strumento conversazionale in grado di gestire rilevamento, classificazione, stima del PCI e raccomandazioni di manutenzione.
• Accessibilità: Riduce la barriera all'ingresso per gli ispettori, fornendo un assistente AI che guida attraverso protocolli complessi e standardizzati.
• Generalizzabilità: L'approccio proposto (dataset di istruzioni + fine-tuning) offre una via percorribile per applicare l'IA a altri domini infrastrutturali critici, come l'ispezione di ponti, la manutenzione ferroviaria e la valutazione degli edifici.
• Limitazioni e Futuro: Il paper riconosce che il dataset riflette condizioni geografiche specifiche e che l'uso attuale è più adatto come strumento di supporto decisionale o screening preliminare piuttosto che per decisioni finali di investimento capitale senza validazione umana. Il lavoro futuro si concentrerà sull'espansione geografica e sull'integrazione con dati temporali per il monitoraggio del degrado nel tempo.