🤖 machine learning

Mechanistic Interpretability-Guided Selective Fine-Tuning of Vision-Language Models for Centimeter-Level Flood Depth Estimation

Questo articolo introduce il fine-tuning selettivo dei modelli visione-linguaggio guidato dall'interpretabilità meccanicistica, che identifica specifici strati di cross-attention critici per la stima della profondità delle inondazioni per raggiungere un'accuratezza centimetrica con una riduzione dell'86–88% dei parametri addestrabili rispetto al fine-tuning denso.

Autori originali: Nafis Fuad, Xiaodong Qian, Dongxiao Zhu

Pubblicato 2026-08-11

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Nafis Fuad, Xiaodong Qian, Dongxiao Zhu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente come leggere una storia scritta con le immagini. Questo robot, noto come Modello Visione-Linguaggio (VLM), è come uno studente brillante che ha letto milioni di libri e visto miliardi di foto, ma non è mai stato in una strada allagata. Sa cosa sia un'auto e cosa sia l'acqua separatamente, ma non ha imparato come misurare esattamente quanto sia profonda l'acqua solo guardando un'auto ferma in essa. Questo è un grande problema per le nostre città. Quando piove forte, l'acqua può salire e intrappolare le auto o interrompere l'energia elettrica, ma in questo momento, le nostre app di navigazione possono solo dire se una strada è "aperta" o "chiusa". Non possono dire se l'acqua è profonda 2 centimetri (uno schizzo) o 20 centimetri (pericolosa per il motore di un'auto). Per risolvere questo, gli scienziati devono insegnare a questi robot a essere precisi, fino al centimetro, senza aver bisogno di un essere umano che stia lì con un righello. La sfida è che insegnare a un robot gigante a fare questo richiede solitamente una quantità massiccia di potenza di calcolo e una montagna di foto del mondo reale, che sono difficili da ottenere perché le inondazioni sono pericolose e imprevedibili.

Questo articolo racconta la storia di come un team di ricercatori ha insegnato a un robot chiamato "FloodLlama" a diventare un maestro detective delle inondazioni. Per prima cosa, hanno costruito un enorme mondo virtuale simile a un videogioco usando Unreal Engine 5, riempiendolo con 2,81 milioni di immagini di auto sotto la pioggia, sotto il sole e di notte, con livelli d'acqua che variavano da asciutti a 40 centimetri di profondità. Hanno usato circa 610.000 di queste immagini per addestrare il robot. Il robot ha imparato a guardare un'auto e a indovinare la profondità dell'acqua con un'accuratezza incredibile, ottenendo la risposta entro 0,40 centimetri in media. Ma ecco la parte astuta: i ricercatori non si sono fermati al rendere il robot intelligente; volevano sapere come stava pensando. Hanno utilizzato un set speciale di strumenti chiamati "interpretabilità meccanicistica" per sbirciare dentro il cervello del robot. Hanno scoperto che il robot non impara l'intero compito tutto in una volta. Invece, attraversa due fasi: prima riorganizza il modo in cui vede l'immagine (come organizzare una scrivania disordinata), e poi, in uno strato specifico del suo cervello (lo strato 23), capisce improvvisamente come trasformare quell'immagine in un numero.

Usando questa mappa segreta del cervello del robot, i ricercatori hanno costruito due nuove versioni super efficienti del modello, chiamate FloodLlama-MI5 e FloodLlama-MI6. Invece di addestrare l'intero cervello del robot, hanno insegnato solo agli strati specifici che sapevano stare facendo il lavoro importante. Questo era come insegnare a uno studente a risolvere un problema di matematica concentrandosi solo sui passaggi specifici in cui viene effettivamente calcolata la risposta, ignorando tutto il resto. Il risultato? Questi nuovi modelli sono dall'86% all'88% più piccoli e veloci da addestrare rispetto al modello originale, eppure sono incredibilmente accurati. Quando testati su foto reali di inondazioni, la versione più efficiente (MI6) ha dato la risposta corretta il 98,62% delle volte, superando di gran lunga il precedente miglior sistema. L'articolo suggerisce che comprendendo esattamente come questi modelli giganti imparano, possiamo renderli molto più efficienti senza perdere la loro intelligenza, aprendo la strada a sistemi di navigazione più sicuri e intelligenti che possano dirci esattamente quanto sia profonda l'acqua prima di guidarci dentro.

Sintesi Tecnica: Fine-Tuning Selettivo Guidato dalla Interpretabilità Meccanicistica per la Stima della Profondità di Inondazione a Livello di Centimetro

1. Definizione del Problema

Le inondazioni urbane rappresentano una minaccia critica per le infrastrutture di trasporto, eppure i sistemi operativi attuali (ad es. Google Maps, Waze) si affidano attualmente a segnalazioni di chiusura binarie piuttosto che a misurazioni quantitative della profondità. Questo approccio binario non riesce a supportare le emergenti applicazioni critiche per la sicurezza:

Veicoli Elettrici (EV): Rischio di fuga termica a profondità di 15–25 cm.
Veicoli Autonomi (AV): Richiedono una stima precisa della profondità per definire i domini operativi di progettazione (ODD), poiché gli attuali stack di percezione non possono distinguere tra acqua passabile e impraticabile.
Fisica della Sicurezza: Anche un velo d'acqua di 0,56–1,5 mm può innescare l'aquaplaning, e un velo di 1 mm può ridurre l'attrito pneumatico-pavimento fino al 61%.

Le soluzioni basate sulla visione esistenti soffrono di limitazioni significative:

Metodi con oggetto di riferimento: Limitati a circa 12 cm di MAE e falliscono quando gli oggetti sono occlusi.
Metodi di rilevamento oggetti: Trattano la profondità come categorie discrete anziché come variabili continue.
Modelli Multimodali Grandi (LMM) Zero-shot: Sebbene offrano un ragionamento aperto, producono errori elevati (MAE > 8 cm) e funzionano come black box proprietari, precludendo l'interpretabilità richiesta per l'impiego in scenari critici per la sicurezza.

Esiste una lacuna nella letteratura riguardante il fine-tuning di modelli Vision-Language (VLM) open-source per la stima della profondità continua con risoluzione centimetrica e la comprensione meccanicistica di come tali modelli acquisiscano tali capacità.

2. Metodologia

A. Generazione di Dati Sintetici

Per superare la scarsità di dati reali etichettati, gli autori hanno generato un corpus sintetico di 2,81M di immagini utilizzando Unreal Engine 5. Il dataset include:

Sottoserie veicolo singolo: 1,73M di immagini con 7 tipi di veicoli su 9 livelli di profondità discreti (0–40 cm con passi di 5 cm) e 4 condizioni meteorologiche.
Sottoserie veicoli misti: 1,08M di immagini con più veicoli per scena, profondità variabile con incrementi di 1 cm (1–40 cm) per simulare l'occlusione e la complessità visiva.
Valutazione della Fedeltà: Il trasferimento sim-to-real è stato validato tramite statistiche Kolmogorov-Smirnov (KS), con la sottoserie di veicoli misti che mostrava un migliore allineamento con le immagini reali rispetto alla sottoserie a veicolo singolo.

B. Modello Baseline: FloodLlama-Dense

Gli autori hanno effettuato il fine-tuning di LLaMA 3.2-11B Vision Instruct utilizzando QLoRA (quantizzazione 4-bit NF4 con adattatori LoRA).

Architettura: Il modello accoppia un encoder visivo ViT-H/14 congelato con un decoder a 40 strati. Gli adattatori LoRA ( $r=16, \alpha=16$ ) sono stati inseriti nelle proiezioni Q/K/V/O di tutti i 40 moduli di attenzione (32 strati di self-attention + 8 strati di cross-attention).
Strategia di Training: È stato impiegato un curriculum progressivo in due fasi:
1. Fase 1: Fine-tuning su un sottoinsieme bilanciato di 340k immagini dei dati a veicolo singolo per stabilire la mappatura base visione-linguaggio.
2. Fase 2: Fine-tuning cumulativo su 270k immagini dalla sottoserie a veicoli misti (elaborate in 9 chunk sequenziali) per gestire l'occlusione e raffinare la regressione continua.
Parametri: 54,4M di parametri addestrabili (0,49% del modello base).

C. Analisi dell'Interpretabilità Meccanicistica

Per comprendere come il modello apprenda la profondità e per identificare target di fine-tuning efficienti, gli autori hanno applicato quattro tecniche di interpretabilità al modello FloodLlama-Dense addestrato:

Linear Probing: Un regreditore ridge è stato addestrato sugli stati latenti congelati per predire la profondità. I risultati hanno mostrato una transizione di fase netta allo Strato 23 (L23), dove la profondità è diventata linearmente decodificabile ( $R^2$ passato da -0,355 a +0,513).
Logit Lens: Ha rivelato che i token numerici della profondità sono emersi solo negli strati L33 e L38, dopo la transizione di codifica a L23.
Centered Kernel Alignment (CKA): Ha misurato lo drift rappresentazionale. Gli strati L13–L22 hanno mostrato un drift significativo (ristrutturazione delle caratteristiche visive) ma non codificavano la profondità. Gli strati L23–L38 mantenevano un'alta similarità con il modello base ma portavano l'informazione sulla profondità.
Cross-Attention Entropy: Ha misurato il focus dell'attenzione. L13 ha mostrato la riduzione più netta dell'entropia (selettività spaziale) ma con capacità di codifica nulla.
Analisi dei Pesi LoRA: Ha identificato che L18, L23, L28, L33 e L38 hanno assorbito la maggior parte degli aggiornamenti dei pesi.

Risultato Chiave: Il modello esibisce un pattern di adattamento a due stadi: gli strati iniziali-intermedi (L13–L22) ristrutturano le rappresentazioni visive, mentre gli strati tardivi (a partire da L23) codificano l'informazione sulla profondità.

D. Fine-Tuning Selettivo: FloodLlama-MI5 e MI6

Sfruttando le scoperte dell'interpretabilità, gli autori hanno sviluppato varianti a parametri efficienti che effettuano il fine-tuning solo di specifici strati di cross-attention:

FloodLlama-MI5: Effettua il fine-tuning di 5 strati (L8, L18, L23, L33, L38).
FloodLlama-MI6: Effettua il fine-tuning di 6 strati (il set MI5 + L28).
Efficienza: Questi modelli riducono i parametri addestrabili dell'86–88% (6,55M e 7,86M di parametri, rispettivamente) rispetto al baseline denso, mantenendo lo stesso curriculum di training in due fasi.

3. Risultati Chiave

A. Performance sui Test Sintetici

Su un set di test a veicoli misti di 16.000 immagini tenuto da parte:

FloodLlama-Dense: Ha raggiunto MAE = 0,40 cm, RMSE = 1,97 cm, e Acc@5cm = 97,59%.
FloodLlama-MI5: MAE = 0,80 cm, Acc@5cm = 95,1%.
FloodLlama-MI6: MAE = 0,78 cm, Acc@5cm = 95,8%.
Osservazione: Sebbene il modello denso abbia ottenuto l'errore assoluto più basso, le varianti sparse hanno mantenuto l'accuratezza operativa entro la tolleranza critica di ±5 cm con una frazione del costo di addestramento.

B. Benchmark Real-World (vs. STURM-FloodDepth)

Valutato su un dataset reale di 300 immagini contro il baseline STURM-FloodDepth (che outputta categorie discrete):

FloodLlama-MI6 (prompt Chain-of-Thought): Ha raggiunto il 98,62% di accuratezza complessiva e il 100,00% di accuratezza sui livelli di inondazione profondi (>30 cm).
STURM-FloodDepth: Ha raggiunto l'86,61% di accuratezza complessiva e l'88,27% sui livelli di inondazione profondi.
Significatività Statistica: Il miglioramento di circa 12 punti percentuali è stato confermato da intervalli di confidenza al 95% non sovrapponibili.
Sensibilità al Prompt: I prompt Chain-of-Thought (CoT) hanno prodotto l'accuratezza più elevata e la migliore calibrazione per le inondazioni profonde, mentre i prompt "Simple" tendevano a sottostimare i livelli di inondazione profondi.

4. Contributi

Dataset: Creazione di un corpus di inondazioni sintetiche di 2,81M di immagini con etichette di profondità a risoluzione centimetrica e variazione sistematica di tipi di veicoli e condizioni meteorologiche.
FloodLlama-Dense: Il primo VLM open-source sottoposto a fine-tuning per la regressione continua della profondità di inondazione a risoluzione centimetrica, raggiungendo un MAE sub-centimetrico sui dati sintetici.
Insight Meccanicistico: La prima applicazione dell'interpretabilità meccanicistica (linear probing, logit lens, CKA, entropia) a un modello di profondità di inondazione, identificando lo strato 23 come lo strato critico di transizione per la codifica della profondità e rivelando un pattern di adattamento "ristruttura-e-codifica".
Modelli Efficienti: Sviluppo di FloodLlama-MI5 e MI6, che ottengono una riduzione dei parametri dell'86–88% pur superando il modello allo stato dell'arte STURM-FloodDepth sui dati reali.

5. Significato e Rivendicazioni

Il documento afferma che l'interpretabilità meccanicistica può servire come driver di design pratico per il Parameter-Efficient Fine-Tuning (PEFT) nei compiti di percezione del trasporto. Identificando gli strati specifici responsabili della codifica del task (L23) rispetto a quelli responsabili della ristrutturazione delle feature (L13–L22), gli autori dimostrano che:

Il fine-tuning completo di tutti gli strati non è necessario per la regressione ad alta precisione.
Il fine-tuning selettivo guidato dall'analisi dell'interpretabilità può ridurre i costi computazionali di quasi il 90% senza sacrificare la generalizzazione nel mondo reale.
I modelli VLM open-source, se opportunamente sottoposti a fine-tuning e interpretazione, possono fornire la precisione sub-decimetrica richiesta dai sistemi di sicurezza dei veicoli di prossima generazione, superando sia i metodi tradizionali di computer vision che i modelli proprietari zero-shot.

Gli autori segnalano limitazioni, tra cui la dipendenza da un'unica architettura VLM (LLaMA 3.2) e la sottorappresentazione di scenari di luce scarsa estrema e inondazioni profonde nel test real-world, suggerendo che il lavoro futuro dovrebbe estendere questi protocolli di interpretabilità ad altre architetture e condizioni ambientali più ampie.