Recov-Vision: Linking Street View Imagery and Vision-Language Models for Post-Disaster Recovery

Sintesi Tecnica: Recov-Vision

Definizione del Problema
Il recupero post-disastro richiede valutazioni rapide dell'occupazione a livello di singolo edificio per guidare il triage, il ripristino delle utenze e l'allocazione delle risorse. Sebbene le immagini zenitali (nadir) offrano una copertura ampia, esse spesso non riescono a catturare gli indizi a livello di facciata critici per determinare l'abitabilità, come ingressi ostruiti, coperture temporanee o detriti localizzati. Al contrario, le immagini stradali (SVI) forniscono questi dettagli necessari, ma sono intrinsecamente scarse, dipendenti dalla prospettiva e difficili da allineare con gli inventari dei lotti su larga scala. I metodi esistenti spesso si affidano a classificatori "black box" che mancano del ragionamento strutturato e trasparente necessario per auditare le decisioni o gestire prove visive ambigue.

Metodologia
Il documento presenta Recov-vision, un framework a livello stradale guidato dal linguaggio, progettato per collegare video panoramici a specifici lotti di terreno e inferire lo stato di occupazione. La pipeline consiste di quattro componenti principali:

1. Raccolta Dati e Pre-elaborazione:

   • Acquisizione: Video panoramici a 360° (risoluzione 5.6K) sono stati catturati tramite una GoPro Max montata su un veicolo durante rilievi sul campo a Swannanoa e Black Mountain, North Carolina, a seguito dell'uragano Helene. I dati sono stati raccolti attraverso due campagne (marzo e giugno 2025) per monitorare il recupero.
   • Allineamento Geospaziale: I log GPS sono stati sincronizzati con i fotogrammi video. Un indice spaziale R-tree ha fatto corrispondere le posizioni dei veicoli ai lotti di riferimento (con un buffer di 25 m).
   • Rettificazione della Visuale: Per standardizzare gli input, il sistema ha stimato la direzione del veicolo utilizzando una finestra temporale di punti GPS. Ha poi calcolato l'angolo di imbardata (yaw) necessario per centrare la facciata dell'edificio nel fotogramma panoramico. Utilizzando il filtro v360 di FFmpeg, il sistema ha dewarpato l'input equirettangolare in una vista rettilinea centrata sulla facciata (rapporto d'aspetto 16:9).

2. Strategie di Prompting per Modelli Vision-Language (VLM):
   Lo studio confronta due architetture decisionali utilizzando un estrattore visivo condiviso (GPT-4o) e uno schema di attributi standardizzato (Tabella 2):

   • Baseline a Stadio Unico (One-Stage): Il VLM estrae nove attributi visivi (es. distruzione della casa, detriti esterni, segnaletica di emergenza). Un sistema di punteggio deterministico basato su regole classifica quindi l'occupazione. La regola è: Prevedere "Non Occupato" se (Indicatori di Rischio - Presenza del Veicolo) ≥ 2. Questa soglia è calibrata per essere conservativa, richiedendo una corroborazione per le etichette negative.
   • Strategia a Due Stadi (Two-Stage): Il VLM estrae prima gli stessi attributi visivi senza inferire l'occupazione. In un secondo stadio, un LLM puramente testuale applica regole di ragionamento esplicite ed esempi few-shot per mappare tali attributi su un'etichetta finale di "Occupato" o "Non Occupato". Questa fase è progettata per essere conservativa, favorendo l'etichetta "Non Occupato" in presenza di evidenze ambigue.

3. Analisi Temporale:
   Il framework aggrega le predizioni a livello di fotogramma in etichette a livello di lotto tramite voto di maggioranza. Definisce quattro classi di cambiamento tra le due visite: Recuperato (Non Occupato → Occupato), Deteriorato (Occupato → Non Occupato) e due stati Stabili.

4. Valutazione:
   Le prestazioni sono state valutate rispetto alla ground truth umana utilizzando precisione, recall, F1 e $\kappa$ di Cohen. La significatività statistica è stata valutata tramite campionamento bootstrap accoppiato e test di McNemar. L'autocorrelazione spaziale degli errori è stata analizzata utilizzando l'indice $I$ globale di Moran.

Contributi Chiave

1. Pipeline Riproducibile: Un flusso di lavoro end-to-end che collega video panoramici a 5.6K ai lotti, inclusa la formulazione geometrica specifica per la rettificazione della visuale e la stima dell'imbardata basata su GPS.
2. Inferenza Interpretabile: Un confronto tra un approccio basato su regole trasparente e un design a due stadi percezione-ragionamento. La separazione dell'estrazione degli attributi dalla logica decisionale consente la calibrazione delle policy senza dover riaddestrare i componenti di visione.
3. Valutazione Spazio-Temporale: Un framework per quantificare il recupero netto e diagnosticare il raggruppamento degli errori utilizzando l'indice $I$ globale di Moran, andando oltre l'accuratezza aggregata per arrivare a diagnosi spaziali.
4. Validazione Statistica: Reporting rigoroso di intervalli di confidenza e tassonomie di errore, dimostrando che l'approccio a due stadi riduce l'ambiguità e guida i revisori verso un sottoinsieme specifico di casi difficili.

Risultati

• Prestazioni: La strategia a due stadi ha ottenuto una recall più elevata (0.781 vs 0.728) e punteggi di F1 e $\kappa$ di Cohen leggermente superiori rispetto alla baseline a stadio unico. Tuttavia, i test bootstrap accoppiati e i test di McNemar hanno indicato che queste differenze non erano statisticamente significative al punto operativo attuale.
• Metriche di Recupero: Entrambi i modelli hanno sovrastimato l'occupazione rispetto alla ground truth. Tuttavia, la strategia a due stadi ha riprodotto più accuratamente il trend di recupero netto della ground truth (+14), mentre la baseline a stadio unico ha sovrastimato il recupero (+18).
• Analisi degli Errori: Gli errori residui non erano distribuiti casualmente. L'analisi dell'indice $I$ globale di Moran ha rivelato un significativo raggruppamento spaziale sia degli stati di occupazione che degli errori di predizione. Ciò suggerisce che gli errori si concentrano in specifici "pocket", rendendo fattibile un controllo di qualità mirato.
• Casi Studio: L'approccio a due stadi ha dimostrato un confine decisionale più conservativo, identificando correttamente i casi di "Non Occupato" dove la baseline a stadio unico ha fallito (es. case con riparazioni importanti), sebbene entrambi i modelli abbiano avuto difficoltà con indizi visivi confondenti (es. interpretare erroneamente loghi come segnaletica di emergenza).

Significatività e Rivendicazioni
Il documento sostiene che il valore primario del design a due stadi non risiede nella superiorità delle prestazioni grezze (che non era statisticamente significativa), ma nella controllabilità e auditabilità. Esponendo gli attributi intermedi e separando la percezione dal ragionamento, il sistema permette agli operatori di:

• Diagnosticare i modi di fallimento e calibrare le policy decisionali (es. soglie di rischio) senza riaddestramento.
• Dare priorità alla revisione umana per i pocket di errore spazialmente raggruppati piuttosto che condurre audit diffusi e casuali.
• Produrre output pronti per le decisioni e auditabili, adatti all'integrazione nei flussi di lavoro della gestione delle emergenze.

Gli autori concludono che, sebbene il pipeline offra un'alternativa scalabile alle ispezioni porta a porta, esso rimane limitato dalla qualità delle immagini sottostanti, particolarmente negli scenari post-riparazione dove gli indizi visivi diventano più sottili. Si suggerisce come lavoro futuro la validazione multi-regione e la modellazione delle transizioni temporali.