LLM-Powered Flood Depth Estimation from Social Media Imagery: A Vision-Language Model Framework with Mechanistic Interpretability for Transportation Resilience

Probleemstelling

Stedelijke overstromingen vormen een toenemende bedreiging voor de continuïteit van transportnetwerken. Bestaande systemen, zoals navigatie-apps (Google Maps, Waze), bieden doorgaans slechts binaire informatie (weg gesloten/open) met een vertraging, zonder specifieke diepte-informatie. Dit is echter cruciaal omdat kleine veranderingen in waterpeil disproportionele gevolgen hebben voor de doorstroming en de veiligheid van voertuigen.

• Elektrische voertuigen (EV's): Batterijen zijn gevoelig voor waterindringing bij dieptes van 15–25 cm.
• Autonome voertuigen (AV's): Huidige systemen missen robuuste perceptie voor overstromingen en sluiten deze scenario's vaak uit van hun operationele domein.
• Huidige beperkingen: Bestaande computer-vision-methoden leveren vaak slechts grove categorische schattingen (bijv. "bandniveau") in plaats van continue metingen. Er ontbreekt een publieke dataset met centimeter-resolutie labels, en Vision-Language Models (VLM's) worden vaak zonder specifieke fine-tuning gebruikt, wat leidt tot inconsistentie en gebrek aan interpretatie.

Methodologie

De studie introduceert FloodLlama, een raamwerk dat sociale media-afbeeldingen omzet in centimeter-precieze overstromingsdieptes. De aanpak bestaat uit vier hoofdfasen:

1. Multimodale Datapipeline (TikTok):

   • Gegevens worden verzameld via de TikTok Research API (zoekopdrachten rondom Detroit, 2016–2025).
   • De pipeline verwerkt videoframes, OCR-tekst, spraaktranscripties (ASR) en gebruikerscommentaren.
   • Een gefinetuned VLM filtert eerst overstromingscènes van niet-overstromingscènes (bereikte 99,73% nauwkeurigheid).

2. Synthetische Dataset Generatie:

   • Om het gebrek aan gelabelde real-world data op te lossen, werd een dataset van ongeveer 190.000 afbeeldingen gegenereerd met Unreal Engine 5.
   • Specificaties: 7 voertuigtypes (van sedan tot bus), 4 weersomstandigheden, en 41 diepteniveaus (0–40 cm in stappen van 1 cm).
   • Een realiteitscheck toonde aan dat de synthetische beelden (met name de "mixed-vehicle" set) statistisch goed overeenkomen met real-world beelden qua contrast en textuur, ondanks verschillen in helderheid.

3. Model Fine-tuning (FloodLlama):

   • Architectuur: LLaMA 3.2-11B Vision (een decoder-only multimodaal model).
   • Training: Gebruik van QLoRA (Quantized Low-Rank Adaptation) met 4-bit kwantisatie. Slechts 0,49% van de parameters is trainbaar.
   • Prompt Engineering: De input bevat gestructureerde metadata (bandhoogte, grondvrijheid, weer) en een JSON-schema voor de output.
   • Curriculum Learning: Een twee-fasen strategie: eerst trainen op synthetische data met één voertuig (coarse learning), gevolgd door trainen op complexe scènes met meerdere voertuigen (fine-grained learning).

4. Mechanistische Interpretatie (Mechanistic Interpretability):

   • De auteurs analyseren hoe het model diepte-informatie encodeert door middel van vijf methoden:
     • Linear Probing: Om te zien welke lagen lineair decodable diepte-informatie bevatten.
     • Logit Lens: Om te traceren welke tokens (woorden/cijfers) in de lagen worden gegenereerd.
     • Centered Kernel Alignment (CKA): Om representatie-divergentie tussen het basis- en het gefinetuned model te meten.
     • Attention Entropy: Om de focus van het model te analyseren.
     • Ablatie-studies: Om de bijdrage van specifieke cross-attention lagen te testen.
   • Kerninzicht: Diepte-informatie wordt niet overal gelijkmatig verwerkt. Er is een duidelijke overgang bij laag L23, waar visuele kenmerken worden omgezet in numerieke diepteschattingen.

Belangrijkste Resultaten

• Nauwkeurigheid: FloodLlama bereikte een Mean Absolute Error (MAE) van < 0,97 cm** voor diepe overstromingen en een **Acc@5cm (nauwkeurigheid binnen 5 cm) van > 93,7%. Voor ondiepe overstromingen is de nauwkeurigheid zelfs > 96,8%.
• Prompt-afhankelijkheid: Er is een diepte-afhankelijk effect gevonden:
  • Ondiepe overstromingen: Eenvoudige prompts werken beter (directe patroonherkenning).
  • Diepe overstromingen: Chain-of-Thought (CoT) redenering verbetert de prestaties door stapsgewijs omgang met occlusie en ambiguïteit.
• Efficiëntie door Selectieve Fine-tuning:
  • Door alleen de cruciale lagen (Tier 2 en Tier 3: lagen L8, L18, L23, L28, L33, L38) te finetunen, kunnen 76–80% van de trainbare parameters worden verwijderd zonder significant verlies aan nauwkeurigheid.
  • De "Anti-configuratie" (trainen op de verkeerde lagen) leverde slechte resultaten op, wat de causaliteit van de interpretatie bevestigt.
• Robuustheid: Het model behoudt hoge nauwkeurigheid (87,9%) zelfs wanneer voertuigonderdelen (zoals banden) visueel worden afgedekt (occlusie).
• Real-world Validatie: Op een dataset van 676 geannoteerde TikTok-frames uit Detroit behaalde Tier 3 een nauwkeurigheid van 98,62% bij het classificeren van overstromingsniveaus.

Bijdragen en Significantie

1. Infrastructuur-vrij Monitoring: Het biedt een schaalbare oplossing voor real-time overstromingsmonitoring zonder vaste sensoren, gebruikmakend van bestaande smartphone-gebruikers als sensornetwerk.
2. Centimeter-resolutie: Voor het eerst wordt een open-source VLM gefinetuned voor continue, centimeter-precieze diepteschatting, wat essentieel is voor EV-veiligheid en AV-navigatie.
3. Mechanistische Interpretatie in Transport: De studie toont aan dat mechanische interpretatie kan worden gebruikt als een engineering-tool om modellen efficiënter te maken (door selectieve fine-tuning) en het "black box"-probleem van VLM's aan te pakken in veiligheidskritieke toepassingen.
4. Synthetische Data Succes: Het bewijst dat realistische synthetische data, gecombineerd met curriculum learning, effectief kan worden gebruikt voor training op real-world data, wat het risico van annotatie in gevaarlijke overstromingsscenario's elimineert.

Conclusie:
FloodLlama biedt een schaalbaar, kostenefficiënt en nauwkeurig raamwerk voor het verbeteren van de veerkracht van transportsystemen. Door de combinatie van sociale media-data, geavanceerde VLM-finetuning en mechanistische interpretatie, creëert de studie een nieuwe standaard voor real-time overstromingsbeheer, met directe implicaties voor de veiligheid van elektrische en autonome voertuigen.