🤖 machine learning

Mechanistic Interpretability-Guided Selective Fine-Tuning of Vision-Language Models for Centimeter-Level Flood Depth Estimation

Dit artikel introduceert mechanistische interpreteerbaarheid-gestuurde selectieve fijnafstemming van visie-taalmodellen, die specifieke cross-attention-lagen identificeert die cruciaal zijn voor het schatten van de waterdiepte om een nauwkeurigheid op centimeterniveau te bereiken met een reductie van 86–88% in traineerbare parameters vergeleken met dichte fijnafstemming.

Oorspronkelijke auteurs: Nafis Fuad, Xiaodong Qian, Dongxiao Zhu

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Nafis Fuad, Xiaodong Qian, Dongxiao Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren hoe hij een verhaal moet lezen dat in plaatjes is geschreven. Deze robot, een Vision-Language Model (VLM) genoemd, is als een briljante student die miljoenen boeken heeft gelezen en miljarden foto's heeft gezien, maar nog nooit in een overstroomde straat is geweest. Hij weet wat een auto is en wat water is als afzonderlijke zaken, maar hij heeft niet geleerd hoe hij precies de diepte van het water kan meten door alleen naar een auto te kijken die erin staat. Dit is een groot probleem voor onze steden. Wanneer het hard regent, kan het water stijgen en auto's gevangen houden of de stroomvoorziening uitschakelen, maar op dit moment kunnen onze navigatie-apps alleen vertellen of een weg "open" of "gesloten" is. Ze kunnen niet aangeven of het water 2 centimeter diep is (een klein spatje) of 20 centimeter diep (gevaarlijk voor de motor van een auto). Om dit op te lossen, moeten wetenschappers deze robots leren om nauwkeurig te zijn, tot op de centimeter nauwkeurig, zonder dat er een mens met een liniaal bij hoeft te staan. De uitdaging is dat het trainen van een gigantische robot hiervoor meestal een enorme hoeveelheid rekenkracht en een berg aan echte foto's vereist, die moeilijk te verkrijgen zijn omdat overstromingen gevaarlijk en onvoorspelbaar zijn.

Dit artikel vertelt het verhaal van hoe een team onderzoekers een robot genaamd "FloodLlama" heeft geleerd om een meesterlijke overstromingsdetective te worden. Eerst bouwden ze een gigantische, virtuele videogame-wereld met Unreal Engine 5, die ze vulden met 2,81 miljoen afbeeldingen van auto's in de regen, onder de zon en 's nachts, met waterstanden variërend van droog tot 40 centimeter diep. Ze gebruikten ongeveer 610.000 van deze afbeeldingen om de robot te trainen. De robot leerde naar een auto te kijken en de waterdiepte met ongelooflijke nauwkeurigheid te raden, waarbij hij het antwoord gemiddeld binnen 0,40 centimeter nauwkeurig kreeg. Maar hier komt het slimme deel: de onderzoekers stopten niet alleen bij het slim maken van de robot; ze wilden ook weten hoe hij dacht. Ze gebruikten een speciale set hulpmiddelen genaamd "mechanistic interpretability" om in de hersenen van de robot te kijken. Ze ontdekten dat de robot de taak niet in één keer leert. In plaats daarvan gaat hij door twee fasen: eerst herschikt hij hoe hij de afbeelding ziet (zoals het opruimen van een rommelig bureau), en daarna, in één specifieke laag van zijn brein (laag 23), begrijpt hij plotseling hoe hij die afbeelding in een getal kan omzetten.

Met behulp van deze geheime kaart van de hersenen van de robot, bouwden de onderzoekers twee nieuwe, super-efficiënte versies van het model genaamd FloodLlama-MI5 en FloodLlama-MI6. In plaats van het hele brein van de robot te trainen, leerden ze alleen de specifieke lagen die ze wisten dat het belangrijke werk deden. Dit was alsof je een student leert een wiskundeprobleem op te lossen door je alleen te concentreren op de specifieke stappen waar het antwoord daadwerkelijk wordt berekend, en de rest te negeren. Het resultaat? Deze nieuwe modellen zijn 86% tot 88% kleiner en sneller te trainen dan het originele model, maar ze zijn nog steeds ongelooflijk nauwkeurig. Wanneer ze werden getest op echte foto's van overstromingen, kreeg de meest efficiënte versie (MI6) in 98,62% van de gevallen het juiste antwoord, waarmee ze het vorige beste systeem met een ruime marge versloegen. Het artikel suggereert dat door precies te begrijpen hoe deze gigantische modellen leren, we ze veel efficiënter kunnen maken zonder hun intelligentie te verliezen, wat de weg vrijmaakt voor veiligere, slimmere navigatiesystemen die ons precies kunnen vertellen hoe diep het water is voordat we er met de auto in rijden.

Technisch overzicht: Mechanistische interpreteerbaarheid-gestuurde selectieve fine-tuning voor centimeterprecisie waterdiepte-inschatting bij overstromingen

1. Probleemstelling

Stedelijke overstromingen vormen een kritieke bedreiging voor de transportinfrastructuur, maar operationele systemen (bijv. Google Maps, Waze) vertrouwen momenteel op binaire afsluitingsrapportages in plaats van kwantitatieve dieptemetingen. Deze binaire aanpak faalt bij het ondersteunen van opkomende veiligheidskritische toepassingen:

Elektrische voertuigen (EV's): Risico op thermische runaway bij dieptes van 15–25 cm.
Autonome voertuigen (AV's): Vereisen nauwkeurige diepte-inschatting om operationele ontwerpdomeinen te definiëren, aangezien huidige perceptiestacks niet het onderscheid kunnen maken tussen begaanbaar en onbegaanbaar water.
Veiligheidsfysica: Zelfs een waterfilm van 0,56–1,5 mm kan hydroplaning veroorzaken, en een 1 mm film kan de wrijving tussen band en wegdek met wel 61% verminderen.

Bestaande visuele oplossingen lijden onder significante beperkingen:

Referentie-objectmethoden: Beperkt tot ~12 cm MAE en falen wanneer objecten worden geoccludeerd.
Objectdetectiemethoden: Behandelen diepte als discrete categorieën in plaats van continue variabelen.
Zero-shot Large Multimodal Models (LMM's): Hoewel ze open einde redeneren bieden, produceren ze hoge fouten (MAE > 8 cm) en fungeren ze als propriëtaire black boxes, wat de interpreteerbaarheid verhindert die vereist is voor veiligheidskritische inzet.

Er is een gat in de literatuur met betrekking tot het fine-tunen van open-source Vision-Language Models (VLMs) voor continue diepte-inschatting met centimeterresolutie en het mechanistische begrip van hoe deze modellen dergelijke capaciteiten verwerven.

2. Methodologie

A. Synthetische Datageneratie

Om het tekort aan gelabelde real-world flood-data te overwinnen, hebben de auteurs een synthetische corpus van 2,81 miljoen afbeeldingen gegenereerd met Unreal Engine 5. De dataset bevat:

Single-vehicle subset: 1,73 miljoen afbeeldingen met 7 voertuigtypen over 9 discrete diepteniveaus (0–40 cm in stappen van 5 cm) en 4 weersomstandigheden.
Mixed-vehicle subset: 1,08 miljoen afbeeldingen met meerdere voertuigen per scène, variërend in diepte met 1 cm intervallen (1–40 cm) om occlusie en visuele complexiteit te simuleren.
Fidelity Assessment: De sim-to-real transfer werd gevalideerd met Kolmogorov-Smirnov (KS) statistieken, waarbij de mixed-vehicle subset een betere uitlijning vertoonde met realistische beelden dan de single-vehicle subset.

B. Baseline Model: FloodLlama-Dense

De auteurs hebben LLaMA 3.2-11B Vision Instruct gefinetuned met behulp van QLoRA (4-bit NF4 kwantisatie met LoRA adapters).

Architectuur: Het model koppelt een bevroren ViT-H/14 vision encoder aan een 40-laag decoder. LoRA adapters ( $r=16, \alpha=16$ ) werden ingevoegd in de Q/K/V/O projecties van alle 40 attention modules (32 self-attention + 8 cross-attention lagen).
Trainingsstrategie: Een tweefasige progressieve curriculum werd toegepast:
1. Fase 1: Fine-tuning op een gebalanceerde subset van 340k afbeeldingen uit de single-vehicle data om een basis visuele-linguïstische mapping te vestigen.
2. Fase 2: Cumulatieve fine-tuning op 270k afbeeldingen uit de mixed-vehicle subset (verwerkt in 9 sequentiële chunks) om occlusie en continue regressie te verfijnen.
Parameters: 54,4M trainbare parameters (0,49% van het basismodel).

C. Mechanistische Interpreteerbaarheidsanalyse

Om te begrijpen hoe het model diepte leert en om efficiënte fine-tuning doelwitten te identificeren, pasten de auteurs vier interpreteerbaarheids-technieken toe op de getrainde FloodLlama-Dense:

Linear Probing: Een ridge regressor werd getraind op bevroren hidden states om diepte te voorspellen. De resultaten toonden een scherpe faseovergang bij Laag 23 (L23), waar diepte lineair decodeerbaar werd ( $R^2$ sprong van -0,355 naar +0,513).
Logit Lens: Onthulde dat numerieke diepte-tokens pas ontstonden in lagen L33 en L38, na de encoding-transitie bij L23.
Centered Kernel Alignment (CKA): Mat de representatieve drift. Lagen L13–L22 vertoonden significante drift (herstructurering van visuele kenmerken) maar codeerden geen diepte. Lagen L23–L38 behielden een hoge gelijkenis met het basismodel maar droegen de diepte-informatie.
Cross-Attention Entropy: Mat de aandachtsfocus. L13 vertoonde de scherpste entropiereductie (spatiële selectiviteit) maar nul encoding-capaciteit.
LoRA Weight Analysis: Identificeerde dat L18, L23, L28, L33 en L38 het merendeel van de gewicht-updates absorbeerden.

Kernbevinding: Het model vertoont een tweestaps-adaptatiepatroon: vroege- tot middenlagen (L13–L22) herstructureren visuele representaties, terwijl late lagen (vanaf L23) de diepte-informatie coderen.

D. Selectieve Fine-Tuning: FloodLlama-MI5 en MI6

Gebruikmakend van de interpretatiebevindingen, ontwikkelden de auteurs parameter-efficiënte varianten die alleen specifieke cross-attention lagen fine-tunen:

FloodLlama-MI5: Fine-tunt 5 lagen (L8, L18, L23, L33, L38).
FloodLlama-MI6: Fine-tunt 6 lagen (de MI5-set + L28).
Efficiëntie: Deze modellen reduceren het aantal trainbare parameters met 86–88% (6,55M en 7,86M parameters respectievelijk) vergeleken met de dense baseline, terwijl ze hetzelfde tweefasige trainingscurriculum behouden.

3. Belangrijkste Resultaten

A. Synthetische Testprestaties

Op een gehouden 16.000-afbeeldingen tellende mixed-vehicle testset:

FloodLlama-Dense: Bereikte MAE = 0,40 cm, RMSE = 1,97 cm, en Acc@5cm = 97,59%.
FloodLlama-MI5: MAE = 0,80 cm, Acc@5cm = 95,1%.
FloodLlama-MI6: MAE = 0,78 cm, Acc@5cm = 95,8%.
Observatie: Hoewel het dense model de laagste absolute fout bereikte, behielden de sparse varianten de operationele nauwkeurigheid binnen de kritieke ±5 cm tolerantieband met een fractie van de trainingskosten.

B. Real-World Benchmark (vs. STURM-FloodDepth)

Geëvalueerd op een real-world dataset van 300 afbeeldingen tegen de STURM-FloodDepth baseline (die discrete categorieën output):

FloodLlama-MI6 (Chain-of-Thought prompt): Bereikte 98,62% algemene nauwkeurigheid en 100,00% nauwkeurigheid bij diepe overstromingsniveaus (>30 cm).
STURM-FloodDepth: Bereikte 86,61% algemene nauwkeurigheid en 88,27% bij diepe overstromingsniveaus.
Statistische Significantie: De verbetering van ~12 procentpunten werd bevestigd met niet-overlappende 9s 95% betrouwbaarheidsintervallen.
Prompt Sensitiviteit: Chain-of-Thought (CoT) prompts leverden de hoogste nauwkeurigheid en de beste kalibratie voor diepe overstromingen, terwijl "Simple" prompts de neiging hadden om diepe overstromingsniveaus te ondervoorspellen.

4. Bijdragen

Dataset: Creatie van een 2,81M-afbeeldingen tellende synthetische flood-corpus met centimeter-resolutie dieptelabels en systematische variatie in voertuigtypen en weer.
FloodLlama-Dense: De eerste open-source VLM die is gefinetuned voor continue centimeter-resolutie diepte-regressie, waarbij een sub-centimeter MAE op synthetische data wordt behaald.
Mechanistisch Inzicht: De eerste toepassing van mechanistische interpreteerbaarheid (linear probing, logit lens, CKA, entropie) op een flood-dieptemodel, waarbij Laag 23 werd geïdentificeerd als de kritieke diepte-coderende transitielaag en een "herstructureren-dan-coderen" adaptatiepatroon werd onthuld.
Efficiënte Modellen: Ontwikkeling van FloodLlama-MI5 en MI6, die een reductie van 86–88% in parameters bereiken terwijl ze de state-of-the-art STURM-FloodDepth baseline overtreffen op real-world data.

5. Betekenis en Claims

Het artikel claimt dat mechanistische interpreteerbaarheid kan dienen als een praktische ontwerpdriver voor Parameter-Efficient Fine-Tuning (PEFT) in transport-perceptie taken. Door de specifieke lagen te identificeren die verantwoordelijk zijn voor taak-encoding (L23) versus de lagen die verantwoordelijk zijn voor feature-herstructurering (L13–L22), demonstreren de auteurs dat:

Volledige fine-tuning van alle lagen niet noodzakelijk is voor hoog-precieze regressie.
Selectieve fine-tuning gestuurd door interpreteerbaarheidsanalyse de computationele kosten met bijna 90% kan verlagen zonder het verlies van real-world generalisatie.
Open-source VLMs, wanneer ze correct zijn gefinetuned en geïnterpreteerd, de sub-decimeter precisie kunnen leveren die vereist is voor volgende generatie voertuigveiligheidssystemen, waarmee ze zowel traditionele computer vision methoden als propriëtaire zero-shot modellen overtreffen.

De auteurs merken beperkingen op, waaronder de afhankelijkheid van een enkele VLM-architectuur (LLaMA 3.2) en de ondervertegenwoordiging van extreme lage licht en diepe overstromingsscenario's in de real-world testset, wat suggereert dat toekomstig werk deze interpreteerbaarheids-protocollen naar andere architecturen en bredere omgevingscondities moet uitbreiden.