Detection and Measurement of Hailstones with Multimodal Large Language Models

Dit onderzoek toont aan dat voorgeprogrammeerde multimodale grote taalmodellen, met name bij gebruik van een tweestaps-promptstrategie met referentieobjecten, sociale-mediaafbeeldingen kunnen analyseren om hagelstenen in Oostenrijk met een gemiddelde foutmarge van 1,12 cm te detecteren en te meten, waarmee ze traditionele sensoren kunnen aanvullen voor snellere weersbeoordelingen.

De kern

Stel je voor dat je een enorme storm hebt gehad en overal liggen grote, harde hagelstenen. Voor weersvoorspellers en verzekeraars is het heel belangrijk om te weten hoe groot die stenen precies zijn. Maar traditionele methoden zijn als het proberen te meten van een regenbui met één enkele emmer: ze zijn beperkt en dekken niet de hele wereld.

De auteurs van dit onderzoek hebben een slimme, moderne oplossing bedacht: ze gebruiken kunstmatige intelligentie (AI) die net zo goed kan 'kijken' en 'denken' als een mens, om foto's van hagel op sociale media te analyseren.

Hier is de uitleg van hun onderzoek, vertaald naar alledaags taalgebruik:

1. Het Probleem: De "Blinde Vlekken"

Vroeger moesten weersdeskundigen wachten tot er een speciale mat (een hagelkussen) op de grond lag of tot een radar de storm zag. Maar radars kunnen kleine stenen soms missen, en die maten liggen niet overal. Het is alsof je probeert een hele stad te meten door alleen naar één straatje te kijken.

Gelukkig hebben mensen tegenwoordig overal hun telefoon. Als er hagel valt, maken mensen foto's en zetten die op Facebook, Instagram of Twitter. Dit is een goudmijn aan data, maar het is een enorme berg ongestructureerde informatie. Hoe meet je de grootte van een hagelsteen op een foto als je niet weet of de steen naast een muntje ligt of naast een auto?

2. De Oplossing: De "Slimme AI-Oog"

De onderzoekers hebben vier van de slimste AI-modellen ter wereld (zoals GPT-4o, Claude en Gemini) ingezet. Je kunt deze modellen zien als super-intelligente detectives die nooit slapen. Ze zijn getraind op miljoenen foto's en teksten, waardoor ze begrijpen hoe de wereld eruitziet, zonder dat ze eerst speciaal voor hagel zijn getraind.

Ze hebben deze detectives gevraagd om naar 474 foto's van hagel in Oostenrijk te kijken en de grootte van de stenen te schatten.

3. De Truc: De "Twee-Stappen Dans"

De onderzoekers hebben ontdekt dat je deze AI-detectives het beste kunt helpen met een slimme strategie, een beetje zoals het oplossen van een raadsel in twee stappen:

• Stap 1 (De Snelle Schatting): Je vraagt de AI direct: "Hoe groot is deze steen?"
  • Resultaat: De AI raakt vaak in de war, vooral als de steen ver weg staat. Het is alsof je iemand vraagt de lengte van een auto te raden terwijl je er met een verrekijker naar kijkt van ver weg.
• Stap 2 (De Slimme Hulp): De AI kijkt eerst naar de foto en zoekt naar een referentieobject. Is er een hand? Een munt? Een liniaal?
  • De Analogie: Stel je voor dat je de grootte van een ei moet raden. Als je ziet dat het ei naast een hand ligt, weet je direct: "Ah, ongeveer zo groot als een handpalm." Als je ziet dat het naast een liniaal ligt, kun je het aflezen.
  • De AI doet precies dit: "Ik zie een hand. Een hand is ongeveer 18 cm breed. De steen is de helft van de hand. Dus de steen is 9 cm."

4. Wat Vonden Ze?

De resultaten waren verrassend goed!

• De Winnaar: Het model GPT-4o met de "twee-stappen strategie" was de beste. Het maakte gemiddeld een fout van slechts 1,12 cm. Dat is alsof je de grootte van een hagelsteen raadt met een foutmarge van ongeveer één vingerbreedte.
• De Kracht van Referenties: Als er een menselijke hand op de foto stond, was de AI bijna perfect (fout van 0,75 cm). Zonder hand of liniaal werd de schatting veel minder nauwkeurig.
• De Bias (De Neiging tot Overschatten): Alle modellen hadden een klein gebrek: ze neigden er een beetje naar om de stenen iets te klein te schatten. Alsof ze bang zijn om te groot te zeggen als ze niet helemaal zeker zijn.

5. Waarom is dit belangrijk?

Stel je voor dat er een enorme hagelstorm is. In plaats van dat we dagen later wachten op rapporten van weersstations, kunnen we real-time duizenden foto's van burgers verzamelen. De AI scant deze foto's in een flits en zegt: "Hier viel hagel van 8 cm, daar van 3 cm."

Dit helpt:

• Boeren om hun gewassen te beschermen.
• Verzekeraars om schade sneller in te schatten.
• Weersvoorspellers om betere modellen te maken voor de toekomst.

Conclusie

Deze studie toont aan dat we niet altijd nieuwe, dure sensoren hoeven te bouwen. We kunnen de slimme telefoons van de mensen en de slimste AI's gebruiken als een enorm, gedistribueerd meetnetwerk. Het is alsof we de hele wereld een meetlat hebben gegeven, en de AI helpt ons om die maten te lezen.

De enige uitdaging die nog overblijft, is het automatisch verzamelen van die foto's van sociale media, maar als dat eenmaal lukt, hebben we een krachtig nieuw wapen in de strijd tegen extreme weersomstandigheden.

Technische samenvatting

Titel: Detectie en Meting van Hagelstenen met Multimodale Grootte Taalmodellen (MLLM's)

Auteurs: Moritz Alker, David C. Schedl, en Andreas Stöckl
Instelling: Digital Media Lab, Hogeschool voor Wetenschap en Kunst Oostenrijk (Hagenberg)
Context: ICECER 2025, 6-8 december 2025, Madagaskar

---

1. Probleemstelling

Hagelstormen veroorzaken jaarlijks miljarden dollars aan schade, met name in de landbouw en voor verzekeringen. Traditionele methoden voor hageldetectie (zoals hagelpads en disdrometers) hebben beperkte ruimtelijke dekking en tijdsresolutie. Weersradars bieden weliswaar bredere dekking, maar lijden onder straalverzwakking en grondclutter, wat de nauwkeurigheid voor kleinere hagelstenen vermindert.

Er is een groeiende behoefte aan methoden om hagelgrootte nauwkeurig te schatten op basis van crowdsourced data (social media en nieuwsbeelden). Echter, het extraheren van kwantitatieve metingen uit deze ongestructureerde beelden is uitdagend vanwege variërende beeldkwaliteit, kijkhoeken en het ontbreken van gestandaardiseerde referentieobjecten. Traditionele computer vision-modellen vereisen vaak grote, domeinspecifieke trainingsdatasets, wat een barrière vormt voor snelle toepassing op nieuwe data.

2. Methodologie

Dataset:

• Bron: Data afkomstig uit de European Severe Weather Database (ESWD).
• Omvang: 474 geannoteerde beelden van hagelstenen uit Oostenrijk (januari 2022 – september 2024).
• Kenmerken: Hagelstenen met een maximale diameter van 2 tot 11 cm (gemiddelde: 4,17 ± 1,46 cm).
• Ground Truth: Handmatig geannoteerde diameters met een nauwkeurigheid van 0,5 cm.
• Extra annotaties: De auteurs hebben handmatig twee nieuwe kenmerken toegevoegd:
  1. Aanwezigheid van een referentieobject (bijv. hand, munt, liniaal, sigaret, fruit).
  2. Afstand tot het object (close-up vs. op afstand).

Modellen:
Er werden vier state-of-the-art Multimodale Grootte Taalmodellen (MLLM's) getest zonder fine-tuning (zero-shot):

1. GPT-4o (OpenAI)
2. GPT-4o-mini (OpenAI)
3. Claude-Sonnet 4 (Anthropic)
4. Gemini 2.5 Flash Lite (Google)

Prompt-strategieën:
Twee benaderingen werden vergeleken:

• P1 (Single-stage): Directe vraag om de maximale diameter in cm.
  • Voorbeeld: "Wat is de maximale diameter van de hagelstenen in deze afbeelding? Antwoord alleen met een float-getal in cm."
• P2 (Two-stage): Een gefaseerde aanpak.
  • Stap 1: Identificeer of er een referentieobject is (hand, munt, liniaal, etc.) of geef "onbepaald" aan.
  • Stap 2: Gebruik de bekende afmetingen van het geïdentificeerde object (of contextuele cues als er geen object is) om de diameter te schatten.

Evaluatiemetrics:

• Gemiddelde Absolute Fout (MAE)
• Root Mean Square Error (RMSE)
• Bias (systematische afwijking)
• Pearson-correlatiecoëfficiënt ($r$)
• Aantal "misses" (geen numeriek antwoord gegeven)

3. Belangrijkste Bijdragen

1. Validatie van Zero-Shot MLLM's: Het paper demonstreert dat kant-en-klare MLLM's, zelfs zonder specifieke training op hageldata, in staat zijn om kwantitatieve metingen van hagelstenen uit crowdsourced beelden te extraheren.
2. Effectiviteit van Two-Stage Prompting: De studie bewijst dat het gebruik van een gefaseerde prompt-strategie (P2) die eerst contextuele referentieobjecten identificeert, de betrouwbaarheid en nauwkeurigheid aanzienlijk verbetert ten opzichte van directe vragen.
3. Analyse van Referentieobjecten: Er wordt een gedetailleerde analyse geboden van hoe verschillende referentieobjecten (zoals menselijke handen versus linialen) de schattingsnauwkeurigheid beïnvloeden.
4. Brug naar Operatieve Meteorologie: Het onderzoek suggereert een nieuwe weg om traditionele sensoren aan te vullen met ruimtelijk dichte data uit social media voor snellere beoordeling van zware weersomstandigheden.

4. Resultaten

Algemene Prestaties:

• Het beste model was GPT-4o met strategie P2, met een MAE van 1,12 cm en een correlatie van $r = 0,71$ met de ground truth.
• Alle modellen vertoonden een negatieve bias (systematische onderschatting), gemiddeld ongeveer -0,72 cm.
• Strategie P2 verlaagde de MAE gemiddeld met 18,6% vergeleken met P1.
• Het aantal mislukte antwoorden (misses) daalde drastisch van 289 (bij P1) naar slechts 20 (bij P2).

Invloed van Referentieobjecten (GPT-4o P2):

• Handen: Leverden de beste resultaten op (MAE = 0,75 cm), omdat dit de meest voorkomende en intuïtieve schaalreferentie is.
• Onbepaald/Geen object: De fout verdubbelde bijna (MAE = 1,73 cm) wanneer geen duidelijke schaalreferentie aanwezig was.
• Linialen: Verrassend genoeg minder nauwkeurig (MAE = 1,32 cm) dan handen, waarschijnlijk door perspectiefvervorming (linialen vaak schuin gehouden).

Foutanalyse:

• De meeste "misses" en grotere fouten kwamen voor bij beelden van hagelstenen die op afstand waren gefotografeerd.
• Het model GPT-4o-mini vertoonde de kleinste bias (-0,49 cm), hoewel de algehele nauwkeurigheid iets lager was dan bij de volledige GPT-4o.

5. Betekenis en Toekomstperspectief

Betekenis:
Dit onderzoek toont aan dat AI-modellen een waardevolle aanvulling kunnen zijn op traditionele meteorologische sensoren. Ze kunnen de grote ruimtelijke gaten in hageldata opvullen die door sensoren en radar worden gelaten, vooral in gebieden met veel sociale media-gebruik. Dit kan leiden tot betere risicobeoordeling voor verzekeringen en landbouw, en snellere reacties tijdens extreme weersomstandigheden.

Beperkingen:

• De dataset is beperkt tot Oostenrijk (2022-2024), wat de generaliseerbaarheid naar andere regio's met andere klimaten of sociale media-cultuur beperkt.
• Handmatige annotatie van afstand en objecten introduceert mogelijke subjectieve bias.
• Er is nog geen geautomatiseerde pipeline voor real-time harvesting van social media-beelden geïmplementeerd.

Toekomstig Werk:

• Uitbreiding van de dataset naar meer geografische diversiteit.
• Ontwikkeling van een geautomatiseerd systeem voor real-time verzameling en filtering van beelden.
• Onderzoek naar technieken voor perspectiefcorrectie om de systematische onderschatting (bias) te verminderen.
• Integratie van deze schattingen in operationele nuvoorspellingssystemen (nowcasting).

Conclusie:
Zelfs zonder fine-tuning kunnen moderne MLLM's effectief worden ingezet om waardevolle, ruimtelijk dichte informatie over hagelgrootte uit ongestructureerde beelden te halen. De twee-staps prompt-engineering is hierbij cruciaal voor het maximaliseren van de nauwkeurigheid.