Detection and Measurement of Hailstones with Multimodal Large Language Models

Diese Studie zeigt, dass vortrainierte multimodale Large Language Models ohne Feinabstimmung soziale Medienbilder nutzen können, um Hagelkörner zuverlässig zu detektieren und deren Durchmesser mit einer durchschnittlichen Abweichung von nur 1,12 cm zu messen, wodurch sie traditionelle Sensoren bei der schnellen Bewertung von Unwettern ergänzen.

Das Wesentliche

Eiswürfel aus dem Internet: Wie KI hilft, Hagel zu messen

Stellen Sie sich vor, ein riesiger Hagelsturm zieht über Österreich hinweg. Die Dächer klappern, die Autos sehen aus wie von einem riesigen Hammer bearbeitet. Meteorologen müssen wissen: Wie groß waren diese Eisklumpen eigentlich? War es ein kleiner Eiskorn oder ein gefährlicher Stein von der Größe eines Tennisballs?

Traditionell warten die Experten auf Berichte von Bodenstationen oder messen mit speziellen Pads. Das ist aber wie der Versuch, die Größe eines ganzen Ozeans zu messen, indem man nur an einem einzigen Punkt einen Eimer Wasser schöpft. Es gibt zu viele Lücken.

Die Idee: Die „Augen" der KI nutzen
Die Forscher aus Österreich haben eine clevere Idee gehabt: Warum nicht das nutzen, was wir alle in unseren Taschen haben? Unsere Smartphones! Wenn ein Hagelsturm kommt, machen die Leute Fotos und posten sie auf Social Media. Das sind Millionen von „Augen", die überall sind.

Das Problem: Ein Foto allein sagt nicht, wie groß ein Hagelkorn ist. Ist es ein kleiner Stein oder ein riesiger Brocken? Ohne einen Maßstab im Bild ist das unmöglich zu sagen.

Hier kommen die Multimodalen Large Language Models (MLLMs) ins Spiel. Das sind die neuesten, super-intelligenten KI-Modelle (wie GPT-4 oder Claude), die nicht nur Texte verstehen, sondern auch Bilder „sehen" und logisch denken können. Man kann sie sich wie einen extrem gut ausgebildeten Assistenten vorstellen, der schon alles auf der Welt gesehen hat und jetzt lernt, Eisklumpen zu vermessen.

Das Experiment: Ein zweistufiger Detektiv-Trick
Die Forscher haben 474 echte Fotos von Hagelstürmen gesammelt und die KI-Modelle getestet. Sie haben zwei verschiedene Methoden ausprobiert:

1. Der direkte Blick (Einfach): Die KI bekommt das Foto und wird einfach gefragt: „Wie groß ist der Hagel?" Das ist, als würde man jemanden in einen dunklen Raum werfen und fragen: „Wie weit ist es zum Fenster?" Ohne Orientierung ist das schwer.
2. Der Detektiv-Trick (Zweistufig): Hier fragt die KI erst einmal: „Was sehe ich neben dem Hagel?" Findet sie eine Hand, eine Münze oder ein Lineal? Dann nutzt sie dieses Objekt als Maßstab.
   • Die Analogie: Stellen Sie sich vor, Sie sehen ein Foto von einem Hund. Ohne Vergleich ist er schwer zu schätzen. Aber wenn Sie sehen, dass der Hund neben einem durchschnittlichen Menschen steht, wissen Sie sofort: „Aha, der Hund ist mittelgroß." Die KI macht genau das: Sie sucht nach dem „Menschen" oder der „Münze" im Bild, um die Größe des Hagels zu berechnen.

Was kam heraus?
Die Ergebnisse waren überraschend gut!

• Die beste KI (ein Modell namens GPT-4o) hat die Größe der Hagelkörner mit einer durchschnittlichen Abweichung von nur 1,12 Zentimetern erraten. Das ist fast so präzise, als würde man mit einem Lineal messen!
• Der „Detektiv-Trick" (die zweistufige Methode) war deutlich besser als das direkte Raten. Die KI wurde zuverlässiger, sobald sie einen Referenzpunkt wie eine Hand im Bild fand.
• Ein kleiner Fehler: Die KI neigte dazu, den Hagel etwas zu klein zu schätzen. Das ist wie bei einem vorsichtigen Schätzer, der lieber etwas zu wenig angibt, als sich zu täuschen.

Warum ist das wichtig?
Stellen Sie sich vor, Sie könnten in Echtzeit sehen, wie sich ein Hagelsturm bewegt und wie groß die Steine werden, basierend auf tausenden Fotos, die gerade auf Instagram oder Twitter hochgeladen werden.

• Für Versicherungen: Sie können Schäden schneller einschätzen.
• Für Landwirte: Sie wissen sofort, ob ihre Ernte in Gefahr ist.
• Für die Wettervorhersage: Es hilft, zukünftige Stürme besser zu verstehen, besonders da der Klimawandel Hagelstürme häufiger und stärker macht.

Fazit
Die Forscher haben gezeigt, dass wir keine neuen, teuren Sensoren brauchen, um Hagel zu messen. Wir können die „Schwarmintelligenz" der Menschen auf Social Media nutzen und sie mit der „Superintelligenz" der KI kombinieren. Es ist, als würde man aus dem Chaos von Millionen Handyfotos ein präzises, digitales Maßband für das Wetter weben.

Natürlich gibt es noch zu tun: Die KI muss lernen, Fotos automatisch aus dem Internet zu sammeln und in Echtzeit zu verarbeiten. Aber der Grundstein ist gelegt. Die Zukunft der Wetterbeobachtung könnte so aussehen, dass jeder von uns ein winziges, unsichtbares Messgerät für die Wissenschaft ist, indem er einfach ein Foto macht.

Technische Zusammenfassung

Titel: Erkennung und Messung von Hagelkörnern mit multimodalen Large Language Models (MLLMs)

Verfasser: Moritz Alker, David C. Schedl, Andreas Stöckl (University of Applied Sciences Upper Austria)
Veranstaltung: ICECER 2025, Madagaskar

---

1. Problemstellung

Hagelstürme verursachen jährlich Schäden in Milliardenhöhe, insbesondere in Nordamerika. Die genaue Schätzung der Hagelkörnergröße ist entscheidend für landwirtschaftliche Risikobewertungen, Versicherungsanalysen und die Validierung meteorologischer Modelle.

• Herausforderungen traditioneller Methoden: Herkömmliche Sensoren (Hagelkissen, Disdrometer) bieten nur eine sehr geringe räumliche Abdeckung. Wetterrader leiden unter Beam-Attenuation und Bodenclutter, was die Messgenauigkeit, besonders bei kleineren Körnern, beeinträchtigt.
• Potenzial von Social Media: Crowdsourcing-Daten aus sozialen Medien bieten eine enorme Menge an Beobachtungen, die die traditionellen Netzwerke um Größenordnungen übertreffen.
• Das spezifische Problem: Die Extraktion quantitativer Messdaten (Durchmesser) aus unstrukturierten Social-Media-Bildern ist schwierig aufgrund variierender Bildqualität, unterschiedlicher Aufnahmewinkel und des Fehlens standardisierter Referenzobjekte.

2. Methodik

Datensatz

• Quelle: European Severe Weather Database (ESWD).
• Umfang: 474 manuell annotierte Bilder von Hagelkörnern aus Österreich (Januar 2022 – September 2024).
• Eigenschaften: Durchmesser zwischen 2 cm und 11 cm (Mittelwert: 4,17 ± 1,46 cm). Die Ground-Truth-Messungen haben eine Genauigkeit von 0,5 cm.
• Annotationen: Zusätzlich zu den Durchmessern wurden zwei Merkmale manuell hinzugefügt:
  1. Vorhandensein und Art eines Referenzobjekts (z. B. Hand, Münze, Lineal).
  2. Aufnahmedistanz (Nahaufnahme vs. Distanzaufnahme).

Modelle

Vier state-of-the-art Multimodal Large Language Models (MLLMs) wurden ohne Fine-Tuning (Zero-Shot) evaluiert:

1. GPT-4o (OpenAI)
2. GPT-4o-mini (OpenAI)
3. Claude-Sonnet 4 (Anthropic)
4. Gemini 2.5 Flash Lite (Google)

Prompting-Strategien

Zwei Strategien wurden verglichen:

• P1 (Ein-Stufen-Prompt): Direkte Aufforderung zur Schätzung des maximalen Durchmessers in cm.
• P2 (Zwei-Stufen-Prompt):
  1. Schritt 1: Klassifizierung, ob ein Referenzobjekt (Hand, Münze, Lineal etc.) vorhanden ist.
  2. Schritt 2: Nutzung der bekannten Abmessungen des identifizierten Referenzobjekts (oder kontextueller Hinweise bei Fehlen eines Objekts) zur Größenbestimmung.

3. Wichtige Ergebnisse

Gesamtleistung

• Das beste Modell (GPT-4o mit Strategie P2) erreichte einen mittleren absoluten Fehler (MAE) von 1,12 cm und eine Pearson-Korrelation von r = 0,71 mit den Ground-Truth-Daten.
• Vergleich der Strategien: Die Zwei-Stufen-Strategie (P2) verbesserte die Zuverlässigkeit und reduzierte den MAE im Durchschnitt um 18,6 % im Vergleich zur Ein-Stufen-Strategie (P1).
• Fehlerreduktion: Die Anzahl der „Misses" (Modelle lieferten keine numerische Antwort) sank drastisch von 289 (bei P1) auf 20 (bei P2).

Einfluss von Referenzobjekten

Die Anwesenheit klarer Referenzobjekte hatte einen massiven Einfluss auf die Genauigkeit:

• Hand als Referenz: Erzielte den niedrigsten MAE von 0,75 cm.
• Kein Referenzobjekt / Unspezifiziert: Der Fehler verdoppelte sich fast auf 1,73 cm.
• Lineale: Zeigten trotz absoluter Skalierung einen höheren Fehler (1,32 cm), vermutlich aufgrund von Perspektivverzerrungen (Verkippen).

Systematische Verzerrung (Bias)

• Alle Modelle neigten zu einer systematischen Unterschätzung der Hagelgröße (durchschnittlicher Bias von ca. -0,7 cm).
• Dies deutet auf eine konservative Tendenz der Modelle hin, wenn sie mit visuellen Mehrdeutigkeiten konfrontiert werden.
• GPT-4o-mini zeigte den geringsten Bias (-0,49 cm).

4. Hauptbeiträge

1. Nachweis der Machbarkeit: Die Studie demonstriert, dass kommerziell verfügbare MLLMs (ohne Fine-Tuning) quantitative Messungen von Hagelkörnern aus Social-Media-Bildern mit hoher Genauigkeit extrahieren können.
2. Optimierung durch Prompt Engineering: Es wurde gezeigt, dass ein Zwei-Stufen-Ansatz (Erkennung von Referenzobjekten vor der Messung) die Leistung signifikant steigert und die Robustheit gegenüber fehlenden Skalierungshinweisen erhöht.
3. Datensatz: Bereitstellung und Analyse eines annotierten Datensatzes von 474 Hagelbildern mit Ground-Truth-Messungen und Metadaten zu Referenzobjekten.
4. Praktische Relevanz: Die Ergebnisse belegen, dass diese Modelle traditionelle Sensoren ergänzen können, um räumlich dichtere Informationen für die Bewertung von Unwettern zu gewinnen.

5. Bedeutung und Ausblick

• Operative Meteorologie: Die Technologie hat das Potenzial, die Erfassung von Hagelereignissen zu beschleunigen und detailliertere Analysen zu ermöglichen, was angesichts des Klimawandels und der zunehmenden Hagelintensität von großer Bedeutung ist.
• Limitationen: Der Datensatz ist auf Österreich beschränkt, was die Generalisierbarkeit einschränken könnte. Die manuelle Annotation von Distanzen und Referenzobjekten ist subjektiv.
• Zukünftige Arbeiten:
  • Entwicklung einer automatisierten Pipeline zum Echtzeit-Harvesting von Bildern aus Social Media.
  • Erweiterung des Datensatzes auf geografisch diverse Regionen.
  • Untersuchung geometrischer Priors oder Perspektivkorrekturen zur Reduzierung des systematischen Unterschätzungs-Bias.

Fazit: Die Studie etabliert MLLMs als vielversprechendes Werkzeug für die meteorologische Forschung, das die Lücke zwischen spärlichen Bodensensoren und der Fülle an verfügbaren Social-Media-Bildern schließen kann.