GeoSANE: Learning Geospatial Representations from Models, Not Data

1. Problemstellung

Das Feld der Fernerkundung (Remote Sensing) hat in jüngster Zeit eine Flut an Foundation Models (Basis-Modellen) hervorgebracht. Diese Modelle (z. B. SatMAE, Scale-MAE, Prithvi) wurden auf unterschiedlichen Datensätzen, mit verschiedenen Sensormodalitäten (optisch, SAR, multispektral) und für spezifische Aufgaben trainiert.

Das zentrale Problem ist die Fragmentierung des Wissens:

• Kein einzelnes Modell deckt das gesamte Spektrum der geospatialen Kenntnisse ab.
• Nutzer müssen für jede neue Aufgabe oder jeden neuen Sensor entscheiden, welches der vielen verfügbaren Modelle sie auswählen oder neu trainieren sollen.
• Der traditionelle Ansatz des „Pretrainings" (Training auf Rohdaten) ist ressourcenintensiv und führt zu redundanten Modellen, die nur einen Teil des verfügbaren Wissens nutzen.
• Bestehende Methoden zum Kombinieren von Modellen (z. B. Model Merging, Pruning, Knowledge Distillation) sind oft auf homogene Architekturen beschränkt oder führen zu Leistungsverlusten bei der Komprimierung.

Die Autoren stellen die Frage: Kann man das Wissen bestehender Modelle direkt aus deren Gewichten lernen, anstatt erneut riesige Datenmengen zu verarbeiten?

2. Methodik: GeoSANE

GeoSANE (Geospatial Model Foundry) ist ein neuartiger Ansatz, der den Paradigmenwechsel von datenzentriertem Pretraining zu gewichts-zentrierter Generierung vollzieht. Das System funktioniert in drei Hauptphasen:

A. Datensammlung (Model Collection)

• Es wird eine heterogene Sammlung von 103 Fernerkundungsmodellen von der Hugging Face Hub gesammelt.
• Diese Modelle umfassen diverse Architekturen (ViT, Swin, ResNet, UNet, YOLO), Modalitäten (SAR, optisch, multispektral) und Aufgaben (Klassifizierung, Segmentierung, Detektion).
• Insgesamt repräsentieren diese Modelle etwa 38 Milliarden Parameter.
• Ein automatischer Loader verarbeitet auch Modelle ohne Standard-Konfigurationsdateien, indem er die Struktur der Gewichte (State Dict) analysiert, um die Architektur zu rekonstruieren.

B. Lernen der latenten Repräsentation (Weight Space Learning)

GeoSANE verwendet einen sequenziellen Autoencoder (Encoder-Decoder-Architektur auf Basis von Transformern), der direkt im Gewichtsraum operiert:

1. Tokenisierung: Die Gewichte der gesammelten Modelle werden in 2D-Matrizen pro Schicht umgeformt und in feste Token-Größen zerlegt.
2. Positionale Einbettung: Jeder Token erhält eine 3D-Positionsinformation (Sequenzposition, Schichtindex, Position innerhalb der Schicht).
3. Encoder-Decoder:
   • Der Encoder bildet die Token-Sequenz in einen gemeinsamen latenten Raum ab.
   • Der Decoder rekonstruiert die ursprünglichen Gewichte aus diesem latenten Vektor.
4. Trainingsziel: Eine Kombination aus Rekonstruktionsverlust (MSE) und kontrastivem Verlust (NT-Xent). Der kontrastive Verlust sorgt dafür, dass Modelle mit ähnlichem Wissen im latenten Raum nahe beieinander liegen, während sie von anderen Modellen getrennt bleiben.
5. Vorgehensweise: Das Modell wird zunächst auf allgemeinen Computer-Vision-Modellen vortrainiert und dann auf den Fernerkundungs-Modellen feinabgestimmt (Fine-Tuning), um domänenspezifisches Wissen zu injizieren.

C. On-Demand Gewichts-Generierung

Um ein neues Modell für eine spezifische Aufgabe zu erstellen:

1. Der Nutzer definiert eine Zielarchitektur (z. B. ein ViT-L oder Swin-B).
2. Die Gewichte dieser Architektur werden tokenisiert und durch den Encoder in den latenten Raum projiziert (als „Prompt").
3. Ein Kernel Density Estimator (KDE) wird um diesen Punkt im latenten Raum gelegt, um Stichproben zu ziehen.
4. Der Decoder wandelt diese latenten Stichproben zurück in synthetische Gewichte für die Zielarchitektur um.
5. Das Ergebnis ist ein funktionsfähiges Modell, das das aggregierte Wissen der gesamten Trainingspopulation kodiert und bereit für das Fine-Tuning auf Downstream-Aufgaben ist.

3. Wichtige Beiträge

1. Neues Paradigma: Der erste Ansatz, der geospatiales Wissen direkt aus den Gewichten bestehender Modelle lernt, anstatt aus Rohdaten.
2. GeoSANE Framework: Ein skalierbarer Encoder-Decoder, der heterogene Modelle (unterschiedliche Architekturen, Modalitäten, Aufgaben) in einen gemeinsamen latenten Raum integriert.
3. On-Demand Generierung: Die Fähigkeit, Modelle beliebiger Größe und Architektur zu generieren, ohne dass ein großes Lehrer-Modell oder aufwendiges Pruning nötig ist.
4. Umfassende Validierung: Experimente über 10 verschiedene Datensätze, drei Modalitäten und drei Aufgabenarten (Klassifizierung, Segmentierung, Detektion).

4. Ergebnisse

Die Evaluation zeigt, dass von GeoSANE generierte Modelle in fast allen Szenarien überlegen sind:

• Vs. Training von Null (From Scratch): GeoSANE-Initialisierungen übertreffen Modelle, die zufällig initialisiert wurden, konsistent. Die Verbesserungen sind besonders groß bei komplexen Datensätzen (z. B. +23,2% auf fMoW, +18,9% auf BigEarthNet).
• Vs. State-of-the-Art Foundation Models: Die generierten Modelle erreichen oder übertreffen die Leistung etablierter Fernerkundungs-Foundation Models (wie SatMAE, Scale-MAE, CROMA) auf Benchmarks wie GEO-Bench, EuroSAT und RESISC-45.
• Vs. Model Merging: Im Gegensatz zu einfachen Methoden wie dem Durchschnittsbildung von Gewichten (DARE, Model Soups), die bei divergierenden Aufgaben oft versagen, erzielt GeoSANE durch das Lernen im latenten Raum deutlich bessere Ergebnisse.
• Vs. Komprimierung (Pruning/Distillation): GeoSANE kann leichtgewichtige Modelle (z. B. ResNet-18, MobileNetV2) direkt generieren, die deutlich besser abschneiden als Modelle, die durch Pruning oder Knowledge Distillation aus großen Modellen abgeleitet wurden. Dies ist besonders wichtig für den Einsatz auf Satelliten (On-Board-Processing).
• Generalisierung: Das System funktioniert über verschiedene Backbones (ViT, Swin, ResNet) und Modalitäten hinweg, was die Robustheit der gelernten Repräsentation unterstreicht.

5. Bedeutung und Ausblick

GeoSANE stellt einen fundamentalen Wandel in der Entwicklung von KI-Modellen für die Fernerkundung dar:

• Ressourceneffizienz: Es eliminiert die Notwendigkeit, jedes Mal riesige Datensätze für das Pretraining zu nutzen. Das Wissen wird „wiederverwendet" und neu kombiniert.
• Demokratisierung des Wissens: Es ermöglicht Nutzern, das kollektive Wissen aller verfügbaren Open-Source-Modelle in einem einzigen, anpassbaren Modell zu nutzen.
• Skalierbarkeit: Da der Ansatz auf Gewichten basiert, ist er unabhängig von der Verfügbarkeit neuer Satellitendaten und kann schnell auf neue Architekturen oder Sensoren adaptiert werden, sobald entsprechende Modelle existieren.

Zusammenfassend beweist GeoSANE, dass das Lernen aus Modellgewichten eine leistungsfähige, skalierbare und effektive Alternative zum traditionellen datenzentrierten Pretraining ist, um geospatiales Wissen zu vereinen und zu transferieren.