💻 computer science

Beyond GSD-as-Token: Continuous Scale Conditioning for Remote Sensing VLMs

Dieser Beitrag stellt ScaleEarth vor, einen parameter-effizienten Feinabstimmungsrahmen für Fernerkundungs-Vision-Language-Modelle, der die Bodenabtastrate (GSD) als kontinuierliche Bedingungsvariable behandelt, um die Berechnung über CS-HLoRA dynamisch zu routen, während er gleichzeitig GSD aus visuellen Merkmalen vorhersagt und einen neu konstruierten skalenbewussten Datensatz nutzt, um state-of-the-art-Leistung über diverse Erdsystemaufgaben zu erzielen.

Ursprüngliche Autoren: Song Zhang, Yanlong Chen, Yilin Li, Yining Chen, Zili Yi, Xiaowei Zhang, Yawei Li

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Song Zhang, Yanlong Chen, Yilin Li, Yining Chen, Zili Yi, Xiaowei Zhang, Yawei Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Zoom"-Verwirrung

Stellen Sie sich vor, Sie betrachten eine Stadt aus zwei verschiedenen Höhen:

Von einer Drohne in 3 Metern Höhe: Sie können einzelne Autos, die Farbe eines Daches und eine Person, die einen Hund spazieren führt, erkennen.
Von einem Satelliten in 16 Kilometern Höhe: Sie können keine Autos oder Menschen mehr sehen. Sie sehen nur ein grünes Fleckchen (einen Park) oder ein graues Gitter (eine Wohngegend).

In der Welt der Fernerkundung (Aufnahmen der Erde aus der Luft) wird der Abstand zum Boden als GSD (Ground Sampling Distance – Bodenabtastrate) bezeichnet. Das Problem ist, dass aktuelle KI-Modelle (Vision-Language Models) schlecht damit umgehen können.

Alter Weg 1 (Das blinde Modell): Die KI betrachtet das Bild und versucht zu erraten, was es ist, wobei sie die Höhe völlig ignoriert. Sie könnte versuchen, einzelne Autos auf einem unscharfen Satellitenbild zu zählen, was unmöglich ist.
Alter Weg 2 (Der Text-Token): Der KI wird gesagt: „Dieses Foto wurde aus 16 Kilometern Höhe aufgenommen", aber sie behandelt diesen Satz wie jedes andere Wort in einer Geschichte. Sie ändert tatsächlich nicht, wie sie denkt oder das Bild verarbeitet. Es ist, als würde man einem Koch sagen: „Dies ist ein scharfes Gericht", der Koch es aber trotzdem so schmeckt, als wäre es mild.

Die Lösung: ScaleEarth

Die Autoren haben ein neues System namens ScaleEarth entwickelt. Anstatt die Höhe nur als Wort zu lesen, haben sie die Höhe zu einem physischen Regler gemacht, der tatsächlich das Gehirn der KI verändert, während sie denkt.

Stellen Sie sich das Gehirn der KI als ein Schweizer Taschenmesser mit verschiedenen Werkzeugen vor:

Kleine Werkzeuge: Um feine Details zu erkennen (Autos, Menschen, Dachziegel).
Mittlere Werkzeuge: Um Strukturen zu erkennen (Straßen, Gebäude, Stadtblöcke).
Große Werkzeuge: Um den großen Überblick zu sehen (Wälder, Städte, Küstenlinien).

ScaleEarth verfügt über einen speziellen Mechanismus, der automatisch die richtigen Werkzeuge basierend auf der Höhe der Kamera auswählt.

Ist die Kamera nahe (niedriger GSD), werden die „kleinen Werkzeuge" freigeschaltet und die „großen Werkzeuge" gesperrt.
Ist die Kamera weit entfernt (hoher GSD), werden die „kleinen Werkzeuge" gesperrt (da sie dort nur Rauschen sehen würden) und die „großen Werkzeuge" freigeschaltet.

Dies geschieht automatisch und fließend, nicht durch den Wechsel zwischen verschiedenen KI-Modellen, sondern durch die Anpassung der Einstellungen desselben Modells in Echtzeit.

Wie sie es gebaut haben (Die drei Teile)

1. Der „intelligente Regler" (CS-HLoRA)

Dies ist die Kerninnovation. Die Forscher haben ein „Tor" innerhalb der KI geschaffen, das steuert, welche Teile ihres Gehirns aktiv sind.

Die Analogie: Stellen Sie sich einen Dimmer für eine Glühbirne vor. Anstatt das Licht nur ein- oder auszuschalten, können Sie den Schalter genau auf die richtige Helligkeit schieben.
Wie es funktioniert: Die KI nimmt den physischen Abstand (GSD) als Zahl entgegen. Sie verwendet eine mathematische Formel, um genau zu entscheiden, wie stark die detailfokussierten Teile ihres Gehirns im Vergleich zu den Teilen für den großen Überblick „eingeschaltet" werden. Dies ermöglicht es der KI, sich perfekt an jede Zoom-Stufe anzupassen.

2. Das „erratende Auge" (SSE-U)

Manchmal kommt das Foto ohne ein Etikett, das angibt, aus welcher Höhe die Kamera aufgenommen wurde.

Die Analogie: Stellen Sie sich vor, Sie erhalten ein Foto ohne Bildunterschrift. Sie schauen sich die Bäume und Gebäude an und sagen: „Basierend darauf, wie klein die Bäume aussehen, würde ich schätzen, dass dieses Foto aus etwa 300 Metern Höhe aufgenommen wurde. Ich bin mir ziemlich sicher, aber vielleicht liege ich ein wenig daneben."
Wie es funktioniert: Das System verfügt über ein kleines Hilfsmodul, das das Bild betrachtet und die Höhe sowie sein Vertrauen in diese Schätzung schätzt. Wenn das Bild sehr klar ist, trifft es eine genaue Schätzung. Wenn das Bild unscharf oder seltsam ist, sagt es: „Ich bin mir nicht sicher", und das System wechselt zu einer sicheren, mittleren Einstellung, damit es keine wilden Vermutungen anstellt.

3. Das „Trainingsmanual" (GeoScale-VQA)

Um der KI diese neue Fähigkeit beizubringen, erstellten die Forscher ein massives neues Lehrbuch namens GeoScale-VQA (1,5 Millionen Fragen und Antworten).

Die Analogie: Anstatt der KI nur ein Bild eines Autos zu zeigen und zu fragen: „Was ist das?", zeigten sie ihr dasselbe Bild in verschiedenen Zoom-Stufen.
- Aus der Nähe: „Welche Farbe hat das Auto?" (Antwort: Rot).
- Aus der Ferne: „Was für ein Gebiet ist das?" (Antwort: Ein Parkplatz).
Der Kreislauf: Sie sorgten dafür, dass die gestellten Fragen dem Zoom-Level entsprachen. Man würde nicht fragen: „Welche Farbe hat das Auto?", wenn das Foto zu unscharf ist, um das Auto zu erkennen. Dies schuf einen perfekten Feedback-Kreislauf, in dem die KI lernte, dass Zoom-Level = Unterschiedliche Fragen = Unterschiedliche Antworten sind.

Die Ergebnisse

Als sie dieses neue System testeten:

Es schlug alle anderen Fernerkundungs-KI-Modelle in Standardtests.
Es war viel besser darin, Fragen zu beantworten, die ein Verständnis der „Skala" erforderten (z. B. Autos zählen vs. Wohngebiete zählen).
Es funktionierte auch dann, wenn die Höheninformationen fehlten, dank des „erratenden Auges".

Zusammenfassung

ScaleEarth ist wie das Verleihen einer intelligenten Brille an eine Fernerkundungs-KI.

Alte KIs setzen für alles dieselbe Brille auf, sodass sie entweder zu sehr auf unscharfe Fotos starren oder den großen Überblick in detaillierten Bildern verpassen.
ScaleEarth passt die Gläser automatisch an, je nachdem, wie weit das Objekt entfernt ist. Es weiß, wann es nach winzigen Details suchen muss und wann es zurücktreten und die Landschaft betrachten sollte, alles ohne dass ein Mensch ihm sagen muss, was zu tun ist.

Technische Zusammenfassung: Beyond GSD-as-Token: Kontinuierliche Skalenedition für Fernerkundungs-VLMs

1. Problemstellung

Fernerkundungs-Vision-Language-Modelle (RS-VLMs) sehen sich aufgrund der extremen Variabilität der Ground Sampling Distance (GSD) einer fundamentalen Diskrepanz zu ihren Gegenstücken für natürliche Bilder gegenüber. Während natürliche Bilder typischerweise innerhalb eines stabilen Skalenbereichs existieren, erstreckt sich das Spektrum von Fernerkundungsbildern über zwei Größenordnungen, von subdezimetergroßen Luftbildern (~~0,06 m/Pixel) bis hin zu dezimetergroßen Satellitenprodukten (~~10 m/Pixel oder gröber).

Bestehende RS-VLMs adressieren diese physikalische Realität durch zwei primäre Einschränkungen nicht effektiv:

Skalenagnostisches Fine-Tuning: Diese Modelle verwenden statische Parameter über alle Auflösungen hinweg, was das Modell zwingt, unterschiedliche visuelle Regime (z. B. feine Texturen vs. unscharfe Bereiche) in eine einzige gemittelte Darstellung zu kollabieren, wodurch sowohl die Erkennung feiner Details als auch das räumliche Schlussfolgern auf grober Ebene beeinträchtigt werden.
GSD-as-Token: Aktuelle Ansätze injizieren GSD-Metadaten als diskrete Text-Token (z. B. „0,4 m Auflösung"). Diese Methode tokenisiert den Skalar als Text, bewirkt keine Anpassung auf Parameterebene und versagt vollständig, wenn Sensormetadaten fehlen oder unzuverlässig sind.

Keiner der beiden Ansätze behandelt GSD als kontinuierliche physikalische Variable, die den internen Berechnungspfad des Modells dynamisch steuern sollte.

2. Methodik: ScaleEarth

Die Autoren schlagen ScaleEarth vor, ein parametereffizientes Fine-Tuning-Framework, das auf dem Qwen3-VL-8B-Rückgrat aufbaut. Die Kerninnovation besteht darin, GSD nicht als passive Metadaten, sondern als kontinuierliche Bedingungsvariable zu behandeln, die die Berechnung des Modells antreibt. Das Framework besteht aus drei Hauptkomponenten:

A. CS-HLoRA (Continuous Scale-Conditioned Hyper-LoRA)

CS-HLoRA ist der zentrale Anpassungsmechanismus. Er modifiziert den Standard-LoRA-Aktualisierungspfad (Low-Rank Adaptation), indem er ein GSD-gesteuertes Gate zwischen die Down-Projektions- und die Up-Projektionsmatrizen einfügt.

Mechanismus: Die Aktualisierung ist definiert als $\Delta W(s) = \frac{\alpha_{lora}}{r} B \text{diag}(h(s)) A$ , wobei $s = \log_{10}(\text{GSD})$ .
Gate-Funktion: Das Gate $h_k(s) = \sigma(\alpha(\tau_k - s))$ ist eine Sigmoid-Funktion, die LoRA-Rangdimensionen basierend auf der Eingabeskala weich auswählt.
Physikalische Tier-Initialisierung: Die 64 Rangdimensionen werden in drei physikalisch motivierte Tiers initialisiert, basierend auf der Theorie des kleinsten Abbildungselements:
- Objekt-Ränge (0–10): Aktiv bei hoher Auflösung (GSD < 1 m) für feingranulare Details.
- Struktur-Ränge (11–31): Aktiv bei mittlerer bis niedriger Auflösung (1–10 m) für Layout und strukturelle Beziehungen.
- Semantik-Ränge (32–63): Aktiv über den gesamten Skalenbereich hinweg für landschaftliche Semantik.
Kontinuierliches Routing: Wenn sich die GSD ändert, verschieben sich die aktiven LoRA-Dimensionen glatt und ersetzen die gemittelte Politik des skalenagnostischen Fine-Tunings durch einen skalenabhängigen Anpassungspfad, ohne das vortrainierte Rückgrat zu modifizieren.

B. SSE-U (Heteroskedastische Skalenschätzung)

Um sicherzustellen, dass das Framework im Einsatzbetrieb ohne Abhängigkeit von Sensormetadaten funktioniert, umfasst ScaleEarth einen leichten heteroskedastischen Sub-Kopf, SSE-U.

Funktion: Er sagt die GSD ( $\hat{\mu}$ ) und ihre Unsicherheit ( $\hat{\sigma}^2$ ) direkt aus visuellen Merkmalen (gepoolte ViT-Merkmale) voraus.
Training: Er wird mittels Gaußscher negativer Log-Likelihood (NLL) an Proben mit exakten GSD-Annotationen trainiert.
Inferenz: Wenn Metadaten fehlen, verwendet das Modell die vorhergesagte GSD, wenn die Unsicherheit gering ist; andernfalls weicht es auf einen neutralen Anker-Skalenwert aus. Dies ermöglicht eine unsicherheitsbewusste, skalenbedingte Dekodierung.

C. GeoScale-VQA-Datensatz

Um eine passende Überwachung zu bieten, haben die Autoren GeoScale-VQA konstruiert, ein 1,5-Millionen-Proben umfassendes, skalenlayered RS-VQA-Korpus.

Konstruktion: Es kombiniert bestehende Datensätze (RSVQA-HR/LR, RSVQA-xBEN, GeoLLaVA-8K, PatternNet, MtSCCD) mit neu generierten Proben.
Skalenbewusste Generierung: Frage-Antwort-Paare werden bedingt auf dem GSD-Tier des Bildes generiert (Hoch: <0,2 m, Mittel: 0,2–1,0 m, Niedrig: >1,0 m). Hoch-Tier-Prompts betonen Objektdetails, Mid-Tier konzentriert sich auf das räumliche Layout, und Low-Tier zielt auf landschaftliche Semantik ab.
Qualitätskontrolle: Ein zweistufiger Filterprozess (syntaktische Prüfungen gefolgt von einer qualitätsüberwachten Screening durch Claude) gewährleistet faktische Konsistenz und Skalenalignment.

D. Trainingspipeline

ScaleEarth employs eine zweistufige Trainingsstrategie:

Stufe 1 (RS-Domain SFT): Vollparametrisches überwachtes Fine-Tuning auf RS-GPT4V, um die Verteilungslücke zwischen natürlichen Bildern und Fernerkundungsbildern zu schließen.
Stufe 2 (Skalenbedingte Anpassung): Das Rückgrat wird eingefroren (4-Bit-Quantisierung). CS-HLoRA-Adapter und der SSE-U-Kopf werden gemeinsam auf GeoScale-VQA trainiert. Das Ziel kombiniert den VLM-Verlust mit einem GSD-Schätzverlust ( $\mathcal{L} = \mathcal{L}_{VLM} + \lambda_{gsd}\mathcal{L}_{nll}$ ).

3. Hauptbeiträge

CS-HLoRA: Eine neuartige Fine-Tuning-Methode, die den LoRA-Niedrigrang-Unterraß durch ein GSD-gesteuertes Gate mit physikalisch fundierter Tier-Initialisierung moduliert. Sie ermöglicht es einem einheitlichen Modell, die Berechnung an die physikalische Skala anzupassen, ohne architektonische Änderungen oder separate auflösungsspezifische Adapter.
SSE-U: Ein heteroskedastischer Skalenschätz-Kopf, der GSD und Unsicherheit allein aus visuellen Merkmalen vorhersagt, wodurch die Abhängigkeit von Metadaten reduziert und eine unsicherheitsbewusste Dekodierung unterstützt wird.
GeoScale-VQA: Ein 1,5-Millionen-Proben umfassendes, skalenbewusstes RS-VQA-Korpus, das eine geschlossene Methode-Daten-Schleife bildet, bei der Überwachung und parametereffiziente Anpassung durch denselben physikalischen Skalar (GSD) getrieben werden.

4. Experimentelle Ergebnisse

Das Modell wurde auf zwei umfassenden Benchmarks evaluiert: XLRS-Bench (Ultra-High-Resolution-Wahrnehmung und Schlussfolgern) und OmniEarth-Bench (Erdsystem-Kognition über sechs Sphären hinweg).

XLRS-Bench: ScaleEarth erreichte eine neue State-of-the-Art-Durchschnittsgenauigkeit von 57,4 % und übertraf die stärkste spezialisierte Baseline (GeoEyes, 54,2 %) um +3,2 % sowie die beste Open-Source-Generalistin (Qwen3-VL-235B-A22B, 51,1 %) um +6,3 %, obwohl nur ein 8B-Rückgrat verwendet wurde. Signifikante Gewinne wurden bei skalenempfindlichen Aufgaben wie der Klassifizierung der regionalen Landnutzung (78,6 %) und dem Objektbewegungszustand (66,1 %) beobachtet.
OmniEarth-Bench: ScaleEarth erreichte eine Durchschnittsgenauigkeit von 40,71 % bei Multiple-Choice-Aufgaben und übertraf die stärkste Zero-Shot-Open-Source-Baseline (InternVL3-72B, 33,26 %) um +7,45 Prozentpunkte sowie die stärkste Closed-Source-Baseline (Claude-3.7-Sonnet, 29,07 %) um +11,64 Prozentpunkte.
Ablationsstudien: Das Entfernen von CS-HLoRA reduzierte die Genauigkeit um 4,2 %, während das Entfernen der skalenbewussten Überwachung einen Rückgang von 3,8 % verursachte. Das Randomisieren der physikalischen Tier-Initialisierung verringerte die Leistung weiter um 3,5 %, was die Nützlichkeit des kartografischen Priors bestätigt.
GSD-Spoofing-Tests: Wenn die GSD-Eingabe systematisch gestört wurde, zeigte ScaleEarth eine glatte, glockenförmige Genauigkeitskurve, die bei der wahren GSD ihren Höhepunkt erreichte. Im Gegensatz dazu zeigten diskrete, bucket-basierte Routing-Verfahren (MoE-LoRA) scharfe Diskontinuitäten an den Bucket-Grenzen, und Standard-LoRA oder Text-Token-Injektion zeigten flache Reaktionen, was beweist, dass die Gewinne aus der kontinuierlichen physikalischen Bedingung und nicht nur aus hinzugefügter Kapazität stammen.

5. Bedeutung und Behauptungen

Die Arbeit argumentiert, dass die durch ScaleEarth etablierte geschlossene Schleife zwischen Architektur, Überwachung und Daten ein breiteres Gestaltungsprinzip für RS-VLMs nahelegt: Physikalische Variablen, die Luftbilder grundlegend von natürlichen Bildern unterscheiden, sollten das Modell direkt und systematisch prägen, anstatt verworfen oder lediglich als zusätzliche Text-Prompts eingefügt zu werden.

Die Autoren behaupten, dass ScaleEarth zeigt, dass:

Die Behandlung von GSD als kontinuierliche Bedingungsvariable es einem einzelnen Modell ermöglicht, die Berechnung dynamisch über Objekt-, Struktur- und Semantik-Tiers hinweg zu routen.
Dieser Ansatz sowohl skalenagnostische Modelle als auch solche, die Skala als diskreten Text-Token oder gebucketes Routing-Signal behandeln, übertrifft.
Das Framework in Einsatzszenarien, in denen Sensormetadaten fehlen, dank des unsicherheitsbewussten Fallbacks durch SSE-U robust bleibt.

Die Arbeit positioniert sich als Schritt hin zu zuverlässigerer, auflösungsbewusster Fernerkundungskünstlicher Intelligenz, insbesondere für Aufgaben, die eine feingranulare Wahrnehmung in Ultra-High-Resolution-Szenarien oder skalenübergreifendes Schlussfolgern in komplexen Erdsystem-Aufgaben erfordern.