Technische Samenvatting: Voorbij GSD als Token: Continue Schaalconditionering voor Remote Sensing VLMs

1. Probleemstelling

Remote Sensing Vision-Language Models (RS-VLMs) kampen met een fundamentele mismatch met hun tegenhangers voor natuurlijke beelden vanwege de extreme variabiliteit in Ground Sampling Distance (GSD). Waar natuurlijke beelden doorgaans binnen een stabiel schaalbereik bestaan, beslaat RS-beeldmateriaal meer dan twee ordes van grootte, van subdecimeterluchtbeelden (0,06 m/pixel) tot decametersatellietproducten (10 m/pixel of grover).

Bestaande RS-VLMs slagen er niet in om deze fysieke realiteit effectief aan te pakken door twee primaire beperkingen:

1. Schaal-agnostische fine-tuning: Deze modellen gebruiken statische parameters voor alle resoluties, waardoor het model gedwongen wordt om distincte visuele regimes (bijv. fijne texturen versus vage gebieden) te laten instorten tot één gemiddelde representatie. Dit verslechtert zowel de herkenning van fijne details als het redeneren over grove regio's.
2. GSD als Token: Huidige benaderingen injecteren GSD-metadata als discrete teksttokens (bijv. "0,4 m resolutie"). Deze methode tokeniseert de scalar als tekst, wat leidt tot geen aanpassing op parameterniveau en volledig faalt wanneer sensormetadata ontbreekt of onbetrouwbaar is.

Geen van beide benaderingen behandelt GSD als een continue fysieke variabele die de interne berekeningsroute van het model dynamisch moet sturen.

2. Methodologie: ScaleEarth

De auteurs stellen ScaleEarth voor, een parameter-efficiënt fine-tuningkader gebaseerd op de Qwen3-VL-8B-ruggengraat. De kerninnovatie is het behandelen van GSD niet als passieve metadata, maar als een continue conditioneringvariabele die de berekening van het model stuurt. Het kader bestaat uit drie hoofdbestanddelen:

A. CS-HLoRA (Continue Schaal-geconditioneerde Hyper-LoRA)

CS-HLoRA is het centrale aanpassingsmechanisme. Het wijzigt het standaard LoRA-updatepad (Low-Rank Adaptation) door een GSD-gedreven poort in te voegen tussen de down-projection- en up-projection-matrices.

• Mechanisme: De update wordt gedefinieerd als $\Delta W(s) = \frac{\alpha_{lora}}{r} B \text{diag}(h(s)) A$, waarbij $s = \log_{10}(\text{GSD})$.
• Poortfunctie: De poort $h_k(s) = \sigma(\alpha(\tau_k - s))$ is een sigmoidfunctie die LoRA-rangdimensies zacht selecteert op basis van de invoerschaal.
• Fysieke Tier-initialisatie: De 64 rangdimensies worden geïnitieerd in drie fysiek gemotiveerde tiers gebaseerd op de theorie van de minimale mapeenheid:
  • Object Ranks (0–10): Actief bij hoge resolutie (GSD < 1 m) voor fijnkorrelige details.
  • Structuur Ranks (11–31): Actief bij middelmatige tot lage resolutie (1–10 m) voor lay-out en structurele relaties.
  • Semantische Ranks (32–63): Actief over het volledige schaalbereik voor landschapsniveau-semantiek.
• Continue Routing: Naarmate GSD varieert, verschuiven de actieve LoRA-dimensies soepel, waardoor het gemiddelde beleid van schaal-agnostische fine-tuning wordt vervangen door een schaalafhankelijk aanpassingspad zonder de voorgeöpleide ruggengraat te wijzigen.

B. SSE-U (Heteroscedastische Schatting van Schaal)

Om ervoor te zorgen dat het kader werkt zonder afhankelijkheid van sensormetadata tijdens de implementatie, bevat ScaleEarth een lichtgewicht heteroscedastische sub-head, SSE-U.

• Functie: Het voorspelt de GSD ($\hat{\mu}$) en de onzekerheid daarvan ($\hat{\sigma}^2$) direct vanuit visuele kenmerken (gepoolde ViT-kenmerken).
• Training: Het wordt getraind via negatieve log-likelihood (NLL) voor Gaussische verdeling op steekproeven met exacte GSD-annotaties.
• Inferentie: Als metadata ontbreekt, gebruikt het model de voorspelde GSD als de onzekerheid laag is; anders valt het terug op een neutrale ankerschaal. Dit maakt schaal-geconditioneerde decoding met bewustzijn van onzekerheid mogelijk.

C. GeoScale-VQA Dataset

Om passende supervisie te bieden, hebben de auteurs GeoScale-VQA samengesteld, een corpus van 1,5 miljoen steekproeven met schaal-gelaagde RS-VQA.

• Constructie: Het combineert bestaande datasets (RSVQA-HR/LR, RSVQA-xBEN, GeoLLaVA-8K, PatternNet, MtSCCD) met nieuw gegenereerde steekproeven.
• Schaal-bewuste Generatie: Vraag-antwoordparen worden gegenereerd op basis van de GSD-tier van de afbeelding (Hoog: <0,2m, Midden: 0,2–1,0m, Laag: >1,0m). Prompts van de hoge tier benadrukken objectdetails, de middelste tier focust op ruimtelijke lay-out, en de lage tier richt zich op landschapssemantiek.
• Kwaliteitscontrole: Een tweestapsfilteringsproces (syntactische controles gevolgd door kwaliteitscreening onder toezicht van Claude) zorgt voor feitelijke consistentie en schaaluitlijning.

D. Trainingspijplijn

ScaleEarth hanteert een trainingsstrategie in twee fasen:

1. Fase 1 (RS-Domein SFT): Full-parameter supervised fine-tuning op RS-GPT4V om de distributiekloof tussen natuurlijke beelden en RS te dichten.
2. Fase 2 (Schaal-geconditioneerde Aanpassing): De ruggengraat wordt bevroren (4-bit gekwantiseerd). CS-HLoRA-adapters en de SSE-U-head worden gezamenlijk getraind op GeoScale-VQA. De doelstelling combineert de VLM-verliesfunctie met een GSD-schattingsverlies ($\mathcal{L} = \mathcal{L}_{VLM} + \lambda_{gsd}\mathcal{L}_{nll}$).

3. Belangrijkste Bijdragen

1. CS-HLoRA: Een nieuwe fine-tuningmethode die de LoRA-low-rank subruimte moduleert via een GSD-gedreven poort met fysiek onderbouwde tier-initialisatie. Het stelt een unificerend model in staat om berekening aan te passen aan de fysieke schaal zonder architecturale wijziging of aparte resolutiespecifieke adapters.
2. SSE-U: Een heteroscedastische schaal-schatting-head die GSD en onzekerheid voorspelt uitsluitend op basis van visuele kenmerken, waardoor de afhankelijkheid van metadata wordt verminderd en decoding met bewustzijn van onzekerheid wordt ondersteund.
3. GeoScale-VQA: Een corpus van 1,5 miljoen steekproeven met schaal-bewuste RS-VQA dat een gesloten methode-data-lus vormt, waarbij supervisie en parameter-efficiënte aanpassing worden gedreven door dezelfde fysieke scalar (GSD).

4. Experimentele Resultaten

Het model werd geëvalueerd op twee uitgebreide benchmarks: XLRS-Bench (waarneming en redenering met ultra-hoge resolutie) en OmniEarth-Bench (aardsysteemcognitie over zes sferen).

• XLRS-Bench: ScaleEarth behaalde een nieuwe state-of-the-art gemiddelde nauwkeurigheid van 57,4%, en presteerde beter dan de sterkste gespecialiseerde baseline (GeoEyes, 54,2%) met +3,2% en de beste open-source generalist (Qwen3-VL-235B-A22B, 51,1%) met +6,3%, ondanks het gebruik van slechts een 8B-ruggengraat. Significante winsten werden waargenomen in schaal-gevoelige taken zoals Regionale Landgebruikclassificatie (78,6%) en Objectbewegingstoestand (66,1%).
• OmniEarth-Bench: ScaleEarth behaalde een gemiddelde nauwkeurigheid van 40,71% op meerkeuzetaken, en overtrof de sterkste zero-shot open-source baseline (InternVL3-72B, 33,26%) met +7,45 procentpunten en de sterkste gesloten-source baseline (Claude-3.7-Sonnet, 29,07%) met +11,64 procentpunten.
• Ablatiestudies: Het verwijderen van CS-HLoRA verlaagde de nauwkeurigheid met 4,2%, terwijl het verwijderen van schaal-bewuste supervisie een daling van 3,8% veroorzaakte. Het randomiseren van de fysieke tier-initialisatie verlaagde de prestaties verder met 3,5%, wat de bruikbaarheid van de cartografische prior bevestigt.
• GSD-Spoofing-tests: Wanneer de GSD-invoer systematisch werd verstoord, vertoonde ScaleEarth een gladde, klokvormige nauwkeurigheidscurve die piekte bij de ware GSD. Daarentegen vertoonde discrete bucket-gebaseerde routing (MoE-LoRA) scherpe discontinuïteiten bij bucketgrenzen, en vertoonden standaard LoRA of injectie van teksttokens vlakke responsen, wat bewijst dat de winst voortkomt uit continue fysieke conditionering en niet slechts uit toegevoegde capaciteit.

5. Betekenis en Claims

Het artikel betoogt dat de gesloten lus die door ScaleEarth wordt gevestigd tussen architectuur, supervisie en data, wijst op een breder ontwerpprincipe voor RS-VLMs: fysieke variabelen die luchtfoto's fundamenteel onderscheiden van natuurlijke beelden, moeten het model direct en systematisch vormen, in plaats van te worden weggegooid of slechts als aanvullende tekstprompts te worden ingevoegd.

De auteurs claimen dat ScaleEarth aantoont dat:

• Het behandelen van GSD als een continue conditioneringvariabele het mogelijk maakt dat een enkel model berekening dynamisch routeert over object-, structuur- en semantische nivea tiers.
• Deze aanpak zowel schaal-agnostische modellen overtreft als die welke schaal behandelen als een discrete teksttoken of gebucket routing-signaal.
• Het kader robuust blijft in implementatiescenario's waar sensormetadata ontbreekt, dankzij de onzekerheidsbewuste fallback die door SSE-U wordt geboden.

Het werk positioneert zichzelf als een stap naar betrouwbaardere, resolutie-bewuste remote sensing AI, met name voor taken die fijnkorrelige waarneming vereisen in scenario's met ultra-hoge resolutie of cross-schaal redenering in complexe aardsysteem-taken.