Filling Before Advancing: Capability-Gap-Driven Post-Training for Scenario-Specialized Remote Sensing MLLMs

Technische Samenvatting: Filling Before Advancing (FBA) voor Scenario-Gespecialiseerde RS-MLLM's

Probleemformulering
Remote sensing multimodal large language models (RS-MLLMs) hebben geavanceerd begrip van algemene luchtfoto's, maar worstelen met fijnmazige, scenario-specifieke toepassingen zoals de monitoring van kusthavens. Praktische taken vereisen gestructureerde, op bewijs gebaseerde rapporten over functionele zones, scheepsschalen en ruimtelijke lay-outs, in plaats van generieke scènebeschrijvingen. De auteurs identificeren twee primaire barrières voor het bereiken van deze specialisatie:

1. Schaarste aan hoogwaardige scenario-data: In tegenstelling tot natuurlijke afbeeldingen zijn deskundig geannoteerde supervisiedata voor specifieke remote sensing (RS) scenario's beperkt vanwege de tijd en arbeid die nodig is voor multi-sensor acquisitie en rigoureuze annotatie.
2. Moeilijke capaciteitsdekking: Het direct finetunen van algemene MLLM's op doelgerichte samples (Single-Stage Supervised Fine-Tuning of Direct-SFT) faalt vaak. Dit komt omdat specifieke RS-scenario's gaten introduceren in visuele uitlijning (overhead perspectieven), modaliteitsbewustzijn (SAR, PAN, NIR) en professionele taakbeheersing die een enkele trainingsfase niet kan overbruggen.

Methodologie: Filling Before Advancing (FBA)
Het artikel stelt Filling Before Advancing (FBA) voor, een door capaciteitsverschillen gedreven post-training paradigma. In plaats van te vertrouwen op een eenfasige SFT over doelgerichte data, sluit FBA sequentieel meerdere niveaus van capaciteitsverschillen voordat het overgaat naar het uiteindelijke gespecialiseerde scenario. Dit wordt geïnstantieerd voor het begrip van kusthavens via drie opeenvolgende stadia, ondersteund door de CPRS (Coastal-Port Remote Sensing) dataset:

1. Stadium 1: RS Semantische Verankering (RS-Anchor)

   • Doel: Het vestigen van een brede overhead-view visueel-linguïstische uitlijning.
   • Data: 569.853 RGB beeld-bijschrift paren uit bestaande RS-bronnen (bijv. RSTeller, RSSRData).
   • Functie: Creëert een fundamentele RS semantische basis, wat ervoor zorgt dat het model algemene RS visuele patronen begrijpt voordat het specifieke scenario's tegenkomt.

2. Stadium 2: Domain-Bridge Convergentie (Bridge-Conv)

   • Doel: Het leren van RS-priors die gedeeld worden tussen de doel- (haven) en brug-scenario's (kust/haven) onder meerdere modaliteiten.
   • Data: 187.296 multi-source SFT samples (RGB, SAR, PAN, NIR) geconstrueerd via Staged Multi-Teacher (SMT) distillatie. Dit proces omvat het normaliseren van bewijslast, het synthetiseren van instructies en het verifiëren van responsen om visuele grondigheid te garanderen.
   • Functie: Overbrugt de kloof tussen algemene RS en het specifieke doel, door gedeelde priors (textuur, lay-out, objectpatronen) over modaliteiten heen te consolideren om de gespecialiseerde tuning voor te bereiden.

3. Stadium 3: Bewijs-Gegronde Scenario Tuning (Scenario-EG)

   • Doel: Finale adaptatie aan haven-specifieke downstream taken met strikte bewijsvoering.
   • Data: 53.000 haven-gespecialiseerde instructie samples gericht op functionele zones, grid-lokalisatie en negatieve-gevallen afhandeling (het verwerpen van niet-haven scènes).
   • Functie: Stemt modelresponsen af op visueel bewijs, wat de betrouwbaarheid verbetert wanneer bewijs ontoereikend of ambigu is, en overfitting op nauwe scènepatronen vermindert.

Evaluatieprotocol
De auteurs introduceren HarborEval, een acht-sporen diagnostische benchmark die RGB, SAR, PAN en NIR beelden van zowel haven- als niet-haven scènes beslaat. De sporen beoordelen:

• Object/scène herkenning en begrip van functionele zones.
• Ruimtelijke relaties en grid-lokalisatie.
• Modaliteitsherkenning en observabiliteitsbeperkingen.
• Bewijsbeoordeling (het onderscheiden van ondersteunde claims van niet-ondersteunde claims).
• Niet-haven verwerping en open-ended bewijs-gegronde rapportage.

Prestaties worden ook gevalideerd tegen publieke benchmarks (VRSBench, RSVQA) en via expert-scoring (OpenEval).

Belangrijkste Resultaten
Onder vergelijkbare trainingsbudgetten presteert FBA consistent beter dan Direct-SFT en Collapsed-SFT (trainen op alle data in één stadium) over meerdere backbones:

• LLaVA-v1.5: FBA bereikt een HarborEval score van 70.29, wat aanzienlijk beter is dan Direct-SFT (57.95).
• Qwen3-VL: FBA bereikt 83.37, waarmee het Direct-SFT (81.09) overtreft.
• Vergelijking met State-of-the-Art: De met FBA getrainde modellen presteren beter dan bestaande RS-MLLM's (bijv. GeoChat, SkyEyeGPT, LHRS-Bot-Nova) op HarborEval, VRSBench, RSVQA en OpenEval, ondanks het gebruik van minder gecureerde samples (~810K) dan sommige vergeleken modellen.
• Ablatie-studies: De stadium-gewijze analyse bevestigt dat elk stadium onderscheidende capaciteiten bijdraagt: S1 vestigt de RS-basis, S2 verbetert het begrip van multi-bronnen aanzienlijk, en S3 maximaliseert de uiteindelijke scenario-prestaties. Rollen-vervangingscontroles verifiëren dat specifieke supervisielagen (RS-Anchor, Bridge-Conv, Scenario-EG) cruciaal zijn voor hun respectieve rollen.

Betekenis en Claims
Het artikel claimt dat scenario-specialisatie voor RS-MLLM's niet louter moet worden gezien als een data-verzamelingsprobleem, maar als een proces van het invullen van capaciteitsverschillen. De betekenis van FBA ligt in:

1. Paradigmaverschuiving: De beweging van "target-only" SFT naar een geordende, door capaciteit gedreven post-training route die schaarse supervisie toewijst aan scheidbare rollen (verankering, overbrugging, tuning).
2. Data-efficiëntie: Aantonen dat zorgvuldig gecureerde, gefaseerde data beter kan presteren dan grotere, ongestructureerde datasets of single-stage training, wat de schaarste aan hoogwaardige RS-annotaties adresseert.
3. Robuustheid: De gefaseerde aanpak handelt effectief modaliteitsverschuivingen af (RGB naar SAR/PAN/NIR) en verbetert het vermogen van het model om niet-ondersteunde claims te verwerpen (hallucinatiecontrole) en onzekerheid te hanteren, wat cruciaal is voor operationele RS-toepassingen.

De auteurs concluderen dat FBA een praktische, effectieve route biedt voor het ontwikkelen van scenario-gespecialiseerde RS-MLLM's onder beperkte supervisie, waarbij het haven-domein dient als een representatieve casus voor bredere aardobservatie-toepassingen.