REMSA: Foundation Model Selection for Remote Sensing via a Constraint-Aware Agent

Dit paper introduceert REMSA, een constraint-aware agent die gebaseerd is op de gestructureerde RSFM-database en natuurlijke taalverwerking gebruikt om de meest geschikte foundation model voor specifieke remote sensing-taken automatisch te selecteren en te verantwoorden.

De kern

Stel je voor dat je een enorme bibliotheek binnenstapt, maar dan niet met boeken, maar met superkrachtige computers die de aarde vanaf de ruimte kunnen bekijken. Dit zijn de "Foundation Models" (FMs) voor de aardobservatie. Ze kunnen alles zien: van bossen en steden tot overstromingen en ijskappen.

Het probleem? Er zijn er nu honderden. Sommige zijn gespecialiseerd in radarbeelden, andere in kleurenfoto's, weer anderen in video's. En ze hebben allemaal hun eigen regels, sterke punten en beperkingen.

Als je nu een specifiek probleem wilt oplossen – bijvoorbeeld "Ik wil weten welke velden in Nederland dit jaar droog staan, maar ik heb maar een simpele laptop" – dan is het zoeken naar de juiste computer in die bibliotheek als naald in een hooiberg zoeken. Je moet door honderden technische documenten bladeren, wat tijd kost en waar je makkelijk een fout in maakt.

Hier komt Remsa om de hoek kijken.

Wat is Remsa?

Remsa is als een slimme, ervaren bibliotheekbeheerder die gespecialiseerd is in aardobservatie. Maar in plaats van dat jij zelf door de gangen moet lopen, vertel jij Remsa gewoon wat je nodig hebt in gewone taal.

"Hoi Remsa, ik wil de uitbreiding van een stad zien met radarbeelden, maar ik heb weinig rekenkracht en weinig voorbeelden om te leren."

Remsa pakt deze zin, denkt na, en zoekt in zijn geheugen de perfecte computer voor jou.

Hoe werkt het? (De Analogie)

Stel je voor dat Remsa een detective is die een dossier opbouwt:

1. De Grote Database (RS-FMD):
   Remsa heeft een supergeorganiseerd register (een database) met informatie over meer dan 160 van deze computers. In plaats van losse papieren, zitten alle gegevens netjes in een strak systeem: welke sensoren gebruikt hij? Hoeveel geheugen heeft hij nodig? Hoe goed is hij in het herkennen van water? Dit is de "geheugenbank" van Remsa.

2. Het Gesprek (De Agent):
   Als je Remsa iets vraagt, is hij niet direct klaar. Hij is consciëntieus.

   • Jij: "Ik wil overstromingen zien."
   • Remsa: "Oké, maar heb je al data? Heb je een krachtige computer of een laptop? Moet het heel precies zijn of is een ruwe schatting genoeg?"
     Dit noemen ze clarification (verduidelijking). Hij vraagt door tot hij precies weet wat je nodig hebt, zodat hij geen verkeerde keuzes maakt.

3. De Selectie en Uitleg:
   Nadat hij weet wat je nodig hebt, zoekt hij in zijn register, filtert hij de ongeschikte computers weg, en rangschikt hij de beste opties.
   Maar het belangrijkste: hij legt uit waarom.
   Hij zegt niet alleen: "Kies deze." Hij zegt: "Kies deze, omdat hij goed is in radarbeelden, weinig energie verbruikt (perfect voor je laptop), en al getest is op overstromingen."

Waarom is dit belangrijk?

Vroeger moesten experts (wetenschappers of ingenieurs) urenlang zoeken en zelf experimenteren om te zien welke computer werkte. Dat was duur, traag en niet iedereen kon het.

Met Remsa kan iedereen (van de burgemeester die wil weten waar het water staat, tot de student die een afstudeerproject doet) de juiste technologie vinden zonder een doctoraat in informatica te hebben. Het maakt de "supercomputers" toegankelijk voor iedereen.

Hoe weten ze of het werkt?

De makers van Remsa hebben het niet zomaar bedacht. Ze hebben een proefexamen gemaakt met 100 echte vragen die experts zouden kunnen stellen. Vervolgens hebben ze Remsa laten strijden tegen andere methodes (zoals een simpele zoekmachine of een robot zonder "verstand").

Het resultaat? Remsa won. Hij koos vaker de juiste computer en gaf betere uitleg dan de anderen. Hij was zelfs beter dan een simpele versie van zichzelf die niet doorvroeg als er informatie ontbrak.

Samenvatting in één zin

Remsa is een slimme assistent die voor jou de perfecte "ruimte-bril" (Foundation Model) uitzoekt uit een overweldigende keuze, zodat jij je kunt focussen op het oplossen van echte wereldproblemen, in plaats van op het zoeken naar de juiste software.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Remsa: Foundation Model Selection for Remote Sensing via a Constraint-Aware Agent" in het Nederlands.

Probleemstelling

De integratie van Foundation Models (FMs) in remote sensing (RS) pipelines voor toepassingen zoals milieumonitoring en landgebruikskartering neemt snel toe. Deze modellen variëren van unimodale visuele encoders tot multimodale architecturen (bijv. SAR, multispectraal, hyperspectraal, tekst). Ondanks hun potentieel blijft het selecteren van het meest geschikte RS-Foundation Model (RSFM) voor een specifieke taak een aanzienlijke uitdaging vanwege:

• Verspreide documentatie: Modellen zijn verspreid over verschillende repositories en publicaties zonder gestructureerde standaard.
• Heterogene formaten: Eigenschappen zoals trainingsdata, prestaties en architectuur zijn niet uniform opgeslagen.
• Complexiteit van beperkingen: Praktijktoepassingen vereisen een afweging tussen data-modaliteiten, ruimtelijke/spectrale/temporale resoluties, computercapaciteit en specifieke taakeisen.
• Gebrek aan automatisering: Huidige selectieprocessen zijn handmatig, tijdrovend, foutgevoelig en moeilijk reproduceerbaar. Bestaande benchmarks vergelijken vaak alleen nauwkeurigheid op vaste taken, zonder rekening te houden met gebruikersspecifieke implementatiebeperkingen.

Methodologie

Het paper introduceert een tweeledige oplossing: een gestructureerde database en een agent voor automatische selectie.

1. RSFM Database (RS-FMD)

De basis van het systeem is de RS-FMD, de eerste gestructureerde, schema-gestuurde database die meer dan 160 RSFMs omvat.

• Schema-ontwerp: De database gebruikt een uitgebreid schema dat eigenschappen zoals modelarchitectuur, trainingsdata, modaliteiten, prestatiebenchmarks en trainingsconfiguraties vastlegt.
• Data-extractie: Gezien de schaal en heterogeniteit van de bronnen (papers, model cards, GitHub) wordt een semi-automatische aanpak gebruikt. Een LLM-pipeline (geïnspireerd op OneKE) extrahert gestructureerde informatie uit ongestructureerde teksten.
• Vertrouwensscore: Om de kwaliteit te waarborgen, wordt een confidence score berekend voor elk veld op basis van de log-probabiliteit van de LLM en de zelfconsistentie over meerdere generaties. Velden met een lage score (< 0,75) worden gemarkeerd voor menselijke verificatie, wat de efficiëntie van de curatie maximaliseert.

2. Remsa Agent Architectuur

Remsa (Remote-sensing Model Selection Agent) is een modulaire, constraint-aware agent die automatisch RSFMs selecteert op basis van natuurlijke taalqueries. De architectuur bestaat uit:

• Interpreter: Parseert vrije tekstinput en converteert deze naar gestructureerde beperkingen (bijv. applicatie, modality, sensor, resolutie).
• Taak-Orchestrator: Een dynamische controller die bepaalt welke tool er moet worden aangeroepen op basis van de huidige staat van de taak.
• Tools:
  • Retrieval Tool: Gebruikt Sentence-BERT embeddings en FAISS voor semantische zoekopdrachten in de RS-FMD.
  • Ranking Tool: Combineert regelgebaseerde filtering (harde beperkingen) met in-context learning via een LLM om kandidaten te rangschikken en te motiveren.
  • Clarification Generator: Vraagt de gebruiker om extra informatie als de beperkingen onvoldoende zijn of de rangschikking onzeker is (maximaal 3 rondes).
  • Explanation Generator: Genereert transparante, menselijke uitleg voor de geselecteerde modellen.
• Geheugen: Een lichtgewicht vectordatabase slaat eerdere interacties op om personalisatie en consistentie te verbeteren.

Belangrijkste Bijdragen

1. RS-FMD: De eerste gestructureerde database voor meer dan 160 RSFMs, ontworpen voor machine-leesbare toegang en reproduceerbare vergelijking.
2. Remsa Agent: Een innovatieve, modulaire LLM-agent die gestructureerde metadata-grounding, tool-orchestratie, interactieve verduidelijking en uitleg combineert voor automatische modelselectie.
3. Nieuw Benchmark en Evaluatieprotocol: Een dataset van 100 expert-geverifieerde query-scenario's en een protocol waarbij 3.000 evaluaties zijn uitgevoerd door domeinexperts. Dit omvat een nieuwe methode om systemen te vergelijken op basis van de geschiktheid van de top-3 geselecteerde modellen.

Resultaten

De prestaties van Remsa zijn geëvalueerd tegenover drie baselines:

• Remsa-Naive: Zonder adaptieve orchestratie.
• DB-Retrieval: Alleen dense retrieval zonder ranking of redenering.
• Unstructured-RAG: Een generieke RAG-approach zonder gestructureerd schema.

Kernresultaten (met GPT-4.1 als backbone):

• Remsa behaalde de hoogste scores in alle metrieken:
  • Gemiddelde Top-1 Score: 75,76 (vs. 72,67 voor Naive en 67,37 voor DB-Retrieval).
  • Top-1 Hit Rate: 21,33% (vs. 12,00% voor DB-Retrieval).
  • High-Quality Hit Rate: 40,00%.
  • Mean Reciprocal Rank (MRR): 0,34.
• Robuustheid: Remsa presteerde consistent beter dan de baselines over verschillende LLM-backbones (GPT-4.1, DeepSeek3.2, LLaMA-3.3-70B), wat aantoont dat de verbetering voortkomt uit de architectuur en niet alleen uit de keuze van het taalmodel.
• Sensitiviteitsanalyse: De analyse toonde aan dat de agent sterk afhankelijk is van "Application Compatibility" en "Modality Match". Het verwijderen van criteria zoals "Popularity" of "Recency" leidde zelfs tot een lichte prestatieverbetering, wat suggereert dat Remsa zich richt op technische geschiktheid in plaats van oppervlakkige indicatoren.
• Latentie: Hoewel Remsa langzamer is (31,7s) dan simpele methoden (0,77s) vanwege de meervoudige redeneerstappen, is de toename in nauwkeurigheid en geschiktheid gerechtvaardigd voor complexe besluitvorming.

Betekenis en Impact

Dit werk vormt een belangrijke stap in de automatisering van remote sensing workflows.

• Democratisering: Remsa maakt het mogelijk voor zowel experts als niet-experts om de juiste foundation model te vinden, zelfs zonder diepgaande kennis van RS-modaliteiten of modelarchitecturen.
• Reproduceerbaarheid: Door de introductie van RS-FMD en een gestructureerd evaluatieprotocol, wordt de willekeur in modelselectie verminderd en wordt de basis gelegd voor toekomstig onderzoek in geautomatiseerde AI-selectie.
• Praktische Toepasbaarheid: Het systeem opereert volledig op open-source metadata en sensoren, wat het direct inzetbaar maakt voor real-world toepassingen zoals rampenbestrijding en landbouwmonitoring, zonder toegang tot gevoelige data te vereisen.

Kortom, Remsa lost het probleem van de "keuzestress" bij foundation models op door een transparant, constraint-aware en reproduceerbaar agent-systeem te bieden dat de kloof tussen complexe modelcapaciteiten en specifieke gebruikersbehoeften overbrugt.