Prior-matched evaluation of operational Earth-observation classifiers: a three-number reporting method demonstrated on Sentinel-1 internal-wave detection

Technische Samenvatting: Prior-Gematched Evaluatie van Operationele Earth-Observation Classifiers

Probleemstelling
Operationele Earth-observation classifiers lijden vaak aan een systematisch rapportage-artefact veroorzaakt door een mismatch tussen de klasse-prior gebruikt tijdens training/evaluatie en de werkelijke prior die tijdens de inzet wordt aangetroffen. De Internal Waves Service, die het Sentinel-1 Wave-mode archief screent op interne solitaire golven, is een voorbeeld van dit probleem. De classifier van de dienst werd getraind en geëvalueerd op een gebalanceerde dataset (1:1 wave-to-non-wave ratio), een conventie die werd overgenomen uit de vroege "recall-first" fase van de dienst toen de operationele positieve ratio nog onbekend was. Echter, de werkelijke operationele stroom vertoont een sterk scheve prior van ongeveer 0,05 (één golf-scène per twintig).

Deze mismatch creëert een misleidend evaluatielandschap. Een model dat een hoge gebalanceerde-test precisie rapporteert (bijv. 0,794), kan in de werkelijke operatie een drastisch lagere precisie leveren (bijv. 0,192) bij dezelfde beslissingsdrempel. Het artikel betoogt dat standaard metrieken zoals gebalanceerde-test precisie "optimistisch" zijn en onzichtbaar voor de systematische fout die zij introduceren. Bovendien bleken veelvoorkomende oplossingen zoals prior-correctie of waarschijnlijkheidskalibratie ineffectief voor het verbeteren van de precisie bij een vaste recall; deze methoden zijn monotone transformaties van de score die slechts de werkingsdrempel verplaatsen zonder de onderliggende precisie-recall curve te verschuiven. Het kernprobleem wordt geïdentificeerd als geen trainingsdefect, maar als een evaluatieprobleem dat een rapportagemethode vereist die overeenkomt met de deployment-prior.

Methodologie
Het artikel stelt een "prior-gematchte rapportagemethode" voor, gebaseerd op een drie-getallen-as om een operationele classifier te karakteriseren, samen met een rigoureuze ontwikkelingscyclus ontworpen om prestatiewinsten te isoleren.

1. De Drie-Getallen Rapportage-as:

   • Gebalanceerde-Test Prestaties: De conventionele metriek (precisie, recall, F1) op een uit de training gehouden set met gelijke klassenverhoudingen. Dit dient als een waarschuwende baseline, die de kloof tussen conventionele rapportage en de realiteit blootlegt.
   • Operationele-Prior Prestaties: De prestaties van het model op een bevroren testset die specifiek is samengesteld op de operationele positieve rate (0,05). Dit cijfer is ontworpen om de precisie te voorspellen waarmee een validator daadwerkelijk in het veld te maken krijgt.
   • Werkelijke Operationele Prestaties: De grondwaarheid verkregen na de inzet door deskundige beoordeling van de detecties van het model op de live stroom. Dit is een forward commitment, vooraf geregistreerd om de evaluatielus te sluiten.

2. Ontwerp van het Evaluatie-instrument:

   • Bevroren, Leakage-gecontroleerde Dataset: De dataset werd vastgelegd voordat de split plaatsvond om te voorkomen dat het groeiende archief in de evaluatie lekt. Ruimtelijke lekkage wordt gecontroleerd op "hotspot"-niveau (gedefinieerd door echte overlap van de beeldvoetafdruk) in plaats van door de middelpuntstraal, wat ervoor zorgt dat bijna identieke scènes uit dezelfde baan niet de train/dev/test splits overschrijden.
   • Sealed Lockbox: Een testset (1.537 positieven, 29.203 negatieven) is off-site verzegeld met checksums en wordt exact één keer gelezen bij een vooraf geregistreerde drempelwaarde.
   • Operationele Discipline: De dienst werkt onder een "precision-first" discipline waarbij de recall wordt vastgehouden op een bodem van 0,80. Dit wordt gerechtvaardigd omdat gemiste golven herstelbaar zijn via baan-herhalingen en archief-reprocessing, terwijl valse positieven schaarse deskundige aandacht consumeren.

3. Ontwikkelingscyclus:

   • Verbeteringen werden nagestreefd via interventies met een enkele hefboom, die elk geïsoleerd en alleen gepromoveerd werden als ze een vooraf geregistreerde marge (0,021) overtroffen.
   • Geteste Hefbomen:
     • Drempel Aanpassing: Het verplaatsen van het werkingspunt langs de bestaande curve (onmiddellijke verlichting, maar geen curve-lift).
     • Data Variëteit: Het vergroten van de negatieve variëteit (het verbreden van de negatieve klasse) verbeterde de precisie, terwijl het verschuiven van de trainingsratio naar de operationele prior dat niet deed (bevestiging van de inertie van prior-correctie bij vaste recall).
     • Capaciteit: Het vergroten van de netwerkbreedte toonde afnemende meeropbrengsten; voorbij een bepaald punt leverden extra parameters geen verbetering op die de promotie-marge haalde.
     • Aggregatie Kop: Het vervangen van global-average pooling door Generalized-Mean (GeM) pooling verbeterde de precisie aanzienlijk door specifieke geofysische verwarrende elementen (gebandeerde oppervlaktetexturen die golven nabootsen) beter te onderdrukken die average pooling niet kon onderscheiden.

Belangrijkste Resultaten

• Het Prior-Effect: Het zittende model demonstreerde het systematische artefact: een gebalanceerde-test precisie van 0,794 tegenover een werkelijke operationele precisie van 0,192.
• Modelverbetering: Het gepromoveerde model (met GeM pooling en gevarieerde negatieve data) bereikte een precisie van 0,927 bij de operationele prior (recall 0,827) op de sealed lockbox. In contrast hiermee rapporteerde hetzelfde model op een gebalanceerde set een precisie van 0,996, wat illustreert dat de gebalanceerde figuur prestatiebarrières (bijv. F1 > 0,90) overschrijdt die de eerlijke operationele figuur mist.
• Out-of-Time Robuustheid: Een onafhankelijke controle op data verzameld na de dataset-freeze toonde aan dat hoewel de discriminatie van het model (AUC) stabiel bleef (0,993 $\to$ 0,987), het vaste werkingspunt verviel. De precisie daalde van 0,927 naar 0,810, en de false-positive rate verdrievoudigde, wat benadrukt dat een vaste drempel geen "set-and-forget" grootheid is en her-validatie tegen huidige data vereist.
• Constraint Shift: De ontwikkelingscyclus onthulde dat de beperkende factor is verschoven van modelarchitectuur naar de omvang van de reduceerbare false-positive massa. De aggregatie-hefboom was uitgeput, en verdere capaciteitsverhogingen leverden geen significante winst op, wat aangeeft dat toekomstige verbeteringen vereisen dat er meer gevalideerde data wordt gebruikt in plaats van grotere netwerken.

Betekenis en Claims
Het artikel claimt dat de mismatch tussen training-priors en de realiteit van de inzet een evaluatieprobleem is, en geen trainingsprobleem. De primaire bijdrage is een prior-gematchte rapportagemethode die het "prior-effect" zichtbaar maakt in plaats van verborgen houdt. Door het contrast te rapporteren tussen gebalanceerde-test, operationele-prior en werkelijke operationele figuren, biedt de methode een "eerlijk meetinstrument" voor de vaardigheid van de classifier.

De auteurs benadrukken dat deze aanpak niet specif