Contrastive Mask Fidelity: Reference-Free Auditing of Ground-Truth Masks in Remote Sensing Semantic Segmentation

Technische Samenvatting: Contrastive Mask Fidelity (CMF)

Probleemstelling: De Evaluatieparadox
Semantische segmentatie in remote sensing staat voor een fundamentele "evaluatieparadox". Modellen worden getraind en geëvalueerd tegen door mensen getekende maskers, die conventioneel als onfeilbare grondwaarheid (ground truth) worden beschouwd. Echter, annotaties in remote sensing zijn vaak grofmazig, incompleet, slecht uitgelijnd of overmatig afgerond vanwege de complexiteit van lucht- en satellietbeelden (bijv. kleine objecten, heterogene landbedekking). Bijgevolg kwantificeren standaard overlap-metrieken zoals mIoU de overeenstemming met potentieel gebrekkige labels in plaats van de trouw aan het visuele bewijs. Een visueel superieur masker kan een lagere score krijgen als het afwijkt van een imperfecte annotatie. Bestaande methoden voor labelkwaliteit vertrouwen vaak op modellen die getraind zijn op dezelfde ruisgevoelige labelverdeling, waardoor ze de zeer bias die ze juist proberen te detecteren, overnemen. Er is een gebrek aan een referentievrije arbiter die in staat is om concurrerende maskers (mens versus model) direct te vergelijken met het beeldbewijs, zonder een van beide als de absolute waarheid aan te wijzen.

Methodologie: De GeoVeritas Pipeline
De auteurs stellen GeoVeritas voor, een driestaps, training-vrij auditsysteem gecentreerd rond Contrastive Mask Fidelity (CMF).

1. Kandidaatgeneratie (Fase I):
   Het systeem maakt gebruik van Seg-Probe, een training-vrije open-vocabulary segmentatieprobe gebouwd op de bevroren SegEarth-OV3 backbone (die een bevroren SAM 3 encoder gebruikt). Seg-Probe is niet de primaire bijdrage, maar dient als een robuuste bron van kandidaat-maskers om menselijke annotaties uit te dagen. Het maakt gebruik van drie training-vrije componenten om hoogwaardige kandidaten te genereren:

   • Synonym Evidence Pooling (SEP): Aggregeert bewijs van meerdere synonieme prompts met behulp van een log-sum-exp soft-OR om de afhankelijkheid van specifieke klassenamen te verminderen.
   • Multi-Scale Evidence (MSE): Extraheert en legt bewijs uit meerdere beeldschalen vast en stemt dit af.
   • Test-Time Augmentation (TTA): Middelt het bewijs van het originele en horizontaal gespiegelde aanzichten.

2. Contrastive Mask Fidelity Scoring (Fase II):
   CMF evalueert de getrouwheid (fidelity) van een binair masker $M_c$ voor klasse $c$ tegen een beeld $x$ met behulp van een bevroren, externe vision-language judge (RemoteCLIP). Het proces omvat het creëren van twee contrafeitelijke weergaven van het beeld:

   • Keep View ($x^k$): Onthult alleen de regio gedefinieerd door het masker $M_c$, terwijl de rest wordt vervaagd.
   • Erase View ($x^e$): Verbergt de regio $M_c$ (door middel van vervaging) terwijl de rest van het beeld wordt onthuld.

   De judge berekent de waarschijnlijkheid $P(c|r)$ voor elke weergave met behulp van een temperatuur-geschaalde softmax over klasse-teksten. De Fidelity Score $F(M_c)$ wordt gedefinieerd als het verschil:
   $$F(M_c) = P(c | x^k_c) - P(c | x^e_c)$$
   Dit contrastieve ontwerp zorgt ervoor dat de score zowel de zuiverheid (de behouden regio bevat de klasse) als de volledigheid (geen klasse-bewijs blijft buiten het masker aanwezig) reflecteert. Cruciaal is dat de softmax-normalisatie en de tegengestelde aard van de twee termen de gevoeligheid voor triviale inflatie van het maskerareaal verminderen.

3. Arbitrage en Labelcorrectie (Fase III):
   Voor elk beeld-klasse-paar vergelijkt het systeem de fidelity score van het kandidaat-masker ($M^p_c$) met de menselijke annotatie ($M^a_c$). Als het verschil $\Delta F > 0$ is, wordt de kandidaat als getrouwer beschouwd. Een conservatieve arbitrage-regel vervangt het menselijke label door het kandidaat-masker alleen als de marge $\Delta F$ een drempelwaarde overschrijdt (standaard $\delta=0$), anders wordt het menselijke label behouden om overmatige correctie te voorkomen.

Belangrijkste Bijdragen

• CMF Metriek: Een referentievrije, training-vrije metriek die masker-discrepantie transformeert naar een beeld-geconditioneerde keep-erase contrast, waarbij een bevroren externe vision-language judge wordt gebruikt om de semantische maskergetrouwheid te beoordelen.
• Grootschalige Audit: Een audit van 10.731 beeld-klasse-paren verspreid over tien remote sensing benchmarks (waaronder LoveDA, Potsdam, Vaihingen, etc.). De studie onthult systematische, klasse-afhankelijke annotatievervormingen: door de mens gemaakt klassen (gebouwen, wegen, auto's) neigen in 62–85% van de gevallen naar de model-kandidaten, terwijl ambigue landbedekking vaak de menselijke annotaties bevoordeelt.
• Expert Validatie: Op een blinded drievoudige consensusset van annotatoren komt CMF in 81% van de gevallen overeen met het oordeel van experts, waarmee het presteert beter dan keep-only scoring, modelvertrouwen en een getrainde labelkwaliteit-baseline.
• Actiegerichte Supervisie: Het trainen van een lichtgewicht segmenter op door CMF gearbitreerde labels levert verbeterde cross-domain transfer-prestaties op vergeleken met modellen getraind op ruwe annotaties of pure pseudo-labels, wat het voordeel van het arbitrageproces isoleert.

Resultaten

• Seg-Probe Prestaties: Seg-Probe presteert beter dan eerdere training-vrije baselines op 9 van de 10 datasets, met een gemiddelde mIoU van 56,3% (tegenover 55,4% voor SegEarth-OV3), wat de rol van een sterke kandidaatgenerator valideert.
• Corruptiegevoeligheid: CMF werd gekalibreerd op gecontroleerde masker-corrupties en bleek correct te reageren op bekende fouten, terwijl de stabiliteit tegen variaties in maskerareaal behouden bleef.
• Cross-Domain Transfer: Modellen getraind op door CMF gearbitreerde labels vertoonden een superieure transferbaarheid naar onbekende doel-domeinen vergeleken met modellen getraind op ruwe annotaties of gematchte vervangingscontroles, wat bevestigt dat de winst voortkomt uit de selectie van hogere getrouwheid-labels in plaats van eenvoudige pseudo-label distillatie.

Betekenis
Dit artikel positioneert CMF niet als een methode om menselijke annotatie volledig te vervangen, maar als een schaalbaar instrument voor het auditeren van de grondwaarheid. Door het referentiemasker te behandelen als een hypothese in plaats van een onfeilbare waarheid, biedt CMF een mechanisme om systematische annotatiefouten te identificeren en te corrigeren, met name voor goed gedefinieerde door de mens gemaakte objecten. Deze aanpak adresseert de evaluatieparadox door de focus te verschuiven van overeenstemming met een label naar getrouwheid aan het beeldbewijs, wat een weg biedt naar meer betrouwbare supervisie in remote sensing semantische segmentatie.