SADGE: Structure and Appearance Domain Gap Estimation of Synthetic and Real Data

Technische Samenvatting: SADGE – Schatting van de Domein-Gap in Structuur en Uiterlijk

Probleemstelling
De generatie van synthetische data is een kritieke strategie voor het schalen van computersystemen voor visuele waarneming, vooral wanneer real-world annotaties duur zijn of niet beschikbaar zijn voor edge-cases. Er blijft echter een fundamentele bottleneck bestaan: het voorspellen of een specifieke synthetische dataset succesvol zal overdragen naar real-world prestaties voordat de kosten van downstream modeltraining worden gemaakt. Huidige evaluatiepraktijken vertrouwen sterk op trial-and-error, waarbij practitioners datasets genereren, modellen trainen en real-world prestaties meten om rendering-pipelines of domein-randomisatiestrategieën te valideren.

Bestaande metrieken voor het evalueren van de kwaliteit van synthetische data richten zich voornamelijk op Vergelijkbaarheid van Uiterlijk (bijv. PSNR, FID, CLIP, LPIPS) om semantische of pixel-niveau uitlijning tussen real en synthetische afbeeldingen te meten. Hoewel sommige benaderingen Vergelijkbaarheid van Geometrie (structurele uitlijning) in overweging nemen, is er geen vastgesteld bewijs over welke vergelijkbaarheidsmetriek de downstream taakprestaties het beste voorspelt over diverse synthetische datasets heen. Bovendien is het onduidelijk of uiterlijk of geometrie alleen voldoende is, of dat hun interactie de bepalende factor is voor de bruikbaarheid van synthetische data.

Methodologie: SADGE
De auteurs stellen SADGE (Structure and Appearance Domain Gap Estimator) voor, een zero-shot, training-vrije metriek die is ontworpen om de bruikbaarheid van synthetische afbeeldingsdatasets voor downstream visuele herkennings taken te schatten. SADGE werkt door twee complementaire signalen gezamenlijk te modelleren:

1. Vergelijkbaarheid van Uiterlijk ($A$): Berekend met behulp van vooraf getrainde visuele encoders (bijv. DINOv3, CLIP, SigLIP, SAM) om hoog-niveau semantische en textuur uitlijning te meten. De score wordt gedefinieerd als de cosinus-相似heid tussen genormaliseerde afbeeldings-embeddings.
2. Geometrische Consistentie ($G$): Berekend met behulp van geometrie-bewuste matchers (bijv. MASt3R, LoFTR, SuperPoint+LightGlue) om structurele trouw te meten. Dit omvat het schatten van dichte of semi-dichte correspondenties tussen real en synthetische afbeeldingen en het tellen van het aantal geometrisch geldige inliers (geverifieerd via epipolaire geometrie of 3D-consistentie).

Fusiemechanisme
SADGE middelt deze scores niet simpelweg. In plaats daarvan fuseert het ze met behulp van een beperkt bilineair interactiemodel:
$$\text{SADGE} = a\hat{G} + b\hat{A} + c\hat{G}\hat{A}$$
Waar $\hat{A}$ en $\hat{G}$ respectievelijk z-score genormaliseerde uiterlijk- en geometrie-scores zijn. De coëfficiënten $a, b, c \geq 0$ worden geleerd om de correlatie met downstream prestaties te maximaliseren. Deze formulering dwingt monotonie af (het verbeteren van een score mag de totale score niet verlagen) en complementariteit (de interactieterm $c\hat{G}\hat{A}$ zorgt ervoor dat de score het hoogst is wanneer zowel uiterlijk als geometrie sterk zijn). Het model gaat ervan uit dat synthetische data het meest bruikbaar is wanneer het zowel visueel realistisch als structureel trouw is.

Experimenteel Protocol
De evaluatie omvat vijf publieke synthetisch-naar-real benchmark-families en 15 dataset-niveau varianten, in totaal ongeveer 79.000 afbeeldingsparen. De benchmarks dekken diverse domeinen en taken:

• DIMO: Industriële metalen objecten (6D-pose schatting).
• Virtual KITTI 2: Rij-scènes (semantische segmentatie).
• TUD-L / BOP: Textuurloze objecten (6D-pose schatting).
• RarePlanes: Luchtfoto's (objectdetectie).
• ASD (Agricultural Synthetic Dataset): Gewas/onkruid segmentatie.

De auteurs vergelijken SADGE met een breed scala aan baselines, waaronder pure uiterlijk-metrieken (FID, LPIPS, PSNR, CLIP, DINO-varianten) en pure geometrie-metrieken (SSIM, LoFTR, SuperPoint+LightGlue).

Belangrijkste Resultaten

• Superieure Correlatie: SADGE bereikt de sterkste associatie met downstream transferprestaties onder alle geteste metrieken. Het bereikt een Pearson-correlatie van $r = 0.879$ en een Spearman-rangcorrelatie van $\rho = 0.768$ over de 15 datasetvarianten.
• Vergelijking met Baselines: SADGE presteert significant beter dan de sterkste geometrie-only baseline (MASt3R, $r = 0.677$) en de sterkste uiterlijk-only baseline (LPIPS, $r = 0.649$).
• Robuustheid: Bij leave-one-dataset-out-evaluaties rangschikt SADGE consequent als eerste. De prestatiedaling is het meest significant wanneer de DIMO-dataset (die structurele variatie benadrukt) wordt uitgesloten, wat suggereert dat geometrie een kritieke voorspeller is in structureel veeleisende scenario's, terwijl uiterlijk domineert in scenario's met hoge verlichtings- of textuurvariatie.
• Optimale Configuratie: De best presterende configuratie fuseert DINOv3 (uiterlijk) met MASt3R (geometrie).
• Gevoeligheid: De fusiecoëfficiënten zijn robuust; de hoge correlatie wordt behouden over een breed plateau van coëfficiëntwaarden, wat aangeeft dat het resultaat geen artefact is van overfitting op een smal parameterbereik.

Betekenis en Claims
Het artikel claimt dat de bruikbaarheid van synthetische data niet wordt bepaald door een enkele factor (uiterlijk of geometrie), maar door hun niet-lineaire onderlinge wisselwerking. SADGE biedt een principiële, training-vrije methode om kandidaat-synthetische datasets te rangschikken, waardoor practitioners kunnen:

• Rendering-configuraties, domein-randomisatie-schema's en generatieve pipelines vergelijken voordat er dure training plaatsvindt.
• Identificeren welke synthetische varianten waarschijnlijk goed zullen overdragen naar real-world taken.
• De "trial-and-error"-lus van het trainen van modellen uitsluitend om datasetkwaliteit te evalueren vermijden.

De auteurs benadrukken dat SADGE een proxy-rangschikkingmetriek is, geen vervanging voor de uiteindelijke real-domeinvalidatie, vooral in veiligheidskritieke toepassingen. De studie wordt beperkt door de beschikbaarheid van publieke benchmarks met vergelijkbare downstream evaluatieprotocollen, maar de gevoeligheidsanalyse suggereert dat het interactiemodel van de metriek generaliseert buiten de specifieke geteste datasets.