SADGE: Structure and Appearance Domain Gap Estimation of Synthetic and Real Data

Résumé Technique : SADGE – Estimation de l'Écart de Domaine Structurel et d'Apparence

Énoncé du Problème
La génération de données synthétiques constitue une stratégie cruciale pour mettre à l'échelle les systèmes de vision par ordinateur, en particulier lorsque les annotations du monde réel sont coûteuses ou indisponibles pour les cas limites. Cependant, un goulot d'étranglement fondamental persiste : prédire si un jeu de données synthétique spécifique transférera avec succès ses performances au monde réel avant de subir le coût de l'entraînement d'un modèle en aval. Les pratiques d'évaluation actuelles reposent fortement sur l'essai-erreur, où les praticiens génèrent des jeux de données, entraînent des modèles et mesurent les performances dans le monde réel pour valider les pipelines de rendu ou les stratégies de randomisation de domaine.

Les métriques existantes pour évaluer la qualité des données synthétiques se concentrent principalement sur la Similarité d'Apparence (par exemple, PSNR, FID, CLIP, LPIPS) afin de mesurer l'alignement sémantique ou au niveau des pixels entre les images réelles et synthétiques. Bien que certaines approches prennent en compte la Similarité Géométrique (alignement structurel), il n'existe aucune preuve établie quant à savoir quelle métrique de similarité prédit le mieux les performances des tâches en aval à travers divers jeux de données synthétiques. De plus, il est incertain de savoir si l'apparence ou la géométrie seule suffit, ou si leur interaction constitue le facteur déterminant de l'utilité des données synthétiques.

Méthodologie : SADGE
Les auteurs proposent SADGE (Estimateur de l'Écart de Domaine Structurel et d'Apparence), une métrique zero-shot et sans entraînement conçue pour estimer l'utilité des jeux de données d'images synthétiques pour les tâches de reconnaissance visuelle en aval. SADGE fonctionne en modélisant conjointement deux signaux complémentaires :

1. Similarité d'Apparence ($A$) : Calculée à l'aide d'encodeurs visuels pré-entraînés (par exemple, DINOv3, CLIP, SigLIP, SAM) pour mesurer l'alignement sémantique et textural de haut niveau. Le score est défini comme la similarité cosinus entre les embeddings d'images normalisés.
2. Cohérence Géométrique ($G$) : Calculée à l'aide de matchers sensibles à la géométrie (par exemple, MASt3R, LoFTR, SuperPoint+LightGlue) pour mesurer la fidélité structurelle. Cela implique d'estimer des correspondances denses ou semi-denses entre les images réelles et synthétiques et de compter le nombre d'inliers géométriquement valides (vérifiés via la géométrie épipolaire ou la cohérence 3D).

Mécanisme de Fusion
SADGE ne se contente pas de moyenner ces scores. Au lieu de cela, il les fusionne en utilisant un modèle d'interaction bilinéaire contraint :
$$\text{SADGE} = a\hat{G} + b\hat{A} + c\hat{G}\hat{A}$$
Où $\hat{A}$ et $\hat{G}$ sont respectivement les scores d'apparence et de géométrie normalisés par score-z. Les coefficients $a, b, c \geq 0$ sont appris pour maximiser la corrélation avec les performances en aval. Cette formulation impose la monotonie (l'amélioration de l'un ou l'autre score ne doit pas diminuer le total) et la complémentarité (le terme d'interaction $c\hat{G}\hat{A}$ garantit que le score est maximal lorsque l'apparence et la géométrie sont toutes deux fortes). Le modèle suppose que les données synthétiques sont les plus utiles lorsqu'elles sont à la fois réalistes visuellement et fidèles structurellement.

Protocole Expérimental
L'évaluation couvre cinq familles de benchmarks publics de synthétique vers réel et 15 variantes au niveau du jeu de données, totalisant environ 79 000 paires d'images. Les benchmarks couvrent divers domaines et tâches :

• DIMO : Objets métalliques industriels (estimation de pose 6D).
• Virtual KITTI 2 : Scènes de conduite (segmentation sémantique).
• TUD-L / BOP : Objets sans texture (estimation de pose 6D).
• RarePlanes : Imagerie aérienne (détection d'objets).
• ASD (Jeu de Données Synthétique Agricole) : Segmentation de cultures/mauvaises herbes.

Les auteurs comparent SADGE à un large éventail de références, incluant des métriques purement d'apparence (FID, LPIPS, PSNR, CLIP, variantes DINO) et des métriques purement géométriques (SSIM, LoFTR, SuperPoint+LightGlue).

Résultats Clés

• Corrélation Supérieure : SADGE atteint la plus forte association avec les performances de transfert en aval parmi toutes les métriques testées. Il atteint une corrélation de Pearson de $r = 0,879$ et une corrélation de rang de Spearman de $\rho = 0,768$ à travers les 15 variantes de jeux de données.
• Comparaison aux Références : SADGE surpasse significativement la référence purement géométrique la plus forte (MASt3R, $r = 0,677$) et la référence purement d'apparence la plus forte (LPIPS, $r = 0,649$).
• Robustesse : Dans les évaluations en laissant un jeu de données de côté, SADGE se classe systématiquement premier. La baisse de performance est la plus significative lorsque le jeu de données DIMO (qui met l'accent sur la variation structurelle) est exclu, suggérant que la géométrie est un prédicteur critique dans les scénarios exigeants sur le plan structurel, tandis que l'apparence domine dans les scénarios avec une forte variation d'éclairage ou de texture.
• Configuration Optimale : La configuration la plus performante fusionne DINOv3 (apparence) avec MASt3R (géométrie).
• Sensibilité : Les coefficients de fusion sont robustes ; la forte corrélation est maintenue sur un large plateau de valeurs de coefficients, indiquant que le résultat n'est pas un artefact du surapprentissage à un espace de paramètres étroit.

Signification et Revendications
L'article revendique que l'utilité des données synthétiques n'est pas régie par un facteur unique (apparence ou géométrie) mais par leur interaction non linéaire. SADGE fournit une méthode fondée sur des principes et sans entraînement pour classer les jeux de données synthétiques candidats, permettant aux praticiens de :

• Comparer les configurations de rendu, les calendriers de randomisation de domaine et les pipelines génératifs avant un entraînement coûteux.
• Identifier quelles variantes synthétiques sont susceptibles de bien transférer vers des tâches du monde réel.
• Éviter la boucle d'« essai-erreur » consistant à entraîner des modèles uniquement pour évaluer la qualité des jeux de données.

Les auteurs soulignent que SADGE est une métrique de classement proxy, et non un substitut à la validation finale dans le domaine réel, en particulier dans les applications critiques pour la sécurité. L'étude est limitée par la disponibilité de benchmarks publics avec des protocoles d'évaluation en aval comparables, mais l'analyse de sensibilité suggère que le modèle d'interaction de la métrique se généralise au-delà des jeux de données spécifiques testés.