Résumé Technique : Essai Virtuel de Bagues

Énoncé du Problème

Le document traite du défi consistant à fournir une expérience d'essai virtuel réaliste, accessible et efficace pour la joaillerie, spécifiquement les bagues, dans le contexte du commerce en ligne. Les solutions existantes souffrent de limitations significatives :

• Les approches basées sur la superposition (overlay) sont peu coûteuses en termes de calcul mais manquent de réalisme car elles ne parviennent pas à s'adapter à l'orientation, à la profondeur ou à l'éclairage du doigt, ce qui entraîne des apparences statiques et non naturelles.
• Les solutions AR 3D (Réalité Augmentée) offrent l'immersion mais dépendent du matériel, nécessitant souvent des appareils haut de gamme. Elles souffrent fréquemment de latence, de scintillement et de désalignement, faisant en sorte que les bagues semblent « flotter » plutôt que d'être attachées au doigt.
• Les modèles génératifs et de diffusion (par exemple, SDEdit, SmartBrush) peuvent produire des images de haute qualité mais nécessitent des ressources GPU massives, des données d'entraînement étendues et une ingénierie de prompts précise. Crucialement, ces méthodes stochastiques modifient les régions non masquées (telles que la main de l'utilisateur ou l'arrière-plan) ou échouent à reproduire le design exact de la bague de référence, ce qui est inacceptable pour la fidélité de l'e-commerce.

Le problème central est l'absence d'un système qui équilibre le réalisme visuel (orientation, mise à l'échelle et attachement corrects) avec l'efficacité computationnelle (fonctionner sur des smartphones grand public de milieu de gamme sans dépendance au GPU).

Méthodologie

Le système proposé utilise un pipeline hybride combinant la vision par ordinateur pour la détection et des transformations géométriques légères pour le rendu. Il évite les algorithmes génératifs profonds au profit d'un calcul géométrique déterministe. Le flux de travail se compose de quatre étapes principales :

1. Détection des points de repère de la main (Hand Landmark Detection) :

   • L'utilisateur capture une image de la main via une interface React Native.
   • MediaPipe est employé pour détecter 21 points de repère de la main.
   • En fonction du doigt cible, une région d'intérêt (RoI) est définie en utilisant des points de repère spécifiques (base et extrémité du doigt) pour établir l'axe de référence du doigt.

2. Localisation de l'objet (Bague) :

   • Un modèle de détection d'objets YOLOv8 personnalisé, entraîné sur un ensemble de données de 600 à 700 images de bagues présentant diverses orientations et styles, est utilisé pour détecter la bague.
   • Le modèle génère un cadre de délimitation (bounding box) autour de la bague, qui est ensuite découpé.
   • La suppression de l'arrière-plan est appliquée pour isoler les pixels de la bague.

3. Alignement Géométrique et Mise à l'Échelle :

   • Orientation : L'algèbre vectorielle est utilisée pour calculer la divergence angulaire ($\theta$) entre le vecteur de référence du doigt ($\vec{f}$) et l'axe principal de la bague ($\vec{r}$). La bague est pivotée de $\theta$ pour s'aligner sur la pose du doigt.
   • Mise à l'échelle (Scaling) : La bague est redimensionnée en fonction du rapport entre la largeur du doigt ($w_f$) et la largeur de la bague ($w_r$). Ce facteur d'échelle ($s$) préserve le rapport d'aspect pour assurer un réalisme perceptuel.

4. Synthèse d'Image et Rendu :

   • La bague alignée et mise à l'échelle est superposée sur la RoI de la main en utilisant le mélange alpha (alpha blending).
   • Un flou gaussien est appliqué au composite pour simuler l'éclairage et les ombres, améliorant le réalisme de l'attache.
   • Le résultat final est affiché sur l'écran de l'utilisateur.

Contributions Clés

• Architecture Légère : Le système fonctionne sans avoir besoin de GPU haut de gamme, de matériel AR spécialisé ou de modèles génératifs à grande échelle, ce qui le rend déployable sur des smartphones grand public standards de milieu de gamme.
• Fidélité Géométrique : Contrairement aux superpositions statiques, le système ajuste dynamiquement la rotation et l'échelle de la bague en fonction de la géométrie spécifique du doigt de l'utilisateur, garantissant que la bague semble « fixée » plutôt que flottante.
• Préservation de l'Entrée : L'approche garantit que l'image originale de la main et l'image de la bague de référence spécifique restent inchangées, évitant les altérations stochastiques communes aux méthodes d'IA générative.
• Pipeline de Détection Hybride : L'intégration de MediaPipe pour les points de repère de la main et d'un modèle YOLOv8 personnalisé pour l'isolation de la bague fournit une base robuste pour un placement précis.

Résultats Expérimentaux

Les auteurs ont mené une analyse comparative par rapport aux plateformes de l'industrie (Candere par Kalyan) et aux modèles génératifs (Google AI Studio/Banana Pro, OpenAI ChatGPT).

• Qualité Visuelle :
  • Modèles Génératifs : Bien que Google AI Studio ait maintenu l'arrière-plan de la main, il n'a pas réussi à reproduire la bague de référence exacte, créant un design différent. ChatGPT a régénéré l'image entière, modifiant l'arrière-plan et la cohérence de la main.
  • Solutions AR (Candere) : Le résultat paraissait irréaliste en raison d'imprécisions de taille et d'un effet de « flottement » causé par un manque de rotation appropriée et de gestion de l'occlusion.
  • Système Proposé : A réussi à préserver l'image exacte de la bague et de la main. La bague apparaissait correctement attachée, avec une rotation, une mise à l'échelle et des effets d'éclairage appropriés (via le flou gaussien).
• Métriques de Performance :
  • Temps de Traitement : L'approche proposée a pris environ 34,42 secondes par image. Elle était plus lente que les méthodes de simple superposition (3,32 sec) mais nettement plus rapide que les modèles génératifs comme ChatGPT (2 min 23 sec) et compétitive avec d'autres pipelines complexes (Candere : 40,02 sec ; Google AI Studio : 38,64 sec).
  • Fidélité : Le système a atteint une haute fidélité au design de la bague d'entrée et à la géométrie de la main, une métrique où les modèles génératifs ont obtenu un score « Faible » en raison d'altérations indésirables.

Signification et Revendications

Le document affirme que ce travail représente une nouvelle direction dans la visualisation virtuelle de bijoux en démontrant qu'une solution basée sur la géométrie peut atteindre un équilibre entre réalisme et efficacité que les solutions actuelles du marché ne peuvent atteindre.

Les auteurs affirment que leur système redéfinit l'expérience d'essai virtuel pour le marché numérique en :

1. Éliminant la dépendance à un matériel coûteux et aux pipelines génératifs gourmands en GPU.
2. Garantissant que la main de l'utilisateur et l'image spécifique du produit restent authentiques et inaltérées.
3. Fournissant une solution de calcul efficace et accessible qui maintient une haute qualité visuelle grâce à un alignement géométrique adaptatif plutôt qu'à une lourde régénération d'image.

Le système est présenté comme une alternative pratique et déployable pour les plateformes d'e-commerce cherchant à augmenter la certitude d'achat sans les barrières d'un matériel haut de gamme ou d'une infrastructure d'IA complexe.