SeeThrough3D: Occlusion Aware 3D Control in Text-to-Image Generation

Le papier présente SeeThrough3D, un modèle de génération d'images text-to-image conditionné par une disposition 3D qui intègre une représentation de scène occlusive et transparente pour maîtriser précisément les occlusions, la géométrie et le contrôle de la caméra.

L'essentiel

Imaginez que vous êtes un architecte ou un réalisateur de films, mais au lieu de construire des décors physiques ou de tourner de vraies scènes, vous demandez à une intelligence artificielle de dessiner une image pour vous. Vous lui dites : « Dessine-moi un chien, une bicyclette et une voiture dans un jardin. »

Le problème ? Les IA actuelles sont comme des enfants qui dessinent : elles ont du mal à comprendre la profondeur. Si vous demandez un chien derrière une bicyclette, l'IA va souvent dessiner le chien à côté, ou pire, elle va fusionner les deux en une créature bizarre, ou faire disparaître le chien parce qu'elle ne sait pas comment le cacher derrière le vélo. C'est ce qu'on appelle le problème de l'occlusion (quand un objet cache un autre).

Voici comment SeeThrough3D résout ce casse-tête, expliqué simplement :

1. Le concept : « La boîte magique transparente »

Pour enseigner à l'IA comment gérer les cachettes, les chercheurs ont inventé une nouvelle façon de parler à la machine. Au lieu de lui donner juste une liste de mots, ils lui montrent une scène en 3D simplifiée.

Imaginez que vous placez chaque objet (le chien, la bicyclette, la voiture) dans une boîte en plastique transparent (comme du verre ou du cellophane).

• La transparence est la clé : Parce que la boîte est transparente, l'IA peut « voir » le chien même s'il est derrière la bicyclette. Elle comprend : « Ah, le chien est là, mais il est partiellement caché par la bicyclette. »
• Les couleurs comme boussole : Chaque face de la boîte a une couleur différente (rouge pour le devant, bleu pour le côté, etc.). C'est comme une boussole visuelle qui dit à l'IA : « Attention, cette face regarde vers la gauche, celle-ci vers le haut ». Cela aide l'IA à comprendre l'orientation exacte des objets.

C'est ce qu'ils appellent l'OSCR (une représentation de scène qui « voit à travers » les obstacles).

2. Le processus : Le chef d'orchestre et les musiciens

Une fois que cette « boîte magique » est dessinée, l'IA (qui est un modèle très puissant appelé FLUX) la regarde comme un chef d'orchestre regarde sa partition.

• Liaison précise : Le système utilise une astuce intelligente (une sorte de filtre d'attention) pour s'assurer que le mot « chien » dans votre texte est bien collé à la boîte du chien, et pas à celle de la bicyclette. C'est comme si chaque musicien avait une étiquette sur son instrument pour ne pas jouer la fausse note.
• Le résultat : L'IA génère l'image finale. Grâce aux boîtes transparentes, elle sait exactement où placer le chien, comment le cacher derrière le vélo, et comment dessiner la partie du chien qui dépasse. Le résultat est une image où les objets s'empilent naturellement, avec des ombres et des cachettes réalistes.

3. Pourquoi c'est révolutionnaire ?

Avant, pour obtenir une image avec beaucoup d'objets qui se cachent les uns les autres, il fallait souvent :

• Dessiner l'image objet par objet (très long).
• Accepter que les objets soient mal placés ou fusionnés.

Avec SeeThrough3D, c'est comme si vous aviez un directeur de scène virtuel. Vous placez vos acteurs (les objets) sur une scène en 3D, vous dites à la caméra où se placer, et l'IA génère la photo parfaite instantanément, même si c'est un fouillis complexe de 10 objets différents.

En résumé

Pensez à SeeThrough3D comme à un super-trousseau de lunettes pour l'IA.

• Sans ces lunettes, l'IA est myope et ne voit que des formes plates. Elle ne comprend pas ce qui est devant ou derrière.
• Avec ces lunettes (les boîtes transparentes et colorées), l'IA voit le monde en 3D. Elle comprend que si un objet est caché, il existe toujours, juste derrière.

Cela permet de créer des images ultra-réalistes pour les jeux vidéo, l'architecture ou le design, où chaque détail respecte les lois de la physique et de la perspective, même dans les scènes les plus encombrées.

Résumé technique

1. Problématique

La génération d'images par texte (Text-to-Image) a fait d'énormes progrès, mais le contrôle précis de la disposition 3D des scènes reste un défi majeur. Les méthodes existantes se limitent souvent à des contrôles 2D (boîtes englobantes, cartes de segmentation) ou utilisent des cartes de profondeur dérivées de boîtes 3D.
Cependant, ces approches échouent à modéliser correctement les occlusions inter-objets complexes. Elles ne parviennent pas à générer des objets partiellement cachés avec une géométrie et une échelle cohérentes en profondeur, ni à gérer des scènes avec de nombreux objets se chevauchant. De plus, le contrôle de l'orientation 3D et du point de vue de la caméra reste souvent imprécis ou limité.

2. Méthodologie : SeeThrough3D

Les auteurs proposent SeeThrough3D, un modèle de génération d'images conditionné par une disposition 3D, capable de raisonner sur les occlusions. L'approche repose sur trois piliers principaux :

A. Représentation de Scène 3D Consciente de l'Occlusion (OSCR)

Au lieu d'utiliser des cartes de profondeur ou des couches 2D plates, les auteurs introduisent l'OSCR (Occlusion-Aware 3D Scene Representation).

• Boîtes translucides : Chaque objet est représenté par une boîte englobante 3D translucide. La transparence permet de visualiser les parties cachées des objets situés derrière d'autres, fournissant ainsi un indice explicite pour le raisonnement sur les occlusions.
• Codage couleur de l'orientation : Les faces de chaque boîte sont codées en couleur (par exemple, orange pour la face avant, bleu pour la gauche, vert pour les autres) selon une carte prédéfinie. Cela encode explicitement l'orientation 3D de l'objet dans l'espace image.
• Rendu de vue : La scène est rendue depuis un point de vue de caméra spécifique, intégrant ainsi le contrôle de la perspective directement dans la condition d'entrée.

B. Architecture du Modèle et Conditionnement

Le modèle est construit sur FLUX, un générateur d'images basé sur des Transformers de diffusion (DiT).

• Tokens OSCR : L'image rendue de l'OSCR est encodée via un VAE pour obtenir des "tokens OSCR". Ces tokens sont concaténés aux tokens du texte et aux tokens d'image bruités.
• LoRA (Low-Rank Adaptation) : Pour adapter le modèle pré-entraîné sans perdre ses connaissances antérieures, un module LoRA est entraîné uniquement sur les projections d'attention associées aux nouveaux tokens OSCR.
• Masquage de l'Attention (Object Binding) : Un problème majeur est l'association entre la description textuelle d'un objet et sa boîte 3D correspondante. Les auteurs appliquent un masquage de l'attention : les tokens OSCR situés à l'intérieur d'une boîte spécifique ne peuvent s'attender qu'aux tokens de texte décrivant cet objet spécifique. Cela empêche le mélange d'attributs (ex: un chien qui prend l'apparence d'une voiture).
  • Gestion des chevauchements : Dans les zones d'intersection de plusieurs boîtes, les tokens s'attendent à plusieurs objets. Les auteurs montrent que le modèle latent parvient à dissocier ces caractéristiques pour maintenir des frontières d'occlusion nettes.

C. Personnalisation

Le cadre est extensible à la génération d'objets personnalisés. En ajoutant des tokens d'apparence dérivés d'une image de référence et en les liant via le même mécanisme de masquage d'attention à une boîte spécifique, le modèle peut générer des objets personnalisés dans une disposition 3D précise.

D. Jeu de Données Synthétique

Pour entraîner le modèle, les auteurs ont créé un jeu de données synthétique avec Blender :

• Placement procédural d'actifs 3D avec des contraintes fortes d'occlusion.
• Filtrage rigoureux pour s'assurer que les objets sont suffisamment visibles mais fortement occlus.
• Augmentation réaliste : Utilisation d'un pipeline "depth-to-image" (FLUX.1-Depth) pour transformer les rendus synthétiques en images réalistes tout en conservant la disposition spatiale, suivi d'un filtrage CLIP pour garantir la cohérence sémantique.

3. Contributions Clés

1. OSCR : Une nouvelle représentation de scène qui encode simultanément la disposition, l'orientation et les occlusions via des boîtes 3D translucides et codées en couleur.
2. Mécanisme de liaison par masquage d'attention : Une technique efficace pour associer des descriptions textuelles à des régions spatiales spécifiques dans un contexte 3D, évitant le mélange d'attributs.
3. Contrôle 3D complet : Capacité à contrôler la position, l'orientation, la taille et le point de vue de la caméra, tout en gérant des occlusions complexes.
4. Benchmark 3DOcBench : Introduction d'un nouveau jeu de données d'évaluation de 500 échantillons spécifiquement conçu pour tester la cohérence des occlusions et la disposition 3D.

4. Résultats

Les résultats sont évalués qualitativement et quantitativement sur le benchmark 3DOcBench et comparés à l'état de l'art (LooseControl, Build-A-Scene, VODiff, LaRender, etc.).

• Performance Quantitative : SeeThrough3D surpasse toutes les méthodes de base sur les métriques clés :
  • Ordre de profondeur (Depth ordering) : Meilleure cohérence des occlusions (1.46 vs ~0.8-1.0 pour les autres).
  • Score d'objet (Objectness) : Meilleure adhérence à la disposition (22.86).
  • Erreur angulaire (Angular error) : Précision nettement supérieure de l'orientation (47.92° vs >89° pour les méthodes basées sur la profondeur).
  • Fidélité de l'image (KID) : Meilleure qualité d'image (5.43 vs >13 pour les autres).
• Performance Qualitative :
  • Génération de scènes complexes avec de nombreux objets (jusqu'à 7+) et des occlusions lourdes.
  • Capacité à générer des objets transparents (verre, eau) et à maintenir la cohérence des occlusions même dans des cas difficiles.
  • Généralisation à des catégories d'objets non vues lors de l'entraînement (instruments de musique, appareils électroniques).
  • Étude utilisateur : Préférence significative (>95%) pour les résultats de SeeThrough3D par rapport aux méthodes de base sur le réalisme et l'adhérence au texte.

5. Signification et Impact

SeeThrough3D comble un vide important dans la génération d'images contrôlée en introduisant une conscience 3D explicite pour la gestion des occlusions.

• Avancée technique : Il démontre que l'utilisation de représentations 3D rendues (plutôt que de simples cartes de profondeur) permet au modèle de diffusion de mieux raisonner sur la géométrie et la profondeur.
• Applications : Cette méthode ouvre de nouvelles perspectives pour des domaines nécessitant un contrôle précis de la mise en page 3D, tels que la conception architecturale, le jeu vidéo, la publicité et la visualisation de produits.
• Robustesse : La capacité à généraliser à partir de données synthétiques vers des scènes réalistes complexes, tout en gérant la personnalisation d'objets, en fait un outil puissant pour les créateurs de contenu.

En résumé, SeeThrough3D transforme la génération d'images text-to-image d'un processus 2D vers un processus véritablement 3D, résolvant le problème fondamental de l'occlusion et permettant un contrôle spatial précis et réaliste.