BBQ-to-Image: Numeric Bounding Box and Qolor Control in Large-Scale Text-to-Image Models

Ce papier présente BBQ, un modèle de génération d'images texte-à-image à grande échelle qui intègre directement des coordonnées de boîtes englobantes et des triplets RGB dans un cadre de texte structuré, permettant un contrôle spatial et chromatique précis sans modifications architecturales.

L'essentiel

Imaginez que vous demandez à un artiste de peindre une scène. Si vous lui dites « Peins un chien rouge à gauche », il va faire de son mieux, mais le chien pourrait être un peu trop grand, la couleur pourrait être orange au lieu de rouge, et il pourrait se trouver au centre plutôt qu'à gauche. C'est un peu comme donner des instructions floues à quelqu'un qui ne connaît pas vos attentes précises.

C'est exactement le problème que résout ce nouveau modèle appelé BBQ (Bounding-box and Qolor control).

Voici une explication simple de ce papier, avec quelques images pour aider à visualiser :

1. Le problème : Le langage est trop vague

Les modèles d'IA actuels sont excellents pour comprendre le langage naturel. Mais le langage humain est imprécis. Dire « rouge vif » ou « en haut à droite » laisse beaucoup de place à l'interprétation. Pour un professionnel (comme un graphiste ou un architecte), cela ne suffit pas. Ils ont besoin de précision absolue : « Le chien doit être exactement ici, avec ce code de couleur exact. »

2. La solution BBQ : Passer du langage à la "mathématique"

Au lieu de demander à l'IA de deviner ce que vous voulez, BBQ lui donne des coordonnées GPS et des codes couleurs exacts.

• L'analogie du GPS : Imaginez que vous ne dites pas « Mets-toi près de la fontaine ». Vous dites : « Mets-toi aux coordonnées X: 50, Y: 20 ». L'IA sait exactement où placer l'objet.
• L'analogie de la palette de peinture : Au lieu de dire « Peins-le en bleu ciel », vous lui donnez le code exact du tube de peinture (par exemple, R: 135, V: 206, B: 235).

3. Comment ça marche ? (Sans changer la "cuisine")

Ce qui est génial avec BBQ, c'est qu'ils n'ont pas eu besoin de reconstruire toute la cuisine de l'IA (l'architecture du modèle). Ils ont juste changé les recettes (les données d'entraînement).

• L'entraînement : Ils ont appris à l'IA à lire des descriptions qui ressemblent à du code informatique (des listes de chiffres pour les positions et les couleurs) au lieu de simples phrases.
• Le résultat : L'IA comprend maintenant que « (10, 20, 30, 40) » signifie « un carré précis à cet endroit », et non pas juste « quelque part là-bas ».

4. La magie du "Remplissage" (Le pont)

Comment un utilisateur normal peut-il donner des coordonnées précises ? Personne ne veut écrire des chiffres compliqués !

C'est là qu'intervient un traducteur intelligent (un autre modèle d'IA) :

1. Vous dites simplement : « Ajoute un chien rouge à gauche ».
2. Le traducteur transforme cette phrase simple en une "recette mathématique" précise pour BBQ.
3. BBQ génère l'image parfaite.
4. Le super pouvoir : Si vous voulez déplacer le chien, vous n'avez pas à tout redessiner. Vous glissez simplement le chien avec votre souris (comme sur une carte), le traducteur met à jour les chiffres, et BBQ redessine uniquement le chien à sa nouvelle place, en gardant le reste de la scène intact. C'est comme si l'IA comprenait que vous ne vouliez changer que cet élément précis.

En résumé

BBQ, c'est comme passer d'une conversation floue avec un peintre à l'utilisation d'un logiciel de CAO (Conception Assistée par Ordinateur) ultra-précis, mais avec la simplicité d'une conversation.

• Avant : « Peins un arbre ici. » (L'arbre est n'importe où).
• Avec BBQ : « L'arbre est à ces coordonnées exactes, avec cette couleur exacte. » (L'arbre est parfait).

C'est une avancée majeure pour rendre la création d'images par IA aussi précise et contrôlable que les outils professionnels, sans que l'utilisateur ait besoin de devenir un expert en mathématiques.

Résumé technique

Titre

BBQ-to-Image : Contrôle des Boîtes Englobantes Numériques et des Couleurs dans les Modèles de Génération d'Images Texte-vers-Image à Grande Échelle

1. Problématique

Les modèles de génération d'images par texte (Text-to-Image) ont considérablement progressé en termes de réalisme et de contrôle via des légendes détaillées. Cependant, un écart paramétrique fondamental persiste :

• Limitation actuelle : Les modèles existants reposent sur le langage descriptif (ex: "rouge", "en haut à droite"), ce qui est intrinsèquement subjectif et imprécis.
• Besoins professionnels : Les flux de travail professionnels exigent un contrôle numérique déterministe précis sur la localisation (coordonnées exactes), la taille et la couleur (valeurs RGB spécifiques).
• Défi : Comment intégrer des entrées numériques précises (boîtes englobantes et triplets RGB) dans des modèles de grande échelle sans modifier leur architecture complexe ni recourir à des optimisations coûteuses lors de l'inférence ?

2. Méthodologie

Les auteurs proposent BBQ (Bounding-box and Qolor control), un modèle qui comble cet écart en conditionnant directement la génération sur des paramètres numériques, le tout au sein d'un cadre de texte structuré.

A. Approche d'Entraînement (Sans modification d'architecture)

Contrairement aux approches précédentes qui ajoutent des tokens de grounding ou modifient l'architecture du modèle, BBQ repose uniquement sur l'enrichissement des données d'entraînement :

1. Augmentation des données : Les légendes structurées (style FIBO) sont enrichies avec des annotations paramétriques explicites :
   • Boîtes englobantes : Coordonnées relatives $(x_0, y_0, x_1, y_1)$ normalisées entre 0 et 1.
   • Couleurs : Triplets RGB exacts $[0, 255]^3$.
2. Pipeline de génération de données :
   • Génération d'une légende structurée initiale.
   • Extraction des boîtes via SAM2 (Segment Anything Model 2).
   • Estimation de la profondeur via Depth Anything V2.
   • Extraction des couleurs dominantes via Pylette.
   • Remplacement des termes sémantiques ("rouge", "gauche") par les valeurs numériques exactes.
3. Entraînement : Le modèle est initialisé à partir de l'architecture FIBO (8 milliards de paramètres) et est entraîné sur 25 millions d'images avec ces légendes enrichies. Aucune perte (loss) supplémentaire ni architecture spécifique n'est ajoutée.

B. Pont d'Inférence (VLM Bridge)

Pour rendre le système utilisable par des humains (qui ne veulent pas écrire du JSON manuel), un modèle Vision-Language (VLM), spécifiquement Qwen-3 VL 4B, est fine-tuné pour servir de pont :

• Fonction : Il traduit une intention utilisateur courte (texte naturel ou instructions d'édition comme "déplace l'objet") en une légende structurée complète avec les paramètres numériques.
• Modes de fonctionnement :
  • Generate : Expansion d'un prompt court en JSON paramétrique.
  • Refine : Modification ciblée des champs JSON (déplacement, changement de couleur) tout en préservant la cohérence globale.
  • Inspire : Extraction de paramètres depuis une image de référence.

3. Contributions Clés

1. Contrôle Paramétrique Natif : BBQ démontre qu'un modèle texte-vers-image à grande échelle peut apprendre à respecter des contraintes numériques strictes (coordonnées et RGB) simplement par l'enrichissement des données, sans changer l'architecture.
2. Désentanglement (Désenchevêtrement) : Le modèle conserve la propriété de désentanglement natif des modèles structurés. Modifier un paramètre (ex: la position d'un objet) dans le JSON entraîne un changement localisé sans altérer le reste de la scène, permettant un raffinement itératif précis.
3. Interface Utilisateur Intuitive : Le système permet des interactions familières (glisser-déposer d'objets, sélecteurs de couleurs) en traduisant ces actions en paramètres numériques pour le générateur.
4. Paradigme de Langage Intermédiaire : L'article propose un nouveau paradigme où l'intention utilisateur est d'abord traduite en un langage structuré intermédiaire (JSON paramétrique) avant d'être "rendue" par le modèle de diffusion.

4. Résultats

Les évaluations comparent BBQ à des modèles de pointe (FIBO, Flux.2 Pro, Nano Banana Pro) et à des méthodes spécialisées (GLIGEN, InstanceDiffusion).

• Précision des Boîtes Englobantes :
  • BBQ surpasse nettement les modèles généralistes (Flux.2, Nano Banana) et GLIGEN en termes d'alignement spatial (mesuré par AP sur COCO et LVIS).
  • Bien qu'InstanceDiffusion (spécialisé) obtienne les meilleurs scores, BBQ s'en approche très fortement sans modifications architecturales ni composants de grounding spécifiques, tout en offrant une meilleure expressivité globale.
• Fidélité des Couleurs (RGB) :
  • Sur des images d'objets uniques avec des cibles RGB précises, BBQ obtient les erreurs les plus faibles (mesurées par la distance Euclidienne dans l'espace a-b de CIELab et $\Delta E_{00}$).
  • Il démontre une meilleure maîtrise de la chromaticité (teinte et saturation) indépendamment de l'éclairage.
• Reconstruction Texte-vers-Image (TaBR) :
  • Dans l'évaluation "Text-as-a-Bottleneck", BBQ est préféré aux autres modèles dans 65% à 93% des cas (selon le comparateur), prouvant qu'il préserve mieux la composition, les relations d'objets et les détails fins que les modèles concurrents.

5. Signification et Impact

Ce travail marque une étape importante vers des systèmes de synthèse d'images professionnels et programmables :

• Fermeture de l'écart : Il résout le problème de l'imprécision du langage naturel pour les tâches nécessitant une exactitude numérique.
• Simplicité et Évolutivité : La méthode montre qu'il n'est pas nécessaire de complexifier les architectures de diffusion pour obtenir un contrôle précis ; une formation massive sur des données bien structurées suffit.
• Interaction Humaine : En permettant un contrôle direct via des interfaces graphiques (drag-and-drop, pickers de couleur) plutôt que par des itérations de prompts textuels ambigus, BBQ rapproche la génération d'images des outils de design traditionnels, ouvrant la voie à une intégration plus fluide dans les flux de travail créatifs professionnels.