💻 computer science

InsertFuse: A Unified Framework for Multi-Category Reference-Guided Image Insertion

InsertFuse est un cadre unifié pour l'insertion d'images guidée par référence multi-catégories qui atteint des performances de pointe en découplant l'entraînement d'experts spécifiques aux catégories de la consolidation via la Distillation d'Insertion In-Policy, tout en améliorant le contrôle spatial et la fidélité de la référence grâce au Conditionnement Géométrique Aligné sur les Tokens, au Flow Matching Équilibré par Région et au CFG de Référence.

Auteurs originaux : Guangzhao Li, Qingyan Wei, Huayu Zheng, Yige Zheng, Chaoyang Zhang, Jie Yang, Yunan Ding, Yan Tai, Siqi Luo, Xiaohong Liu

Publié 2026-08-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guangzhao Li, Qingyan Wei, Huayu Zheng, Yige Zheng, Chaoyang Zhang, Jie Yang, Yunan Ding, Yan Tai, Siqi Luo, Xiaohong Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un maître chef capable de cuisiner n'importe quel plat, d'un soufflé délicat à un ragoût consistant. Maintenant, imaginez que quelqu'un vous demande de préparer un plat unique qui soit à la fois un soufflé parfait et un ragoût parfait au même instant, en utilisant la même marmite et le même ensemble d'instructions. Vous pourriez essayer, mais le résultat serait probablement un mélange détrempé : la chaleur nécessaire pour le ragoût ruinerait la levée délicate du soufflé, et les saveurs entreraient en conflit. C'est le genre de problème auquel les informaticiens sont confrontés lorsqu'ils enseignent l'intelligence artificielle (IA) pour la retouche de photos.

Dans le monde de l'IA, les « modèles de diffusion » sont comme ces maîtres chefs. Ce sont des systèmes incroyablement intelligents capables de créer ou de modifier des images en transformant lentement un bruit aléatoire (comme la neige sur un téléviseur) en une image claire, étape par étape. Récemment, ces modèles sont devenus si performants que nous pouvons leur demander de « mettre un chat sur cette chaise » ou de « changer le ciel pour un coucher de soleil ». Mais il y a un piège : différents types de retouches nécessitent des compétences très différentes. Poser une minuscule bague sur un doigt demande une précision fine et délicate. Introduire une personne entière dans une scène nécessite de comprendre comment son corps se plie et comment ses vêtements se comportent. Essayer d'enseigner à un seul modèle d'IA à être un expert de toutes ces tâches différentes à la fois, c'est comme demander à ce chef de cuisiner simultanément le soufflé et le ragoût ; l'IA s'embrouille, et les résultats ont souvent l'air bizarres ou flous.

C'est là qu'intervient un nouvel article intitulé InsertFuse. Les chercheurs, dirigés par une équipe de l'Université Jiao Tong de Shanghai et d'autres, ont réalisé que le problème résidait dans l'ancienne méthode d'entraînement de ces chefs IA. Au lieu de forcer un seul modèle à tout apprendre à la fois, ils ont construit un système intelligent en deux étapes. D'abord, ils ont entraîné cinq chefs « experts » différents, chacun se spécialisant dans un seul type d'ingrédient : un pour les accessoires (comme les bijoux), un pour les animaux, un pour les vêtements, un pour les objets généraux et un pour les humains. Chaque expert est devenu un maître de son domaine spécifique, apprenant exactement comment gérer les particularités uniques de sa catégorie sans être distrait par les autres.

Mais avoir cinq chefs différents est contraignant si vous voulez simplement une application capable de tout faire. C'est pourquoi l'équipe a inventé une technique d'entraînement spéciale appelée Insertion On-Policy Distillation (IOPD). Considérez cela comme un chef « étudiant » qui observe les cinq experts travailler. L'étudiant ne se contente pas de mémoriser les recettes ; il s'entraîne à préparer le plat lui-même, et chaque fois qu'il est bloqué, il demande à l'expert approprié de lui indiquer le mouvement exact à effectuer. Si l'étudiant essaie de mettre un chapeau sur une tête, il demande à l'« expert en accessoires ». S'il essaie de placer une personne dans une pièce, il demande à l'« expert humain ». En apprenant de l'expert adéquat au bon moment, l'étudiant devient un maître chef unifié capable de gérer n'importe quelle tâche d'insertion parfaitement, sans la confusion de vouloir tout apprendre à la fois.

Pour s'assurer que l'étudiant chef ne devine pas simplement où placer les choses, l'équipe a également ajouté deux outils spéciaux. Le premier est le Token-Aligned Geometry Conditioning, qui est comme donner à l'IA une carte GPS précise de l'endroit exact où le nouvel objet doit aller, garantissant qu'il s'adapte parfaitement à la forme du trou sans déborder sur l'arrière-plan. Le second est le Region-Balanced Flow Matching, qui agit comme un juge équitable. Lors d'un entraînement normal, l'IA pourrait ignorer un petit objet (comme un bracelet) parce que l'arrière-plan immense (comme un mur) occupe la majeure partie de l'écran. Ce nouvel outil dit à l'IA : « Hé, même si le bracelet est petit, il est super important, alors accorde-lui une attention particulière », garantissant que les petits détails ne soient pas perdus.

Enfin, pour s'assurer que l'objet inséré ressemble exactement à la photo de référence (en conservant sa texture et son identité uniques), ils ont utilisé une technique appelée Reference CFG. C'est comme donner une règle stricte au chef étudiant : « Tu dois conserver le motif original sur cette chemise, peu importe la façon dont tu l'étires. »

Les résultats sont impressionnants. Lorsque les chercheurs ont testé leur nouveau modèle « étudiant » contre d'autres éditeurs d'IA de haut niveau, il a gagné dans presque toutes les catégories. Il a mieux préservé l'aspect des objets originaux, les a placés plus précisément et a maintenu un arrière-plan naturel. Dans une étude utilisateur où les gens votaient pour leurs images préférées, InsertFuse a été choisi par plus de 50 % des participants, dépassant de loin la concurrence. L'article suggère qu'en séparant l'apprentissage de compétences spécifiques du processus de leur combinaison, nous pouvons construire une IA qui est à la fois une spécialiste et une généraliste, résolvant ainsi une fois pour toutes le problème du « ragoût détrempé » de la retouche d'image.

Résumé Technique : InsertFuse

Énoncé du Problème

L'insertion d'images guidée par référence vise à placer un sujet cible provenant d'une image de référence dans une région désignée d'une scène source, tout en préservant l'apparence et l'identité du sujet, et en adaptant son échelle et son placement spatial au nouveau contexte. Bien que les avancées récentes des modèles de diffusion et du flow matching aient amélioré la génération et l'édition d'images en général, construire un modèle unifié capable de gérer diverses catégories d'insertion (par exemple, accessoires, vêtements, humains, animaux, objets généraux) reste un défi important.

Différentes catégories d'insertion nécessitent des stratégies de génération et des objectifs de modélisation sensiblement différents. Par exemple, l'insertion d'accessoires exige une préservation fine des textures, l'essayage virtuel nécessite une déformation non rigide complexe, et l'insertion humaine donne la priorité à la cohérence de l'identité. L'entraînement direct d'un modèle unique sur des données de catégories mixtes introduit des signaux d'optimisation conflictuels, ce qui peut affaiblir les capacités spécialisées requises pour chaque tâche. Bien que des approches récentes comme le Mixture-of-Transformers (MoE) tentent d'orienter les entrées vers des branches spécialisées, elles reposent toujours sur une optimisation conjointe au sein d'un processus d'entraînement unifié, laissant les conflits spécifiques aux catégories partiellement résolus. De plus, les méthodes existantes manquent souvent de contrôle spatial précis et peinent à équilibrer la supervision entre la petite région d'insertion et le grand arrière-plan, ce qui conduit à une optimisation dominée par l'arrière-plan ou à des problèmes de performance dépendants de l'échelle.

Méthodologie : InsertFuse

InsertFuse propose un cadre unifié qui découple l'apprentissage de l'expertise spécifique à la catégorie de la consolidation des capacités inter-catégories. Le cadre fonctionne en deux étapes distinctes et introduit trois composants techniques clés pour améliorer le contrôle spatial et la fidélité de la référence.

1. Cadre d'Entraînement en Deux Étapes

Étape I : Apprentissage de l'Expert Spécifique à la Catégorie. Le cadre initialise plusieurs experts à partir d'un modèle d'édition d'image par flow-matching pré-entraîné (spécifiquement Qwen-Image-Edit-2511). Chaque expert est entraîné indépendamment sur une catégorie d'insertion spécifique (accessoire, animal, vêtement, objet général, humain). Cela permet à chaque expert d'acquérir des connaissances spécialisées à partir de sa distribution de données correspondante sans interférence des autres catégories.
Étape II : Consolidation Inter-Catégories via l'IOPD. Un modèle « étudiant » unifié est initialisé à partir du même backbone pré-entraîné. Tous les experts spécifiques aux catégories sont gelés. L'étudiant est entraîné en utilisant la Distillation On-Policy d'Insertion (IOPD). Dans ce processus, l'étudiant génère ses propres trajectoires (rollouts). Pour chaque état visité par l'étudiant, l'expert gelé correspondant (sélectionné sur la base de l'étiquette de la catégorie) fournit une cible de vélocité. Cette distillation transfère les comportements d'insertion spécialisés et la fidélité de la référence des experts vers le modèle étudiant unique, atténuant l'interférence causée par l'entraînement conjoint direct.

2. Composants Techniques Clés

Pour doter les experts et l'étudiant d'un contrôle précis, InsertFuse introduit trois nouveaux modules :

Conditionnement Géométrique Aligné sur les Tokens (TAGC - Token-Aligned Geometry Conditioning) :
Au lieu de simplement concaténer un masque binaire avec les entrées visuelles (ce qui oblige le modèle à apprendre implicitement la correspondance masque-vers-token), le TAGC mappe explicitement le masque d'insertion à la grille de tokens visuels. Il construit une représentation géométrique compacte $G(M)$ contenant le masque, une transformée de distance signée et une carte de proximité de bordure. Un encodeur de géométrie léger extrait des caractéristiques qui sont projetées et injectées de manière résiduelle dans les branches latentes de la cible et du contexte source. Cela établit une correspondance spatiale explicite sans ajouter d'entrées de masque supplémentaires de type image.
Flow Matching Équilibré par Région (RBFM - Region-Balanced Flow Matching) :
Les objectifs de flow-matching standards moyennent uniformément les erreurs de prédiction, ce qui peut être dominé par la grande région de l'arrière-plan, laissant les petits sujets d'insertion sous-supervisés. Le RBFM traite cela en normalisant séparément les erreurs de prédiction à l'intérieur et à l'extérieur de la région d'insertion. Il définit des termes de perte séparés pour la région d'insertion ( $\ell_{ins}$ ) et l'arrière-plan ( $\ell_{bg}$ ), chacun normalisé par leurs surfaces effectives respectives. Cela empêche la force de la supervision de varier avec la taille de l'insertion et assure une optimisation équilibrée pour le sujet et l'arrière-plan.
Guidage par Classificateur de Référence (Reference CFG - Reference Classifier-Free Guidance) :
Pour renforcer la préservation de l'apparence et de l'identité du sujet de référence, le cadre introduit le Reference CFG. Pendant l'entraînement de l'expert, la condition de référence est supprimée aléatoirement avec une probabilité $p_{drop}$ . Lors de l'inférence, le modèle calcule la différence entre la prédiction avec la référence et la prédiction sans celle-ci (tout en maintenant fixes les conditions de scène et de géométrie). Cette différence isole la direction de vélocité induite par la référence, qui est ensuite amplifiée pour guider la génération. Cette supervision améliorée est transférée à l'étudiant via l'IOPD, permettant au modèle unifié de maintenir une forte cohérence de référence sans nécessiter de branche CFG supplémentaire lors de l'inférence.

Contributions Clés

Cadre Unifié avec Apprentissage Découplé : La proposition d'InsertFuse, un cadre qui sépare l'acquisition de l'expertise spécifique à la catégorie de la consolidation des capacités inter-catégories. Il utilise la Distillation On-Policy d'Insertion (IOPD) pour transférer les politiques spécialisées dans un seul étudiant, atténuant efficacement l'interférence inhérente à l'entraînement conjoint direct.
Contrôle Spatial et Régional Amélioré : L'introduction du Conditionnement Géométrique Aligné sur les Tokens (TAGC) pour un alignement explicite masque-vers-tokens et du Flow Matching Équilibré par Région (RBFM) pour normaliser les erreurs de supervision, assurant des performances stables pour des objets de tailles variées et empêchant la dominance de l'arrière-plan.
Fidélité de Référence Renforcée : La proposition du Reference CFG, qui isole et amplifie le guidage visuel de la référence sous des conditions de scène fixes, améliorant la préservation de l'apparence et de l'identité.
Performance de l'État de l'Art : Des expériences approfondies démontrant qu'InsertFuse surpasse les méthodes d'insertion guidée par référence et les modèles d'édition d'image unifiés existants sur de multiples métriques.

Résultats Expérimentaux

Les auteurs ont évalué InsertFuse sur le benchmark public AnyInsertion et sur un jeu de test multi-catégories personnalisé couvrant les accessoires, les animaux, les vêtements, les objets généraux et les humains.

Performance Quantitative : InsertFuse a atteint des résultats de pointe sur la plupart des métriques. Sur le benchmark AnyInsertion, il a obtenu 0,7838 (DINO-I) et 0,9156 (CLIP-I), indiquant une forte fidélité de référence. Sur le jeu de test multi-catégories, il a obtenu 0,7148 (DINO-I) et 0,9020 (CLIP-I). Il a également démontré une qualité de reconstruction supérieure avec un PSNR élevé (24,26/24,40) et SSIM, ainsi que des scores LPIPS et FID faibles par rapport aux bases de comparaison comme AnyDoor, Insert Anything, A2-Edit et les modèles à usage général comme FLUX.1 Kontext et Qwen-Image-Edit.
Performance Qualitative : Les comparaisons visuelles montrent qu'InsertFuse préserve mieux les détails spécifiques à la référence (ex: textures, logos, motifs) et s'adapte plus naturellement à la géométrie cible, à la pose et aux relations d'occlusion par rapport aux méthodes concurrentes, qui souffrent souvent d'artefacts structurels ou de dérive d'identité.
Étude Utilisateur : Dans une étude utilisateur multi-critères, InsertFuse a reçu les parts de préférence les plus élevées (51,8 % pour la Fidélité de Référence, 58,2 % pour la Qualité d'Insertion et 55,4 % pour la Qualité Globale) sur l'ensemble des critères.
Études d'Ablation :
- Le TAGC a considérablement amélioré l'alignement géométrique et les transitions de bord par rapport à la concaténation de masque de base ou à l'injection brute.
- Le RBFM a fourni des gains constants par rapport au flow matching global standard, particulièrement pour les petites régions d'insertion, en empênant la dominance de l'arrière-plan.
- Le Reference CFG a amélioré les métriques orientées vers la référence et a préservé les textures fines.
- L'IOPD a montré qu'il consolidait efficacement les capacités des experts, surpassant de manière significative l'entraînement conjoint direct (qui souffrait d'interférences de gradients inter-catégories, comme en témoigne la similitude cosinus négative des gradients entre certaines paires de catégories comme humain-vêtement).

Signification

L'article affirme qu'InsertFuse fournit une solution unifiée et pratique pour diverses tâches d'insertion d'images guidée par référence. En découplant l'acquisition de l'expertise spécialisée de la consolidation des capacités inter-catégories, le cadre répond au conflit fondamental de l'entraînement de modèles unifiés pour des tâches hétérogènes. Les composants proposés (TAGC, RBFM, Reference CFG) offrent un guidage géométrique explicite et une optimisation régionale équilibrée, conduisant à de fortes performances en matière de préservation de la référence, d'adaptation spatiale et de qualité de génération. Les résultats suggèrent que séparer la spécialisation de la consolidation est une stratégie plus efficace que de tenter de résoudre les conflits de catégories uniquement par l'optimisation conjointe ou les mécanismes de routage.