Technische Samenvatting: InsertFuse

Probleemstelling

Referentie-gestuurde beeldinsertie beoogt een doelonderwerp uit een referentieafbeelding te plaatsen in een aangewezen regio van een bronscène, waarbij de verschijning en identiteit van het onderwerp behouden blijven en de schaal en ruimtelijke plaatsing worden aangepast aan de nieuwe context. Hoewel recente vooruitgang in diffusiemodellen en flow matching de algemene beeldgeneratie en -bewerking heeft verbeterd, blijft het bouwen van een uniform model dat in staat is om diverse insertie-categorieën (bijv. accessoires, kledingstukken, mensen, dieren, algemene objecten) te verwerken, een aanzienlijke uitdaging.

Verschillende insertie-categorieën vereisen substantieel verschillende generatiestrategieën en modelleringsdoelstellingen. Zo vereist de insertie van accessoires fijne textuurbehoud, terwijl virtuele try-on complexe niet-rigide deformatie vereist en menselijke insertie prioriteit geeft aan identiteitsconsistentie. Het direct trainen van een enkel model op data met gemengde categorieën introduceert conflicterende optimalisatiesignalen, wat de gespecialiseerde capaciteiten die voor elke taak vereist zijn, kan verzwakken. Hoewel recente benaderingen zoals Mixture-of-Transformers (MoE) proberen inputs naar gespecialiseerde takken te routeren, vertrouwen zij nog steeds op gezamenlijke optimalisatie binnen een uniform trainingsproces, waardoor categorie-specifieke conflicten slechts gedeeltelijk worden opgelost. Bovendien missen bestaande methoden vaak precieze ruimtelijke controle en hebben ze moeite met het balanceren van supervisie tussen de kleine insertieregio en de grote achtergrond, wat leidt tot achtergrond-gedomineerde optimalisatie of prestatieproblemen die afhankelijk zijn van de schaal.

Methodologie: InsertFuse

InsertFuse stelt een uniform framework voor dat de leercurve van categorie-specifieke expertise ontkoppelt van de consolidatie van cross-categorie capaciteiten. Het framework werkt in twee afzonderlijke stadia en introduceert drie sleuteltechnische componenten om de ruimtelijke controle en referentiegetrouwheid te verbeteren.

1. Tweestaps Trainingsframework

• Stadium I: Categorie-specifieke Expert-leren. Het framework initialiseert meerdere experts vanuit een vooraf getraind flow-matching beeldbewerkingsmodel (specifiek Qwen-Image-Edit-2511). Elke expert wordt onafhankelijk getraind op een specifieke insertie-categorie (accessoire, dier, kledingstuk, algemeen object, mens). Dit stelt elke expert in staat om gespecialiseerde kennis te verwerven uit de corresponderende datadistributie zonder interferentie van andere categorieën.
• Stadium II: Cross-categorie Consolidatie via IOPD. Een uniform "student"-model wordt geïnitialiseerd vanuit dezelfde vooraf getrainde backbone. Alle categorie-specifieke experts zijn bevroren. De student wordt getraind met behulp van Insertion On-Policy Distillation (IOPD). In dit proces genereert de student zijn eigen trajecten (rollouts). Voor elke door de student bezochte staat biedt de bijbehorende bevroren expert (geselecteerd op basis van de categorie-label) een snelheidstarget (velocity target). Deze distillatie draagt de gespecialiseerde insertiegedragingen en de referentiegetrouwheid van de experts over naar het enkele student-model, waardoor de interferentie die wordt veroorzaakt door directe gezamenlijke training wordt verminderd.

2. Belangrijke Technische Componenten

Om de experts en de student uit te rusten met precieze controle, introduceert InsertFuse drie nieuwe modules:

• Token-Aligned Geometry Conditioning (TAGC):
  In plaats van simpelweg een binaire masker te concateneren met visuele inputs (wat vereist dat het model impliciet de masker-naar-token correspondentie leert), brengt TAGC de insertiemasker expliciet in kaart met de visuele token-grid. Het construeert een compacte geometrische representatie $G(M)$ die het masker, een signed distance transform en een boundary proximity map bevat. Een lichtgewicht geometrie-encoder extraheert kenmerken die residueel worden geprojecteerd en geïnjecteerd in zowel de target als de source-context latente takken. Dit vestigt een expliciete ruimtelijke correspondentie zonder extra beeldachtige maskering-inputs toe te voegen.

• Region-Balanced Flow Matching (RBFM):
  Standaard flow-matching doelstellingen middelen voorspellingsfouten uniform, wat gedomineerd kan worden door de grote achtergrondregio, waardoor kleine insertie-onderwerpen onder-gesuperviseerd blijven. RBFM pakt dit aan door voorspellingsfouten binnen en buiten de insertieregio apart te normaliseren. Het definieert aparte verliestermen voor de insertieregio ($\ell_{ins}$) en de achtergrond ($\ell_{bg}$), elk genormaliseerd door hun respectieve effectieve oppervlaktes. Dit voorkomt dat de sterkte van de supervisie schaalt met de grootte van de insertie en zorgt voor een gebalanceerde optimalisatie voor zowel het onderwerp als de achtergrond.

• Reference Classifier-Free Guidance (Reference CFG):
  Om de bewaring van de verschijning en identiteit van het referentie-onderwerp te versterken, introduceert het framework Reference CFG. Tijdens de expert-training wordt de referentieconditie willekeurig gedropt met een waarschijnlijkheid $p_{drop}$. Tijdens de inferentie berekent het model het verschil tussen de voorspelling met de referentie en de voorspelling zonder deze (terwijl de scène- en geometriecondities vast blijven). Dit verschil isoleert de door de referentie geïnduceerde snelheid richting, die vervolgens wordt versterkt om de generatie te sturen. Deze verbeterde supervisie wordt via IOPD overgedragen aan de student, waardoor het uniforme model een sterke referentieconsistentie kan behouden zonder dat er tijdens de inferentie een extra CFG-tak nodig is.

Belangrijkste Bijdragen

1. Uniform Framework met Ontkoppelde Leerprocessen: De voorstel van InsertFuse, een framework dat de acquisitie van categorie-specifieke expertise scheidt van de consolidatie van cross-categorie capaciteiten. Het maakt gebruik van Insertion On-Policy Distillation (IOPD) om gespecialiseerde policies over te dragen naar een enkele student, wat de inherente interferentie bij directe gezamenlijke training effectief vermindert.
2. Verbeterde Ruimtelijke en Regionale Controle: De introductie van Token-Aligned Geometry Conditioning (TAGC) voor expliciete masker-naar-token uitlijning en Region-Balanced Flow Matching (RBFM) om voorspellingsfouten te normaliseren, wat zorgt voor stabiele prestaties over objecten van variërende schalen en het voorkomen van achtergrond-dominantie.
3. Versterkte Referentiegetrouwheid: De voorstel van Reference CFG, die de visuele referentie-sturing isoleert en versterkt onder vaste scènelengte, wat de bewaring van verschijning en identiteit verbetert.
4. State-of-the-Art Prestaties: Uitgebreide experimenten die aantonen dat InsertFuse bestaande referentie-gestuurde insertiemethoden en uniforme beeldbewerkingsmodellen overtreft op meerdere metrieken.

Experimentele Resultaten

De auteurs evalueerden InsertFuse op de publieke AnyInsertion benchmark en een aangepaste multi-categorie testset die accessoires, dieren, kledingstukken, algemene objecten en mensen beslaat.

• Kwantitatieve Prestaties: InsertFuse behaalde state-of-the-art resultaten op de meeste metrieken. Op de AnyInsertion benchmark scoorde het 0.7838 (DINO-I) en 0.9156 (CLIP-I), wat wijst op een sterke referentiegetrouwheid. Op de multi-categorie testset behaalde het 0.7148 (DINO-I) en 0.9020 (CLIP-I). Het demonstreerde ook superieure reconstructiekwaliteit met een hoge PSNR (24.26/24.40) en SSIM, en lage LPIPS en FID scores vergeleken met baselines zoals AnyDoor, Insert Anything, A2-Edit, en algemene modellen zoals FLUX.1 Kontext en Qwen-Image-Edit.
• Kwalitatieve Prestaties: Visuele vergelijkingen laten zien dat InsertFuse referentie-specifieke details (bijv. texturen, logo's, patronen) beter behoudt en natuurlijker aanpast aan doel-geometrie, pose en occlusie-relaties vergeleken met concurrerende methoden, die vaak last hebben van structurele artefacten of identiteitsdrift.
• Gebruikersstudie: In een multi-way gebruikersstudie ontving InsertFuse de hoogste voorkeurspercentages (51,8% voor Referentiegetrouwheid, 58,2% voor Insertiekwaliteit en 55,4% voor Algehele Kwaliteit) over alle criteria.
• Ablatie-studies:
  • TAGC verbeterde de geometrische uitlijning en randovergangen aanzienlijk vergeleken met baseline masker-concatenatie of ruwe injectie.
  • RBFM leverde consistente winst op ten opzichte van standaard globale flow matching, vooral voor kleine insertie-regio's, door achtergrond-dominantie te voorkomen.
  • Reference CFG verbeterde referentie-georiënteerde metrieken en behield fijnmazige texturen.
  • IOPD bleek effectief in het consolideren van expert-capaciteiten, waarbij het direct gezamenlijke training aanzienlijk overtrof (wat leed onder cross-categorie gradiënt-interferentie, zoals bewezen door negatieve gradiënt-cosinus-similariteiten tussen bepaalde categorieparen zoals mens-kledingstuk).

Betekenis

Het artikel beweert dat InsertFuse een uniform en praktisch oplossingsmodel biedt voor diverse referentie-gestuurde beeldinsertie-taken. Door de acquisitie van gespecialiseerde expertise te ontkoppelen van de consolidatie van cross-categorie capaciteiten, adresseert het framework het fundamentele conflict in het trainen van uniforme modellen voor heterogene taken. De voorgestelde componenten (TAGC, RBFM, Reference CFG) bieden expliciete geometrische sturing en gebalanceerde regionale optimalisatie, wat leidt tot sterke prestaties in referentiebehoud, ruimtelijke adaptatie en generatiekwaliteit. De resultaten suggereren dat het scheiden van specialisatie van consolidatie een effectievere strategie is dan het louter proberen op te lossen van categorie-conflicten via directe gezamenlijke optimalisatie of routing-mechanismen.