Follow-Your-Shape: Shape-Aware Image Editing via Trajectory-Guided Region Control

Each language version is independently generated for its own context, not a direct translation.

Follow-Your-Shape: Het Magische Klei-Model voor Foto's

Stel je voor dat je een foto hebt van een vogel in een boom. Je wilt die vogel veranderen in een fiets, maar je wilt dat de boom, de lucht en de grond precies hetzelfde blijven.

Vroeger was dit heel lastig voor computers. Als je vroeg: "Maak er een fiets van," dan veranderde de computer vaak ook de boom in een wiel of de lucht in een asfaltweg. Het was alsof je probeerde een stukje klei te vormen, maar toen je aan de neus van de pop trok, viel het hele hoofd eraf.

De auteurs van dit paper hebben een nieuwe manier bedacht, genaamd Follow-Your-Shape. Ze noemen het een "training-vrij" en "masker-vrij" systeem. Dat klinkt technisch, maar het is eigenlijk heel slim en intuïtief.

1. Het Probleem: De Verwarde Reis

Stel je voor dat een computer een foto maakt alsof hij een reis maakt van een wazige vlek naar een heldere afbeelding.

De originele reis: De computer kijkt naar de foto van de vogel en weet precies welke stappen hij moet zetten om die vogel te tekenen.
De nieuwe reis: Als je zegt "maak er een fiets van", moet de computer een nieuwe route plannen.

Het probleem met oude methoden is dat ze de computer vaak dwingen om de hele reis opnieuw te beginnen. Hierdoor vergeet de computer hoe de boom eruitzag, of wordt de fiets een raadsel. Het is alsof je een spoorboekje hebt, maar je gooit het oude weg en probeert het nieuwe te raden zonder kaart.

2. De Oplossing: De "Traject-Divergentie Kaart" (TDM)

De grote uitvinding van dit paper is iets dat ze de Trajectory Divergence Map (TDM) noemen. Laten we dit vergelijken met een GPS-navigatiesysteem.

Stel je voor dat je twee auto's hebt die precies dezelfde route rijden (de originele foto). Plotseling zegt de ene bestuurder: "Ik wil naar de bakker!" en de andere zegt: "Ik blijf naar de supermarkt."

Zolang ze op de grote snelweg rijden (de achtergrond), rijden ze samen.
Maar op het moment dat ze de afslag moeten nemen (de vogel die een fiets wordt), gaan ze verschillende wegen op.

De TDM is een slimme kaart die precies aangeeft: "Kijk! Hier, op dit punt, gaan de wegen uit elkaar!"

Waar de wegen samen blijven (de boom, de lucht), zegt de computer: "Hier doen we niets, we houden het origineel vast."
Waar de wegen uit elkaar gaan (de vogel), zegt de computer: "Hier gaan we de nieuwe vorm bouwen."

Dit is zo slim omdat de computer niet hoeft te raden waar de vogel zit. Hij ziet het gewoon aan de manier waarop de route verandert. Je hoeft geen handmatig masker te tekenen (geen "masker-vrij").

3. De Strategie: Stap voor Stap (De "Geplande Injectie")

Je kunt niet zomaar direct de hele route veranderen, want dan wordt het een chaos. De auteurs gebruiken een geplande strategie in drie fasen, alsof je een schip bestuurt:

Fase 1: Het Anker Vastzetten.
Aan het begin van de reis (wanneer de foto nog heel wazig is) laat de computer de auto's precies samen rijden. Ze gebruiken de "sleutels" van de originele foto om te zorgen dat de achtergrond (de boom) niet wegwaait. Dit is als het anker van een schip: het zorgt dat je niet wegdrijft terwijl je nog niet weet waar je naartoe wilt.
Fase 2: De Route Veranderen.
Zodra de basis staat, kijkt de computer naar de TDM-kaart. Hij ziet precies waar de wegen uit elkaar gaan. Nu mag hij de fiets tekenen, maar alleen op die specifieke plekken.
Fase 3: Het Afmaken.
Aan het einde zorgt hij ervoor dat de fiets stevig in de grond staat en dat de boom er nog steeds perfect uitziet.

4. De Nieuwe Testbaan: ReShapeBench

Omdat er nog nooit een goede manier was om dit soort "grote vormveranderingen" te testen, hebben de auteurs een nieuwe testbaan bedacht: ReShapeBench.

De oude testbanen vroegen vaak om simpele dingen: "Maak de auto rood" of "Verander de bril."
ReShapeBench is veel moeilijker: "Verander een parrot in een hoed," of "Verander twee vogels in twee robotvogels." Het is alsof je een poppenkast hebt en je vraagt de poppen om hun hele lichaam te veranderen, terwijl het decor achter hen onbeweeglijk blijft.

5. Waarom is dit zo cool?

In het verleden waren foto's bewerken met AI vaak als het proberen om een olieverfschilderij te herschilderen zonder de ondergrond te beschadigen. Vaak zag je vlekken of verdwenen details.

Met Follow-Your-Shape is het alsof je een magische klei hebt:

Je kunt een parrot veranderen in een hoed.
Je kunt een koe veranderen in een robot.
Je kunt twee vogels veranderen in twee origami-vogels.

En het beste deel? De achtergrond (de lucht, de bomen, de grond) blijft perfect zoals hij was. Geen vlekken, geen vervormingen.

Samenvatting in één zin:

Deze nieuwe methode laat een computer zien waar een foto moet veranderen door te kijken naar de "routeverschillen" tussen het oude en nieuwe idee, zodat je de vorm van een object kunt veranderen zonder de rest van de foto te verstoren – alsof je een poppenkastpop vervangt zonder het decor aan te raken.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Bestaande beeldbewerkingsmodellen, zowel die op diffusie als op stromingsmodellen (flow-based) gebaseerd zijn, kampen met aanzienlijke beperkingen bij het uitvoeren van grootschalige vormtransformaties (shape transformations). Hoewel ze goed presteren bij algemene taken, falen ze vaak wanneer de structuur van een object drastisch moet worden gewijzigd (bijv. een auto veranderen in een fiets). De belangrijkste uitdagingen zijn:

Gebrek aan precisie: Bestaande methoden slagen er niet in de beoogde vormverandering correct te realiseren.
Aantasting van de achtergrond: Bij het proberen van structurele wijzigingen worden vaak niet-doelgebieden (zoals de achtergrond) onbedoeld gewijzigd, wat leidt tot degradatie van de beeldkwaliteit.
Beperkte regiocontrole: Methodes die vertrouwen op externe binaire maskers zijn te rigide en moeilijk te verkrijgen. Methodes die gebruikmaken van cross-attention kaarten zijn vaak onbetrouwbaar en ruisig, vooral bij complexe vormveranderingen.

Methodologie: Follow-Your-Shape

De auteurs stellen Follow-Your-Shape voor, een trainingsvrij en masker-vrij framework dat nauwkeurige vormbewerking mogelijk maakt terwijl de achtergrond strikt behouden blijft. De kern van de methode bestaat uit drie hoofdblokken:

1. Traject-Divergentie Kaart (Trajectory Divergence Map - TDM)

In plaats van externe maskers te gebruiken, analyseert het model het gedrag van de generatieve loop zelf.

Principe: Het model vergelijkt de denoising-trajectoires (snelheidsvelden) van de bronprompts (inversie) en de doel-prompts (bewerking).
Berekening: De TDM wordt berekend als de $L_2$ -norm van het verschil tussen de voorspelde snelheidsvectoren van de bron- en doelprompts op token-niveau:
$\delta^{(i)}_t = \| v_\theta(z^{(i)}_t, t, c_{tgt}) - v_\theta(x^{(i)}_t, t, c_{src}) \|_2$
Functie: Gebieden met een grote divergentie corresponderen met objecten die gewijzigd moeten worden, terwijl de achtergrond (waar de trajecten gelijk blijven) een lage divergentie toont. Dit creëert een dynamische, datagedreven maskeergids.

2. Geplande KV-Injectie (Scheduled KV Injection)

Het direct toepassen van de TDM over alle tijdstappen is suboptimaal omdat de kaart in de vroege, ruisige fases onstabiel is. Daarom wordt een gefaseerde aanpak gebruikt:

Fase 1 (Stabilisatie): In de eerste $k_{front}$ stappen wordt onvoorwaardelijke Key-Value (KV) injectie toegepast. Dit hergebruikt features van de broninversie om de trajectorie te stabiliseren en te voorkomen dat de achtergrond "drift" (afwijkt) voordat een coherent latente structuur is gevormd.
Fase 2 (Aggregatie): Tijdens een vooraf bepaald venster van stappen wordt de TDM berekend en opgeslagen. De kaarten worden geaggregeerd met een softmax-gewogen temporale fusie om een temporair consistente edit-mask te creëren.
Fase 3 (Structuur en Semantiek): Op basis van de gegenereerde binair masker ( $M_S$ ) worden de Key-Value paren van de doelprompts (voor het te bewerken object) en de bronprompts (voor de achtergrond) gemengd:
$\{K^*, V^*\} \leftarrow M_S \odot \{K_{tgt}, V_{tgt}\} + (1 - M_S) \odot \{K_{inv}, V_{inv}\}$
Dit zorgt ervoor dat wijzigingen alleen worden toegepast waar nodig, terwijl de achtergrondstructuur intact blijft.

3. Structurele Gids (ControlNet)

Om de geometrische consistentie verder te waarborgen, wordt ControlNet gebruikt om residuen toe te voegen aan de denoising-blokken, wat helpt bij het behoud van globale structurele patronen.

Belangrijkste Bijdragen

Follow-Your-Shape Framework: Een nieuw, trainingsvrij framework dat de Trajectory Divergence Map (TDM) gebruikt om grote vormtransformaties mogelijk te maken zonder externe maskers.
Geplande Injectiestrategie: Een innovatieve strategie die de injectie van features aanpast aan de fase van het denoising-proces, wat leidt tot stabielere en betrouwbaardere bewerkingen.
ReShapeBench: Een nieuwe benchmark specifiek ontworpen voor het evalueren van vormbewust beeldbewerken. Deze bevat 120 nieuwe afbeeldingen met gepaarde prompts voor zowel enkelvoudige als meervoudige objecten, gericht op grootschalige vormveranderingen.

Resultaten

De methode is geëvalueerd op zowel de nieuwe ReShapeBench als de bestaande PIE-Bench.

Kwalitatieve resultaten: Follow-Your-Shape slaagt erin complexe vormveranderingen (bijv. een zwane veranderen in een boot, of een parrot in een hoed) uit te voeren met een hoge mate van detail en behoudt de achtergrond perfect, in tegenstelling tot bestaande baselines (zoals MasaCtrl, RF-Edit, FLUX.1 Fill) die vaak achtergrondartefacten of onvolledige transformaties vertonen.
Kwantitatieve resultaten: De methode behaalt state-of-the-art scores op alle metrics:
- Achtergrondbehoud: Hoogste PSNR en laagste LPIPS (minder verandering in de achtergrond).
- Beeldkwaliteit: Hoogste LAION Aesthetic Score.
- Tekst-beeld uitlijning: Hoogste CLIP-similariteit.
Ablatiestudies: De studies tonen aan dat de keuze van $k_{front}$ (aantal stabilisatiestappen) cruciaal is; een waarde van 2 biedt de beste balans tussen stabiliteit en bewerkingskracht.

Betekenis en Impact

Dit paper vult een kritieke kloof in het veld van generatieve beeldbewerking. Bestaande tools zijn vaak beperkt tot textuur- of kleurveranderingen of vereisen handmatige maskers voor structurele wijzigingen. Follow-Your-Shape demonstreert dat het analyseren van de dynamiek van het generatieve traject een krachtige manier is om bewerkingsregio's automatisch en nauwkeurig te lokaliseren.

De introductie van ReShapeBench stelt de gemeenschap in staat om methoden systematisch te testen op hun vermogen tot structurele transformatie, een taak die tot nu toe onderbelicht was. De methode opent nieuwe wegen voor controllable generation, waarbij gebruikers complexe vormveranderingen kunnen aansturen via tekstprompts zonder technische tussenkomst van maskers, wat de bruikbaarheid van AI-beeldbewerking voor creatieve toepassingen aanzienlijk vergroot.