🤖 AI

AnchorEdit: Maintaining Temporal Consistency in Multi-turn Image Editing via Causal Memory

AnchorEdit introduceert het eerste autoregressieve diffusiekader voor hoogwaardige, langdurige multi-turn beeldbewerking dat een driestaps trainingscurriculum en een causaal geheugenmechanisme gebruikt om identiteitsdrift en foutaccumulatie over uitgebreide interactiesequenties effectief te elimineren.

Oorspronkelijke auteurs: Hang Xu, Xiaoxiao Ma, Guohui Zhang, Yu Hu, Siming Fu, Jie Huang, Lin Song, Haoyang Huang, Nan Duan, Feng Zhao

Gepubliceerd 2026-06-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hang Xu, Xiaoxiao Ma, Guohui Zhang, Yu Hu, Siming Fu, Jie Huang, Lin Song, Haoyang Huang, Nan Duan, Feng Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je werkt met een zeer getalenteerde maar ietwat vergeetachtige digitale kunstenaar. Je vraagt hen om een foto te bewerken: "Maak de auto rood." Ze doen het perfect. Dan zeg je: "Maak er nu een cabriolet van." Dat doen ze ook. Maar bij de derde of vierde opdracht begint de auto er vreemd uit te zien. Misschien is het niet meer dezelfde auto, of is de achtergrond veranderd in een andere stad. Dit is het probleem van "identity drift" (identiteitsdrift) bij huidige AI-beeldbewerkers—ze verliezen het spoor van wie of wat ze aan het bewerken zijn naarmate het gesprek vordert.

Dit artikel introduceert AnchorEdit, een nieuw systeem dat is ontworig om dit op te lossen. Zie het als het geven van een supergeheugen en een strikte set regels aan die digitale kunstenaar, zodat ze lange, complexe bewerkingssessies kunnen afhandelen zonder hun verstand (of het gezicht van het onderwerp) te verliezen.

Zo werkt het, onderverdeeld in eenvoudige concepten:

1. Het Probleem: De mismatch tussen "Video" en "Gesprek"

Huidige AI-bewerkers die goed zijn in het behouden van consistentie, gebruiken vaak videomodellen. Video is geweldig omdat het laat zien hoe dingen bewegen en constant blijven over een bepaalde tijd. Echter, de meeste videomodellen bekijken het "gehele plaatje" in één keer (zoals een boek van begin tot eind lezen om een zin te begrijpen).

Maar het bewerken van een afbeelding is als een gesprek. Je geeft een instructie, de AI voert deze uit, en dan geef je de volgende instructie gebaseerd alleen op wat er net is gebeurd. Je kunt niet in de toekomst kijken naar de volgende instructies.

De Fout: Bestaande videomodellen proberen in de toekomst te "kijken" om consistent te blijven, wat de logica van een echt gesprek doorbreekt.
De Oplossing: AnchorEdit gebruikt een Autoregressieve (AR) aanpak. Dit betekent dat het bewerken behandelt als een keten van dominostenen. Het kijkt alleen naar het verleden (de originele foto en eerdere bewerkingen) om te beslissen wat de volgende stap is, precies zoals een mens dat zou doen.

2. De Oplossing: Een Drietraps Trainingskamp

Om deze AI te leren een meester-bewerker te worden, hebben de onderzoekers het door een drietraps trainingscurriculum geleid:

Fase 1: De "Verander Niets" Oefening (Identiteit Preserverend)
Stel je voor dat een leraar de student vertelt: "Hier is een foto. Ik wil dat je hem 'bewerkt', maar eigenlijk wil ik dat je hem exact hetzelfde houdt."
De AI leert de "ziel" van het object (de identiteit) te herkennen, zodat hij niet per ongeluk een hond in een kat verandert wanneer er wordt gevraagd om de halsband aan te passen. Ze gebruiken ook een speciale wiskundige truc (genaamd Expanded RoPE) om de AI te leren dat een "bewerking" een grote sprong in de tijd is, en niet slechts een kleine beweging zoals een videoframe.
Fase 2: De "Zelfcorrectie" Oefening (Causal Forcing)
Dit is het belangrijkste deel. Bij normale training krijgt de AI altijd de perfecte vorige stappen te zien. Maar in het echte leven, als je in stap 1 een kleine fout maakt, moet stap 2 werken met die fout.
De onderzoekers gebruiken een techniek genaamd Self-Rollout. Ze laten de AI tijdens de training zijn eigen fouten maken, en vragen het vervolgens om de volgende stap te corrigeren op basis van het imperfecte werk van de vorige stap. Het is als een muzikant die een liedje oefent, een fout maakt, en dan leert hoe hij moet herstellen en het ritme moet aanhouden zonder te stoppen. Dit voorkomt dat fouten zich opstapelen als een sneeuwbal die een heuvel afrolt.
Fase 3: De "Speed Run" (Distillatie)
De AI is nu slim maar traag. Om hem snel genoeg te maken voor echt gebruik, comprimeren ze hem. Ze leren een kleinere, snellere versie van de AI om de grote, trage AI na te bootsen. Het resultaat is een model dat hoogwaardige bewerkingen kan uitvoeren in slechts 4 stappen in plaats van tientallen.

3. Het Geheimwapen: De "Anchor" en de "Sliding Window"

Wanneer de AI daadwerkelijk een foto bewerkt tijdens een lange sessie (bijvoorbeeld 10 rondes achter elkaar), heeft het een manier nodig om het originele onderwerp te onthouden zonder overweldigd te raken door de hele geschiedenis.

De Anchor (Het Anker): De AI houdt de allereerste afbeelding (de originele foto) voor altijd vast in zijn geheugen. Geen matter hoeveel bewerkingen er plaatsvinden, hij heeft altijd een referentiepunt om te zeggen: "Wacht, dit gezicht van deze persoon moet nog steeds zo zijn."
De Sliding Window (Het Verschuivende Venster): Het houdt ook een "recente geschiedenis" bij van de laatste paar bewerkingen om de directe context te begrijpen.
De Magische Truc: Zelfs als oude bewerkingen worden vergeten om ruimte te besparen, gebruikt de AI een speciaal nummeringssysteem (Strided RoPE) om ervoor te zorgen dat de "afstand" tussen de originele foto en de huidige bewerking wiskundig consistent blijft. Het is alsof je een liniaal in je zak hebt die altijd de afstand vanaf het begin meet, zelfs als je de middelste stukken papier weggooit.

4. De Resultaten

De onderzoekers hebben een nieuwe test (een benchmark) gebouwd die specifelijk bedoeld is om deze lange bewerkingsketens te testen. Ze ontdekten dat:

Oude methoden (zoals ChronoEdit of VINCIE) na een paar rondes beginnen te falen. Het gezicht van het onderwerp verandert, of de achtergrond wordt rommelig.
AnchorEdit blijft consistent, zelfs na 10+ rondes. Het kan een auto veranderen van rood naar blauw, naar roestig staal, naar een onderzeeër, en weer terug naar een auto, terwijl de "chauffeur" erin gedurende de hele reis dezelfde persoon blijft.

Samenvatting

AnchorEdit is als het geven van een permanent anker aan een AI-bewerker naar de originele afbeelding en een trainingsregime dat de AI leert hoe hij moet herstellen van zijn eigen fouten. Het beweegt weg van "het bekijken van de hele video" naar "het voeren van een real-time gesprek", waardoor er na 10 verzoeken nog steeds een afbeelding is die nog steeds naar dezelfde persoon of hetzelfde object ziet als waar je mee begon.

Technische Samenvatting: AnchorEdit

Probleemstelling

Multi-turn beeldverwerking is cruciaal voor iteratieve ontwerpprocessen, maar huidige modellen worstelen met identiteitsdrift en foutaccumulatie over opeenvolgende modificatiestappen. Hoewel recent onderzoek gebruik heeft gemaakt van video-priors om temporele consistentie te verbeteren, vertrouwen bestaande video-gebaseerde bewerkingsmethoden doorgaans op bidirectionele aandachtmechanismen. Deze architectuur is fundamenteel niet afgestemd op de causale, sequentiële aard van interactieve bewerking, waarbij elke stap strikt afhankelijk moet zijn van de bronafbeelding en de vorige staten, zonder toegang tot toekomstige instructies. Deze mismatch leidt tot een verslechterde instructieopvolging, visuele inconsistenties en een onvermogen om te extrapoleren naar langere bewerkingsketens. Bovendien verhinderen vaste contextlengtes in huidige modellen werkelijk online interactie.

Methodologie

De auteurs stellen AnchorEdit voor, het eerste autoregressieve (AR) diffusie-gebaseerde framework dat specifiek is ontworpen voor hoogwaardige (1024p), langdurige multi-turn beeldverwerking. De aanpak overbrugt de kloof tussen video-priors en causale inferentie door middel van een systematisch driedelig trainingscurriculum en een gespecialiseerd inferentiegeheugenmechanisme.

1. Driedelig Trainingscurriculum

Fase 1: Identiteitsbehoudende Single-Turn Pretraining
- Past een video-generatie backbone (Wan2.1-T2V-14B) aan voor instructiegestuurde bewerking.
- Expanded RoPE: Vergroot de relatieve RoPE-afstand tussen de bronstatus en de bewerkte status (van $\Delta=1$ naar $\Delta=S$ ) om semantische instorting tijdens discrete transities te voorkomen, waardoor de bias van het model naar vloeiende beweging wordt verzwakt.
- Null-Instruction Training: Traint het model om de bronafbeelding te reconstrueren bij een lege instructie, wat identiteitsmapping afdwingt en regio's die niet gerelateerd zijn aan de bewerking behoudt.
Fase 2: Causale Multi-Turn Autoregressieve Training
- Converteert generatie naar een causale formulering met behulp van causale aandachtsmasten.
- Self-Rollout Strategie: Vervangt willekeurig de grondwaarheid van historische frames door de eigen eerdere voorspellingen van het model tijdens de training om exposure bias te mitigeren en de kloof tussen training en inferentie te overbruggen.
- Synthetische Degradatie Injectie: Past niet-Gaussische degradaties toe (bijv. JPEG-compressie, kleurverschuivingen, bewegingsonscherpte) op historische frames om de drift tijdens de inferentie te simuleren.
- Temporaal-Progressief Doel: Schaalt de taakcomplexiteit, ruisintensiteit en verliesgewichten ( $\lambda_i$ ) progressief over de verschillende turns, waardoor het model wordt gedwongen robuuste foutcorrectiecapaciteiten te leren voor latere stappen in de sequentie.
Fase 3: Distribution Matching Distillation
- Comprimeert het bemonsteringsproces in een efficiënte 4-staps generator.
- Maakt gebruik van Causal Consistency Distillation om een consistente flow map te leren van het docent-model, gevolgd door Distribution Matching Distillation (DMD) gecombineerd met een flow-matching verlies om de output van de student uit te lijnen met de hoogwaardige datadistributie.

2. Long-Chain Streaming Inference Pipeline

Geheugenmechanisme: Implementeert een selectieve KV-cache waarbij het eerste frame (bronafbeelding) fungeert als een persistente attention sink (nooit verwijderd) om de globale identiteit van het onderwerp te verankeren. Een sliding window behoudt lokale temporele coherentie voor recente bewerkingen.
Strided RoPE Indexing: Om extrapolatie buiten de trainingssequentielengte mogelijk te maken, wijst het model RoPE-indices toe op basis van de rol van het frame in plaats van de sequentiële volgorde. De sink-frame is vastgesteld op index 0, terwijl lokale frames een vaste stride $s$ gebruiken. Dit behoudt de geleerde "semantische sprong"-afstand uit Fase 1, waardoor identiteitsinstorting wordt voorkomen, zelfs wanneer historische frames worden verwijderd.

Belangrijkste Bijdragen

Eerste High-Resolution AR Diffusie Framework: AnchorEdit is het eerste autoregressieve diffusiemodel dat specifiek is ontworpen voor hoogwaardige, langdurige multi-turn beeldverwerking.
Robuuste Forcing en Geheugenmechanismen: Het artikel introduceert self-rollout forcing en historische geheugenmechanismen (persistente sink + sliding window) in het multi-turn bewerkingsparadigma. Deze strategieën mitigeren effectief exposure bias en cumulatieve fouten, wat strikte identiteitsconsistentie garandeert over meer dan 10 bewerkingsrondes.
Omvattende Benchmark: De auteurs introduceren een nieuwe hoogwaardige multi-turn bewerkingsbenchmark (1024p) met diverse sequentiedieptes, ontworpen om de stabiliteit van het model te testen. Dit adresseert het gebrek aan gestandaardiseerde evaluatietools voor langdurige bewerking.

Resultaten

Uit uitgebreide experimenten blijkt dat AnchorEdit state-of-the-art resultaten behaalt:

Kwantitatieve Prestaties: Op de aangepaste multi-turn benchmark bereikt AnchorEdit een Success Rate (SR) van 52,9%, waarmee het baselines zoals JoyImage-Edit (29,8%) en VINCIE (34,1%) aanzienlijk overtreft. Het behoudt ook hoge Consistentie (6,2) en Semantic Following (5,3) scores.
Long-Horizon Stabiliteit: Het model behoudt een uitzonderlijke getrouwheid aan het onderwerp en instructie-naleving, zelfs over meer dan 10 interactierondes, terwijl bestaande methoden na slechts enkele turns al lijden aan identiteitsdrift en visuele degradatie.
Efficiëntie: De gedestilleerde 4-staps inferentie levert deze resultaten met een aanzienlijk hogere efficiëntie dan full-diffusion baselines.
Ablatie-studies: Bevestigen dat Expanded RoPE, Self-Rollout en Progressive Degradation cruciale componenten zijn voor het voorkomen van identiteitsinstorting en het afhandelen van foutaccumulatie.

Betekenis

Het artikel beweert dat AnchorEdit een betrouwbare en schaalbare basis legt voor langdurige interactieve visuele creatie. Door autoregressieve video-diffusiemodellen te hergebruiken en ze af te stemmen op de causale structuur van bewerking, demonstreert het framework dat het mogelijk is om uitzonderlijke getrouwheid aan het onderwerp en semantische consistentie te behouden over uitgebreide bewerkingspaden. Dit werk adresseert de kritieke flessenhals van foutaccumulatie in iteratieve ontwerpen en beweegt zich verder van single-turn capaciteiten naar praktische, applicatie-niveau oplossingen voor complexe contentcreatie.