FreqEdit: Preserving High-Frequency Features for Robust Multi-Turn Image Editing

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een digitale schilder bent. Je krijgt een foto en je zegt tegen de computer: "Maak de man glimlachend." De computer doet het perfect. Dan zeg je: "Verander zijn jas in rood." Ook dat lukt. Maar als je dit 10 of 15 keer achter elkaar doet, begint de foto te vervormen. De man ziet eruit als een gesmolten kaars, zijn huid wordt glad als plastic, en de randen zijn scherp als een mes.

Dit is het probleem dat het nieuwe onderzoek FreqEdit oplost. Hier is hoe het werkt, vertaald naar simpele taal met een paar creatieve vergelijkingen.

Het Probleem: Het "Vervagende Detail"

Wanneer je een foto steeds opnieuw bewerkt, verliest de computer langzaam de fijne details. Denk aan de poriën van een huid, de structuur van een haarlok of de textuur van een stoffen jas.

De Analogie: Stel je voor dat je een foto kopieert en die kopie weer kopieert, en dat 10 keer achter elkaar. Bij elke kopie wordt het beeld een beetje waziger en minder scherp. Uiteindelijk is het een vaag, wazig spookbeeld.
Bij AI-foto's gebeurt dit sneller. De AI vergeet hoe de oorspronkelijke details eruitzagen en begint te "gokken" op basis van wat ze eerder heeft gezien. Het resultaat? Een vervormde, onnatuurlijke foto.

De Oplossing: FreqEdit (De "Detail-Beschermer")

FreqEdit is een slimme truc die de computer helpt om die fijne details vast te houden, zonder dat je de AI opnieuw hoeft te trainen. Het werkt met drie hoofdstrategieën:

1. De "Snelheids-Referentie" (Het Kompas)

Normaal gesproken kijkt de AI alleen naar de huidige, wazige foto om te beslissen wat ze moet doen. FreqEdit kijkt ook naar de oorspronkelijke, scherpe foto (de bron).

De Analogie: Stel je voor dat je een lange wandeling maakt door een mistig bos. Als je alleen naar je eigen voeten kijkt, loop je misschien de verkeerde kant op. FreqEdit geeft je een kompas dat altijd naar het startpunt wijst. Het zegt: "Kijk, hier in de oorspronkelijke foto zit een scherpe rand. Zorg dat die rand ook in je nieuwe foto blijft."
Technisch gezien pakt de AI de "snelheid" (hoe de pixels bewegen) van de scherpe foto en injecteert die in de bewerking.

2. De "Slimme Verdelers" (Niet te veel, niet te weinig)

Als je overal in de foto dezelfde scherpe details toevoegt, kan dat problemen geven. Stel je wilt de achtergrond veranderen in een strand, maar je houdt de details van de oude tuin vast. Dan krijg je een rare mix.

De Analogie: FreqEdit werkt als een slimme verfkwast. Als je een muur wilt schilderen (de achtergrond), veegt de kwast de oude verf weg. Maar als je een klein detail wilt behouden (zoals een portret op de muur), veegt de kwast daar heel zachtjes over heen en houdt de oude verf intact.
De AI kijkt precies waar je iets wilt veranderen en waar niet. Alleen op de plekken die je niet aanraakt, worden de scherpe details extra versterkt.

3. De "Terugweg" (Het Correctiesysteem)

Soms is de AI zo bang om details te verliezen, dat ze te veel vasthoudt aan het oude beeld. Dan krijg je een "spookbeeld": je ziet zowel de oude als de nieuwe versie door elkaar heen (bijvoorbeeld een hand die er twee keer is).

De Analogie: Stel je rijdt met een auto en je kijkt constant in de achteruitkijkspiegel om te zien of je op de juiste weg zit. Soms kijk je te veel terug en vergeet je waar je naartoe wilt rijden. FreqEdit kijkt af en toe in de spiegel, maar stuurt de auto dan even stevig terug naar de juiste richting (de instructie die je gaf).
Dit zorgt ervoor dat de foto niet "vastloopt" in het oude beeld, maar toch scherp blijft.

Waarom is dit belangrijk?

Vroeger kon je een foto maar 4 of 5 keer bewerken voordat het resultaat rotte. Met FreqEdit kun je nu 10, 15 of zelfs meer keer achter elkaar iets aanpassen zonder dat de foto vervormt.

Voor de gebruiker: Je kunt als een echte fotograaf werken. Eerst het licht aanpassen, dan de kleren, dan de achtergrond, dan een hoedje toevoegen... en de persoon op de foto blijft er steeds hetzelfde uitzien, met al zijn of haar fijne details.
Het resultaat: Een foto die eruitziet alsof hij door een mens is gemaakt, niet als een wazige, vervormde droom.

Kort samengevat: FreqEdit is als een onzichtbare hand die tijdens elke bewerking zachtjes de scherpe randen en fijne details van de originele foto vasthoudt, zodat je creatieve spelletjes kunt spelen zonder dat je het originele meesterwerk verliest.

Each language version is independently generated for its own context, not a direct translation.

1. Het Probleem: Kwaliteitsdegradatie bij Meerdere Ronden

Hoewel op instructies gebaseerde beeldbewerking (image editing) via natuurlijke taal indrukwekkende resultaten behaalt voor enkele bewerkingen, lijden bestaande modellen aan ernstige kwaliteitsdaling bij meerdere opeenvolgende bewerkingen (multi-turn editing).

Observatie: Zelfs geavanceerde modellen zoals FLUX.1 Kontext en Qwen-Image vertonen na ongeveer 5 bewerkingen een catastrofale degradatie.
Symptomen:
1. Vormvervorming: Het hoofdonderwerp (bijv. een persoon) verliest zijn geometrische structuur en identiteit.
2. Overscherpte randen: Randen worden kunstmatig versterkt en zien er onnatuurlijk uit.
3. Textuurinstorting: Fijne details (zoals huidporen of stofweefsels) verdwijnen en worden glad of artifact-achtig.
Oorzaak: De auteurs identificeren de progressieve verlies van hoogfrequente informatie als de hoofdoorzaak. Tijdens het denoising-proces (het verwijderen van ruis) verliest het model in de vroege stappen de fijne details. Bij herhaalde bewerkingen vertrouwt het model steeds meer op zijn geleerde priors (standaardrepresentaties uit de trainingsdata) in plaats van de specifieke details van de invoer, wat leidt tot een "vervaging" van de identiteit.

2. Methodologie: FreqEdit

FreqEdit is een trainingsvrij framework (training-free) dat de kwaliteit behoudt door strategisch hoogfrequente kenmerken te versterken tijdens het bewerkingsproces. Het bestaat uit drie synergetische componenten:

A. Wavelet-gebaseerde Kenmerkinjectie (Wavelet-based Feature Injection)

In plaats van het hele beeld te kopiëren, extraheren de auteurs alleen de hoogfrequente componenten uit de contextafbeelding (de invoer voor de huidige bewerking) en injecteren deze in het bewerkingsproces.

Referentie Veld: Er wordt een referentie-velocityveld ( $v_{ref}$ ) geconstrueerd op basis van de contextafbeelding.
DWT Decompositie: Er wordt een 2-niveau Discrete Wavelet Transform (DWT) toegepast op zowel het referentie-velocityveld als het bewerkings-velocityveld ( $v_{edit}$ ).
Selectie: Alleen de hoogfrequente detailcoëfficiënten ( $D^{(1)}$ en $D^{(2)}$ ) uit het referentie-veld worden gebruikt. De laagfrequente componenten (globale structuur en semantiek) blijven behouden om de instructie van de gebruiker te volgen.
Injectie: De hoogfrequente componenten worden lineair geëxtrapoleerd en toegevoegd aan het bewerkingsveld om het verlies van details te compenseren.

B. Adaptieve Injectiestrategie (Adaptive Injection Strategy)

Een uniforme injectie van hoogfrequente informatie zou kunnen leiden tot ongewenste resultaten in gebieden die juist bewerkt moeten worden (bijv. het verwijderen van een object).

Oplossing: De sterkte van de injectie ( $\alpha$ ) wordt ruimtelijk aangepast op basis van de semantische overeenkomst tussen de bewerkingsinstructie en de oorspronkelijke afbeelding.
Mechanisme: Er wordt een verschilkaart berekend tussen de bewerkings- en referentie-velocityvelden. Gebieden met weinig verschil (semantisch stabiel) krijgen een hoge injectie (om details te behouden), terwijl gebieden met veel verschil (semantische wijziging) een lagere injectie krijgen om de gewenste transformatie toe te staan.

C. Trajectcompensatie (Path Compensation)

Zelfs met adaptieve injectie kan er sprake zijn van "ghosting"-artefacten (waarbij elementen van zowel de originele als de bewerkte versie zichtbaar zijn) of een te sterke beperking van de generatie.

Oplossing: Het systeem voert periodiek een trajectcompensatie uit.
Mechanisme: Na een reeks injectiestappen wordt de cumulatieve afwijking van het gewenste bewerkingspad berekend. Het denoising-traject wordt dan tijdelijk gecorrigeerd om terug te keren naar de beoogde bewerkingsrichting, zonder de hoogfrequente details te verliezen. Dit zorgt ervoor dat de semantische instructie wordt gevolgd terwijl de visuele kwaliteit behouden blijft.

D. Kwaliteitsgeleide Verfijning (Quality Guidance)

Voor modellen die last hebben van ruisaccumulatie (zoals FLUX.1 Kontext) wordt in de laatste stappen van het denoising-proces een mengsel gebruikt met een auxiliary velocity afgeleid van de originele, hoogwaardige invoerafbeelding. Dit onderdrukt ruisartefacten zonder de bewerkte inhoud te verstoren.

3. Belangrijkste Bijdragen

Analyse van Degradatie: Het paper biedt een systematische analyse die aantoont dat het verlies van hoogfrequente informatie de fundamentele oorzaak is van kwaliteitsdaling bij meervoudige bewerkingen.
Trainingsvrij Framework: FreqEdit vereist geen hertraining van de onderliggende generatieve modellen (zoals FLUX of Qwen), maar werkt als een plug-in tijdens de inferentie.
Stabiliteit over 10+ Ronden: Het framework stelt gebruikers in staat om meer dan 10 opeenvolgende bewerkingen uit te voeren met behoud van subjectconsistentie en instructievolging, iets wat bestaande methoden niet kunnen.
Nieuwe Evaluatiemetrics: De auteurs introduceren een uitgebreid evaluatiekader met VLM-based (Vision-Language Model) metrics voor instructievolging, consistentie en visuele kwaliteit.

4. Resultaten

De auteurs hebben FreqEdit getest op twee state-of-the-art basismodellen (FLUX.1 Kontext en Qwen-Image) en vergeleken met zeven andere geavanceerde methoden (waaronder MTC, VINCIE, Seedream 4.0).

Kwalitatieve Resultaten: FreqEdit voorkomt succesvol lichaamsvormvervorming, textuurinstorting en randartefacten die bij andere methoden optreden na enkele ronden. Het behoudt de identiteit van personen en objecten zelfs na complexe bewerkingen (bijv. kledingverandering, achtergrondvervanging, pose-aanpassing).
Kwantitatieve Resultaten:
- FreqEdit behaalt de beste scores op subjectconsistentie en visuele kwaliteit (gemeten via LPIPS, CLIP-I, en menselijke beoordeling).
- Het behoudt een hoge instructievolging (Instruction Following), hoewel er een zeer kleine daling is ten opzichte van de basismodellen (wat een aanvaardbare trade-off is voor de enorme winst in kwaliteit).
- In menselijke voorkeurstudies (User Study) scoort FreqEdit (geïntegreerd met Qwen-Image) hoger dan alle concurrenten, inclusief de gespecialiseerde multi-turn modellen.

5. Betekenis en Impact

FreqEdit lost een kritiek probleem op in het veld van generatieve beeldbewerking: de onmogelijkheid om lange, iteratieve werkstromen te ondersteunen zonder kwaliteitsverlies.

Praktische Toepassing: Het maakt professionele workflows mogelijk waarbij fotografen of ontwerpers een afbeelding stap voor stap verfijnen (bijv. eerst belichting, dan huidtint, dan accessoires) zonder dat het eindresultaat "verrot".
Technische Innovatie: Het paper toont aan dat het bewaken van hoogfrequente details via wavelet-decompositie een krachtige, trainingsvrije strategie is om de "vergetelheid" van generatieve modellen tijdens iteratieve processen te bestrijden.
Toekomst: Het biedt een blauwdruk voor toekomstige onderzoekers om frequentiegebaseerde consistentie te integreren, zowel in inferentie-algoritmen als in toekomstige trainingsdoelen.

Kortom, FreqEdit transformeert multi-turn image editing van een experimentele taak met beperkte levensduur naar een robuust, professioneel gereedschap.