VSF: Simple, Efficient, and Effective Negative Guidance in Few-Step Image Generation Models By Value Sign Flip

Deze paper introduceert Value Sign Flip (VSF), een efficiënte methode die door het omkeren van de teken van attentiewaarden negatieve prompts effectief onderdrukt in weinig-staps beeldgeneratiemodellen, wat resulteert in een betere naleving van prompts en een hogere beeldkwaliteit dan bestaande technieken.

De kern

De VSF-methode: Hoe je een AI-kunstenaar vertelt wat je niet wilt, zonder de hele tekening te verpesten

Stel je voor dat je een zeer getalenteerde, maar soms wat koppige kunstenaar hebt. Je vraagt hem: "Teken een fiets." Hij doet dat graag. Maar als je zegt: "Teken een fiets, maar geen wielen," begint hij te twijfelen. In plaats van een fiets zonder wielen te tekenen, tekent hij vaak een fiets met wielen, of soms zelfs een auto, omdat hij denkt: "Oh, wielen horen bij een fiets, dus die moet ik erbij doen."

Dit is precies het probleem dat kunstmatige intelligentie (AI) heeft bij het maken van afbeeldingen. Als je zegt wat je niet wilt (een "negatieve prompt"), luistert de AI vaak niet goed, of maakt het de afbeelding juist vreemd en overbelicht.

De auteurs van dit paper hebben een nieuwe, slimme oplossing bedacht die VSF (Value Sign Flip) heet. Laten we uitleggen hoe dit werkt met een paar simpele analogieën.

1. Het oude probleem: De "Dubbele Werkkracht"

Vroeger probeerden AI's dit op te lossen door twee keer te werken:

1. Eerst tekenen ze wat je wilt (een fiets).
2. Dan tekenen ze wat je niet wilt (wielen), en trekken ze die tekening eruit.

Dit is als een kok die eerst een perfecte taart bakt, en dan een tweede taart bakt met alleen de ingrediënten die je niet wilt, en die twee taarten tegen elkaar aan duwt om te zien wat er overblijft. Het werkt soms, maar het kost dubbel zoveel tijd en bij snelle AI's (die in 1 of 2 stappen werken) gaat het vaak mis: de taart wordt een rommelige soep van taart en anti-taart.

2. De nieuwe oplossing: VSF (De "Geluidsdempende Koptelefoon")

De VSF-methode is veel slimmer en sneller. Het werkt als een geluidsdempende koptelefoon.

• Hoe koptelefoons werken: Als er een geluid (ruis) is, maakt de koptelefoon een geluid dat precies het tegenovergestelde is (omgekeerde golf). Als je die twee geluiden samenvoegt, doven ze elkaar uit. Stilte is het resultaat.
• Hoe VSF werkt: De AI kijkt naar de woorden die je niet wilt (bijvoorbeeld "wielen"). In plaats van een tweede tekening te maken, pakt de AI de "kracht" van die woorden in de computer en draait het teken om (van plus naar min).
  • Stel je voor dat de woorden "wielen" een rood lichtje zijn dat brandt op de fiets.
  • VSF draait dat lichtje om, zodat het een blauw lichtje wordt dat de roodheid "opheft".
  • Waar de AI normaal zou denken "Ah, wielen!", denkt hij nu "Ah, wielen... maar die zijn hier juist uitgesloten!"

Dit gebeurt dynamisch. Dat betekent dat de AI op elk moment tijdens het tekenen kijkt: "Oh, op dit stukje van de afbeelding lijkt het wel op een wiel. Dan moet ik die 'anti-wiel'-kracht daar extra hard toepassen." Op andere plekken, waar er geen wiel te zien is, doet hij niets.

3. Waarom is dit zo cool?

• Snelheid: Omdat de AI niet twee keer hoeft te werken, maar gewoon één keer "omdraait", is het super snel. Je kunt binnen 3 seconden een afbeelding krijgen.
• Precisie: Het werkt zelfs bij de nieuwste, snelste AI's die normaal gesproken niet goed luisteren naar wat je niet wilt.
• Creativiteit: Je kunt er zelfs kunst mee maken die "moeilijk" is. Bijvoorbeeld: "Teken een auto, maar maak het zo abstract dat het bijna niet meer lijkt op een auto." De AI kan dit nu doen door de "auto-kracht" gedeeltelijk uit te wissen, zonder de hele afbeelding te verpesten.

4. Een concreet voorbeeld

Stel je vraagt: "Teken een huis zonder dak."

• Oude methode: De AI tekent een huis, probeert het dak weg te halen, maar het dak blijft soms als een zwevende schaduw hangen, of het huis wordt een vreemde vorm.
• Met VSF: De AI ziet het woord "dak", draait de kracht om, en zorgt dat op de plek waar het dak zou moeten zijn, gewoon lucht of wolken verschijnen. Het resultaat is een huis dat eruitziet alsof het dak er nooit was.

Conclusie

De auteurs van dit paper hebben een manier gevonden om AI's beter te laten luisteren naar wat je niet wilt, zonder dat het lang duurt of de kwaliteit van de afbeelding verlaagt. Het is alsof je de AI een slimme bril geeft die precies ziet wat je wilt weghalen, en dat dan netjes "wegveegt" terwijl de rest van de afbeelding perfect blijft.

Dit maakt het makkelijker om AI te gebruiken voor dingen die echt nodig zijn, zoals het verwijderen van ongewenste objecten uit foto's of het creëren van unieke, abstracte kunst zonder dat de computer in de war raakt.

Technische samenvatting

Probleemstelling

Diffusiemodellen en flow-matching modellen voor beeld- en videogeneratie hebben moeite met het effectief toepassen van negatieve prompts (instructies om bepaalde elementen niet te genereren). Dit probleem is verergerd door de opkomst van few-step modellen (modellen die beelden genereren in slechts 1-8 stappen, zoals Flux Schnell en Stable Diffusion 3.5 Turbo) om de inferentiesnelheid te verhogen.

De bestaande methoden hebben de volgende tekortkomingen:

1. Classifier-Free Guidance (CFG): CFG vereist twee forward passes (een voor de positieve prompt en een voor de negatieve prompt), wat de rekentijd verdubbelt. Bovendien werkt CFG niet goed met few-step modellen; deze zijn vaak gedistilleerd voor CFG-gebruik en leiden bij het forceren van CFG tot oververzadigde beelden of een mengeling van positieve en negatieve concepten in plaats van uitsluiting.
2. Bestaande Alternatieven (NASA & NAG): Methoden zoals Negative Steer Away Attention (NASA) en Normalized Attention Guidance (NAG) proberen negatieve guidance in de attentieruimte toe te passen. Echter, deze gebruiken vaak vaste schalen (fixed scales) en zijn niet dynamisch genoeg om aan te passen aan verschillende tijdstappen, lagen of beeldregio's. NASA is beperkt tot cross-attention modellen, terwijl NAG zich meer richt op kwaliteitscontrole dan op het volledig verwijderen van ongewenste elementen.
3. VLM-beperkingen: Vision Language Models (VLMs) begrijpen ontkenningen (negaties) vaak slecht, waardoor prompts zoals "een wetenschapper zonder bril" vaak leiden tot een wetenschapper met een bril.

Methodologie: Value Sign Flip (VSF)

De auteurs introduceren VSF (Value Sign Flip), een methode die negatieve prompts dynamisch onderdrukt door het teken van de waarden (values) in de attentieberekening om te draaien, in plaats van de attentie-uitvoer zelf.

Kernprincipes:

• Sign Flip in Values: In plaats van de positieve en negatieve attentiekaarten apart te berekenen en af te trekken (zoals bij NASA), worden de positieve en negatieve prompt-tokens samengevoegd. De waarden ($V$) van de negatieve prompt worden vermenigvuldigd met een negatieve factor ($-\alpha$).
• Dynamische Onderdrukking: Wanneer het model aandacht besteedt aan een negatief concept (bijv. "bril"), wordt de bijbehorende waarde omgekeerd. Dit werkt vergelijkbaar met ruisonderdrukking in noise-canceling koptelefoons: de "omgekeerde golf" cancelt het ongewenste concept uit in de gegenereerde latentie.
• Aanpassing voor MMDiT-architecturen: Voor modellen zoals Stable Diffusion 3.5 (die een MMDiT-architectuur gebruiken waar alle tokens in één sequentie zitten), is een extra stap nodig om interferentie te voorkomen:
  1. Duplicatie: De negatieve prompt wordt gedupliceerd. Eén kopie ($N^{(0)}$) blijft ongewijzigd en dient als input voor de MLP-laag en volgende attentielagen. De andere kopie ($N^{(1)}$) heeft omgekeerde waarden.
  2. Attentie Maskering: De omgekeerde kopie ($N^{(1)}$) mag alleen "gezien" worden door de beeldtokens ($I$). Positieve prompts en de originele negatieve kopie mogen niet naar $N^{(1)}$ kijken, en $N^{(1)}$ mag niet als query fungeren. Dit voorkomt dat het omgekeerde signaal de tekst-embeddings zelf verstoort.
  3. Attentie Bias: Een kleine bias ($-\beta$) wordt toegevoegd aan de verbinding van beeld naar de omgekeerde negatieve prompt om de kwaliteit te behouden.

Formule:
De attentie-uitgang $Z_{VSF}$ wordt berekend als:
$$Z_{VSF} = \sigma\left(\frac{Q(K_+ \oplus K_-)^T}{\sqrt{d}}\right)(V_+ \oplus -\alpha V_-)$$
Waarbij $\oplus$ concatenatie betekent en $\sigma$ de softmax-functie is.

Belangrijkste Bijdragen

1. Nieuwe Methode (VSF): Een efficiënte, token-level adaptieve methode voor negatieve guidance die geen extra forward passes vereist en werkt met few-step modellen.
2. NegGenBench Dataset: De auteurs hebben een nieuwe dataset samengesteld met uitdagende positief-negatieve promptparen (bijv. "fiets" vs "wielen", waarbij de wielen essentieel zijn maar verwijderd moeten worden).
3. Evaluatie en Fine-tuning: Ze hebben een Vision Language Model (VLM) gefinetuned (NegAwareQwen) om negatieve prompts beter te evalueren, aangezien bestaande modellen hier vaak in falen.
4. Open Source: Code, ComfyUI-nodes en de dataset zijn beschikbaar gesteld.

Resultaten

De methode is getest op de NegGenBench-dataset en vergeleken met NASA, NAG, en traditionele CFG.

• Negatieve Score: VSF presteert significant beter in het verwijderen van ongewenste elementen.
  • VSF Strong bereikte een negatieve score van 0.545 (sterke instelling) en 0.420 (kwaliteitsinstelling).
  • Ter vergelijking: NASA scoorde 0.380, NAG 0.320, en zelfs CFG in niet-few-step modellen scoorde slechts 0.300.
• Kwaliteit en Positieve Volging: VSF behoudt een hoge kwaliteit en volgt de positieve prompt goed, terwijl NASA en NAG snel in kwaliteit verliezen naarmate de negatieve guidance toeneemt.
• Snelheid: VSF voegt slechts een minimale rekentijd toe (ongeveer 3 seconden per beeld op een A100 GPU), wat vergelijkbaar is met de baseline en aanzienlijk sneller is dan de generate-then-edit pipelines (55s) of CFG (die twee passes vereist).
• Creativiteit: De methode bleek ook effectief voor het genereren van abstracte kunst en het vermijden van specifieke stijlen (bijv. "Vincent van Gogh stijl" verwijderen), wat vaak moeilijk is voor standaardmodellen.

Significantie

VSF lost een fundamenteel probleem op in de snelle generatie van afbeeldingen: het effectief uitsluiten van ongewenste concepten zonder in te leveren op snelheid of beeldkwaliteit.

• Efficiëntie: Het elimineert de noodzaak van dubbele inferentie (CFG), wat cruciaal is voor real-time toepassingen en video-generatie.
• Robuustheid: Het werkt effectief in de nieuwste, gedistilleerde few-step modellen die anders moeilijk te besturen zijn qua negatieve prompts.
• Toepassingsgebied: Naast het verwijderen van objecten, biedt de methode mogelijkheden voor "anti-aesthetics" en het creëren van abstracte kunst door de standaard "menselijke voorkeur" (die vaak realisme en schoonheid belooft) te doorbreken.

Kortom, VSF biedt een eenvoudige, maar krachtige oplossing voor een complex probleem in de moderne generatieve AI, waardoor negatieve prompts eindelijk betrouwbaar kunnen worden gebruikt in snelle generatiestromen.