💻 computer science

Orthogonal Negative Guidance in Attention Feature Space for Text-to-Image Generation

Dit artikel stelt Orthogonale Negatieve Geleiding voor, een trainingsvrije methode voor tekst-naar-afbeelding-generatie die ongewenste concepten onderdrukt door de aandachtseigenschappen van negatieve prompts orthogonaal te maken ten opzichte van die van positieve prompts, waardoor superieure conceptverwijdering wordt bereikt terwijl de beeldkwaliteit en prompt-uitlijning behouden blijven.

Oorspronkelijke auteurs: Jungmin Ko, Jungwon Park, Jimyeong Kim, Changin Choi, Wonseok Lee, Wonjong Rhee

Gepubliceerd 2026-05-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jungmin Ko, Jungwon Park, Jimyeong Kim, Changin Choi, Wonseok Lee, Wonjong Rhee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent (de AI) die ongelooflijk bekwaam is in het bereiden van gerechten op basis van een recept (de tekstprompt). Je kunt een "kom ramen" er smakelijk laten uitzien, maar er is een probleem: elke keer als je ramen maakt, voeg je automatisch een gekookt ei toe, zelfs als de klant er niet om heeft gevraagd.

Als je de kok simpelweg zegt: "Geen eieren!" (een negatieve prompt), kan de kok in de war raken en per ongeluk meer eieren toevoegen, of ze kunnen het hele gerecht bederven in hun poging de eieren te vermijden. Dit is de huidige strijd met AI-generatoren voor afbeeldingen: hen vertellen wat ze niet moeten opnemen, is verrassend moeilijk.

Dit artikel introduceert een nieuwe, slimme techniek genaamd Orthogonale Negatieve Geleiding. Hier is hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Onhandige Gummie"

Huidige methoden om ongewenste dingen te verwijderen (zoals "eieren" uit "ramen") zijn als het gebruik van een enorme, onhandige gummie op een tekening.

De "Prompt Negatie"-aanpak: Je zegt gewoon "Geen eieren." De AI negeert je vaak of raakt in de war.
De "Aftrek"-aanpak: Sommige methoden proberen het "ei"-idee af te trekken van het "ramen"-idee. Maar stel je voor dat het "ei" en de "ramen" met dezelfde inkt zijn geschreven. Als je probeert het woord "ei" weg te wissen, wis je per ongeluk ook delen van het woord "ramen" weg, waardoor je een wazige, gebroken afbeelding overhoudt.

2. De Oplossing: De "Slimme Filter" (Orthogonale Negatieve Geleiding)

De auteurs stellen een methode voor die werkt als een slimme filter of een gespecialiseerde zeef. In plaats van blindelings te wissen, kijkt het naar de "ingrediënten" (wiskundige kenmerken) die de AI gebruikt om de afbeelding op te bouwen.

De Opstelling: De AI bouwt de afbeelding op met twee stromen van informatie:
1. De Positieve Stroom: "Maak een kom ramen."
2. De Negatieve Stroom: "Maak geen ei."
De Magische Truc (Orthogonalisatie):
Stel je voor dat de "Ramen"-stroom een vector (een pijl) is die in een specifieke richting wijst. De "Geen Ei"-stroom is een andere pijl.
- Soms wijst de "Geen Ei"-pijl in een richting die overlapt met de "Ramen"-pijl. Als je de "Geen Ei"-pijl gewoon aftrekt, verpest je de "Ramen".
- Deze nieuwe methode berekent de "Geen Ei"-pijl en draait deze zodat deze perfect loodrecht (in een hoek van 90 graden) staat op de "Ramen"-pijl.
- Vervolgens verwijdert het alleen het deel van de "Geen Ei"-pijl dat zijwaarts uitsteekt (het deel dat niet overlapt met de ramen).

De Analogie: Denk aan de "Ramen" als een rode lichtstraal en het "Ei" als een blauwe lichtstraal. Ze schijnen op dezelfde muur.

Oude methoden proberen het blauwe licht uit te schakelen, maar doen dit ten koste van het rood licht, waardoor dit ook dimt.
Deze nieuwe methode vindt het deel van het blauwe licht dat niet op het rode licht schijnt, en blokkeert alleen dat specifieke deel. Het rode licht (de ramen) blijft helder en duidelijk, terwijl het blauwe licht (het ei) volledig wordt geblokkeerd.

3. Wat Dit Bereikt

Omdat deze methode zo nauwkeurig is, kan het dingen doen die andere methoden niet kunnen:

Onderdrukking van Meerdere Concepten: Je kunt de AI vertellen om zowel het "ei" als de "stokjes" tegelijkertijd te verwijderen, en het zal beide afhandelen zonder de kom ramen te bederven.
Instelbare Sterkte: Je kunt een "knop" draaien om te beslissen hoeveel je het ei wilt onderdrukken. Je kunt gaan van "misschien geen ei" naar "zeker geen ei" zonder dat de afbeelding in onzin verandert.
Geen Hertraining: Het beste deel is dat dit geen heronderwijs van de AI vereist. Het is een "plug-and-play"-truc die wordt toegepast terwijl de afbeelding wordt gemaakt.

4. De Resultaten

De auteurs hebben dit getest op een benchmark genaamd DCS-Bench (Diverse Concept Suppression Benchmark), wat vergelijkbaar is met een test met 200 verschillende scenario's (bijvoorbeeld "een arts" zonder "stethoscoop", of "een woonkamer" zonder "bank").

De Score: Bij menselijke tests gaven mensen de voorkeur aan deze nieuwe methode boven de volgende beste optie met bijna 19%.
De Kwaliteit: De afbeeldingen werden niet wazig of vreemd. De "ramen" zag er nog steeds uit als ramen, gewoon zonder het ongewenste "ei".

Samenvatting

Kortom, dit artikel lost het probleem op van "een AI vertellen wat je niet moet tekenen" door een wiskundige truc te gebruiken om de "slechte" ideeën van de "goede" ideeën te scheiden voordat ze met elkaar vermengen. Het is als een bouncer in een club die precies weet hoe hij de ongewenste gast (het ei) moet tegenhouden zonder per ongeluk de VIP (de ramen) eruit te schoppen.

Technische Samenvatting: Orthogonale Negatieve Leiding in de Aandachtkenruimte voor Tekst-naar-Afbeelding Generatie

Probleemstelling

Hoewel Tekst-naar-Afbeelding (T2I)-modellen aanzienlijke vooruitgang hebben geboekt in het genereren van hoogwaardige afbeeldingen, blijft het expliciet afdwingen van de afwezigheid van specifieke objecten of attributen een fundamentele uitdaging. Bestaande strategieën lijden aan opmerkelijke beperkingen:

Promptnegatie: Het simpelweg invoegen van woorden zoals "geen" of "zonder" faalt vaak en zorgt er soms zelfs voor dat het model het genegatieve concept frequenter genereert dan zonder negatie.
Genereer-en-Bewerk-pijplijnen: Deze methoden genereren eerst een afbeelding en gebruiken vervolgens bewerkingsmodellen om ongewenste concepten te verwijderen. Omdat bewerkingsmodellen echter zijn getraind om ruimtelijke en structurele integriteit te behouden, worstelen ze met het verwijderen van concepten die een aanzienlijke structurele herorganisatie van het tafereel vereisen.
Standaard Negatieve Leiding: Technieken zoals Classifier-Free Guidance (CFG) en variaties daarvan (bijv. NAG, NASA) sturen de generatie weg van negatieve prompts via lineaire aftrekking. Ze trekken echter vaak het volledige negatieve signaal af, wat de uitlijning met de positieve prompt en de algehele beeldkwaliteit kan verslechteren voordat het ongewenste concept voldoende is onderdrukt.

Methodologie

De auteurs stellen Orthogonale Negatieve Leiding voor, een trainingsvrije methode die is ontworpen voor gecorrigeerde flow T2I-modellen gebaseerd op Multimodale Diffusie-Transformer (MM-DiT) architecturen (bijv. FLUX-dev, FLUX-schnell). De methode werkt binnen de aandachtkenruimte om ongewenste concepten te onderdrukken terwijl gewenste semantiek behouden blijft.

Kernmechanisme

De methode grijpt in in de afbeelding-naar-tekst-aandachtuitvoer ( $Z_{I2T}$ ) binnen MM-DiT-blokken, die kruismodale interacties bemiddelen. Het proces omvat twee parallelle takken:

Positieve Tak: Berekent aandachtuitvoer op basis van de oorspronkelijke generatieprompt ( $P^+$ ).
Negatieve Tak: Berekent aandachtuitvoer op basis van een aanvullende negatieve prompt ( $P^-$ ) die het te onderdrukken concept specificeert. Cruciaal is dat deze tak de afbeeldingszijde-kenmerken ( $Q_I, K_I, V_I$ ) uit de positieve tak hergebruikt om ruimtelijke uitlijning te garanderen, terwijl het zijn eigen tekstzijde-kenmerken gebruikt.

Orthogonale Aftrekking

In plaats van de negatieve aandachtuitvoer ( $Z_{I2T}^-$ ) direct af te trekken van de positieve uitvoer ( $Z_{I2T}^+$ ), isoleert en verwijdert de methode alleen het component van het negatieve signaal dat orthogonaal is ten opzichte van het positieve signaal. De gewijzigde aandachtuitvoer $\widehat{Z}_{I2T}^+$ wordt berekend als:

$\widehat{Z}_{I2T}^+ = Z_{I2T}^+ - \alpha \cdot \left[ Z_{I2T}^- - \mathrm{proj}_{Z_{I2T}^+}(Z_{I2T}^-) \right]$

Waarbij:

$\alpha$ de leidingschaal is.
$\mathrm{proj}_{Z_{I2T}^+}(\cdot)$ de projectie van de negatieve vector op de positieve vector langs de verborgen dimensie aanduidt.

Door alleen het orthogonale component af te trekken, onderdrukt de methode informatie die specifiek is voor het ongewenste concept zonder te interfereren met de semantische richtingen die zijn uitgelijnd met de positieve prompt. Deze procedure wordt toegepast op alle MM-DiT-blokken vanaf een specifiek tijdstip $\tau$ .

Belangrijkste Bijdragen

Orthogonale Negatieve Leiding: Een nieuwe, trainingsvrije interventie in de aandachtkenruimte die ongewenste concepten effectief onderdrukt door alleen het orthogonale component van negatieve leidingsignalen te verwijderen, waardoor promptuitlijning en beeldkwaliteit behouden blijven.
Diverse Conceptonderdrukking Benchmark (DCS-Bench): De auteurs introduceren een nieuwe benchmark bestaande uit 200 onderdrukkingsscenario's over zes semantische categorieën (bijv. Plaats/Tafereel, Gebeurtenis/Actie, Gelijktijdig voorkomende Objecten). In tegenstelling tot eerdere benchmarks die zich richtten op perceptuele kwaliteit (bijv. "onscherp"), evalueert DCS-Bench het vermogen om specifieke, van nature voorkomende concepten te onderdrukken die modellen de neiging hebben te hallucineren.
Uitgebreide Evaluatie: Uitgebreide experimenten op FLUX-dev, FLUX-schnell en Stable Diffusion 3.5 Large tonen aan dat de methode betere prestaties levert dan bestaande negatieve leidingsbaselines (CFG, NASA, NAG, VSF) en genereer-en-bewerk-pijplijnen (Kontext, Qwen-Image-Edit, OmniGen2).

Experimentele Resultaten

Kwantitatieve Prestaties

Met behulp van VLM-gebaseerde metrieken (Onderdrukking van Negatieve Concepten, Promptuitlijning, Beeldkwaliteit) bereikt de voorgestelde methode superieure afwegingen:

Onderdrukking: Op FLUX-dev verbetert de methode de Onderdrukking van Negatieve Concepten met minimaal 15% ten opzichte van alle eerdere methoden voor negatieve leiding.
Uitlijning & Kwaliteit: In tegenstelling tot lineaire aftrekmethode die beeldkwaliteit of promptuitlijning verslechtert, behoudt Orthogonale Negatieve Leiding hoge scores op beide metrieken, vergelijkbaar met het oorspronkelijke model.
Menselijke Evaluatie: In een studie met 111 deelnemers behaalde de methode een voorkeursscore van 70,81%, wat de op één na beste baseline (NAG met 46,22%) met 18,78% overtreft.

Kwalitatieve Observaties

Onderdrukking van Meerdere Concepten: De methode kan meerdere concepten gelijktijdig onderdrukken door ze in een enkele negatieve prompt te vermelden.
Aanpasbare Onderdrukking: Door de leidingschaal $\alpha$ te variëren, kunnen gebruikers de sterkte van de onderdrukking continu regelen, waarbij concepten geleidelijk worden verwijderd zonder het tafereel te vernietigen.
Mislukte Gevallen: De methode heeft af en toe moeite met de categorieën Plaats/Tafereel en Gebeurtenis/Actie, waarbij het concept diep geïntegreerd is in de structuur van het tafereel (bijv. het niet volledig kunnen verwijderen van "softbox-verlichting" uit een "professionele fotostudio").

Betekenis en Claims

Het artikel beweert dat Orthogonale Negatieve Leiding een belangrijke stap voorwaarts is in de controleerbare T2I-generatie door de afweging tussen conceptonderdrukking en semantische trouw aan te pakken. De auteurs benadrukken dat hun methode:

Geen hertraining of extra parameters vereist.
Naadloos integreert in moderne gecorrigeerde flow-transformerarchitecturen.
Een explicieter mechanisme biedt voor het verwijderen van concepten in vergelijking met promptnegatie of post-hoc bewerking.
Een nieuwe standaard voor evaluatie vestigt via DCS-Bench, waarbij wordt onderstreept dat huidige methoden ontoereikend zijn voor diverse, real-world onderdrukkingsscenario's.

De auteurs concluderen dat, hoewel de methode geen wondermiddel is voor alle structurele bewerkingsopdrachten (waarbij genereer-en-bewerk-pijplijnen mogelijk nog steeds de voorkeur hebben voor sequentiële bewerking), het het vermogen aanzienlijk verbetert om afbeeldingen te genereren die strikt voldoen aan gebruikersbeperkingen met betrekking tot de afwezigheid van specifieke concepten.