Guidance Matters: Rethinking the Evaluation Pitfall for Text-to-Image Generation

Deze paper onthult een kritieke evaluatiefout waarbij het simpelweg verhogen van de classifier-free guidance-schaal de scores kunstmatig opblaast ten koste van de beeldkwaliteit, en introduceert daarom een nieuw 'guidance-aware' evaluatiekader en de TDG-methode om de echte prestaties van recente diffusion-guidance-methoden eerlijk te beoordelen.

De kern

Titel: Waarom "Harder Drukken" niet altijd "Beter" betekent: Een Waarschuwing voor AI-Kunst

Stel je voor dat je een chef-kok bent die een perfecte maaltijd moet bereiden op basis van een recept (de tekstprompt). In de wereld van AI-kunst (zoals Stable Diffusion) is er een bekende truc genaamd CFG (Classifier-Free Guidance). Dit is eigenlijk een "krachtknop" die de AI vertelt: "Hou je strikt aan het recept!"

Als je deze knop zachtjes draait, maakt de AI een creatieve, maar misschien wat wazige versie van je recept. Draai je de knop harder, dan wordt de maaltijd exact zoals beschreven, maar vaak ook te zout, te gekleurd of zelfs on eetbaar.

Deze paper, geschreven door onderzoekers van de HKUST (Guangzhou), ontdekt een groot valstrik in hoe we deze AI-kunst beoordelen. Hier is het verhaal, vertaald naar begrijpelijke taal:

1. De Grote Valstrik: De "Kleurige Foto"-Illusie

De onderzoekers ontdekten iets verrassends: de computers die nu worden gebruikt om te beoordelen of een AI-afbeelding "mooi" is (zoals HPS v2 of ImageReward), houden doodsernstig van felle, verzadigde kleuren.

• De Analogie: Stel je voor dat je een jury hebt om de beste foto's te kiezen. Deze jury is echter zo gek op felgekleurde neon-afbeeldingen dat ze elke foto met felle kleuren een 10 geven, zelfs als de foto eigenlijk heel slecht is (bijvoorbeeld een kip die eruitziet als een neon-lampje).
• Het Probleem: Als je de "krachtknop" (CFG) op een heel hoog standje zet, worden de afbeeldingen automatisch feller en verzadigder. De beoordelings-computers denken dan: "Wauw, wat een prachtige, felle foto!" en geven een hoge score.
• De Realiteit: De afbeelding is vaak vervormd, heeft rare artefacten en ziet er onnatuurlijk uit. Maar omdat de "jury" (de AI-metriek) zo dol is op die felle kleuren, denken we dat de methode superieur is, terwijl het eigenlijk gewoon een trucje is.

2. De Oplossing: De "Echte Kracht"-Test (GA-Eval)

De onderzoekers zeggen: "We kunnen niet gewoon kijken naar de score; we moeten kijken naar wat er écht gebeurt."

Ze hebben een nieuwe test ontwikkeld, genaamd GA-Eval.

• De Analogie: Stel je voor dat een atleet een wedstrijd loopt. De oude methode keek alleen naar de tijd en zei: "Hij is snel!" Maar ze zagen niet dat de atleet op een rolschaatsen reed in plaats van te rennen.
• De Nieuwe Test: GA-Eval kijkt precies naar hoeveel "kracht" (de CFG-schaal) er eigenlijk nodig is om een bepaald resultaat te bereiken. Ze vergelijken een nieuwe, geavanceerde methode niet met een standaardinstelling, maar met een standaardinstelling die evenveel kracht gebruikt.
• Het Resultaat: Als je deze eerlijke test toepast, blijken de meeste "nieuwe, superieure" methoden eigenlijk niets te doen. Ze winnen alleen omdat ze de "krachtknop" harder hebben gedraaid dan de standaard. Zodra je ze op dezelfde kracht zet, zijn ze vaak slechter dan de simpele standaardmethode.

3. De "Transcendent" Truc (TDG)

Om te bewijzen dat dit systeem echt kapot is, bedachten de onderzoekers een nieuwe, nep-methode genaamd TDG.

• De Analogie: Ze bedachten een truc waarbij ze halverwege het recept een paar woorden weglaten en dan weer toevoegen. Dit klinkt als onzin, maar het zorgt ervoor dat de afbeelding feller wordt.
• Het Effect: In de oude, defecte tests scoorde deze TDG-methode extreem hoog (hoge punten!). Maar in de nieuwe, eerlijke GA-Eval test bleek dat het helemaal geen betere afbeeldingen maakte. Het was puur een hack om de "kleurige foto-jury" te misleiden.

4. De Conclusie: We Moeten Hergaan

De boodschap van dit papier is een wake-up call voor de hele AI-gemeenschap:

• We zijn te lang geblinddoekt door cijfers die zeggen dat "nieuwe methoden" beter zijn.
• In werkelijkheid zijn veel van die methoden gewoon een manier om de "krachtknop" harder te draaien, wat de afbeeldingen feller (en dus "beter" voor de defecte jury) maakt, maar niet mooier.
• We hebben nieuwe manieren nodig om AI-kunst te beoordelen die niet zo gek zijn op felle kleuren, zodat we echt kunnen zien welke methoden creatief zijn en welke alleen maar hard schreeuwen.

Kortom: Soms is het niet de nieuwe, ingewikkelde machine die de beste taart bakt, maar gewoon de bakker die de oven op de hoogste stand heeft gezet. En onze "proevers" (de meetinstrumenten) vinden die verbrande taart per ongeluk het lekkerst. Het is tijd om onze proevers te herscholen!

Technische samenvatting

Titel: Guidance Matters: Heroverweging van de Evaluatiefout voor Tekst-naar-Afbeelding Generatie

Conferentie: ICLR 2026

---

1. Het Probleem: Een Kritieke Evaluatiefout

De auteurs identificeren een fundamenteel en tot nu toe over het hoofd gezien probleem in de evaluatie van diffusion-modellen voor tekst-naar-afbeelding generatie (T2I).

• De Bias van Menselijke Voorkeursmodellen: Moderne evaluatiemetrics, zoals HPS v2, ImageReward en PickScore, zijn getraind op menselijke voorkeursdata. De auteurs ontdekken dat deze modellen een sterke bias vertonen naar afbeeldingen met grote geleidingschalen (large guidance scales) in Classifier-Free Guidance (CFG).
• De Oorzaak: Mensen hebben een natuurlijke voorkeur voor levendige, verzadigde kleuren. Een hoge CFG-schaal versterkt de semantische uitlijning met de prompt, maar leidt vaak tot oververzadiging en artefacten (verlies van beeldkwaliteit). De evaluatiemetrics belonen echter deze oververzadiging en hoge uitlijning, waardoor ze afbeeldingen met een hoge CFG-schaal onterecht een hogere score geven, zelfs als de visuele kwaliteit daalt.
• Het Gevolg: Veel recente geavanceerde geleidingsmethoden (guidance methods) lijken prestatieverbeteringen te boeken, maar in werkelijkheid exploiteren ze deze bias. Ze bereiken hun hoge scores simpelweg door de effectieve geleidingschaal te vergroten, in plaats van door echte innovaties in het generatieproces. Dit leidt tot een "evaluatievalkuil" waar de beste methoden niet worden onderscheiden van een simpele verhoging van de CFG-schaal.

2. Methodologie

Om dit probleem aan te pakken, stellen de auteurs een nieuwe evaluatieframework en een nieuwe methode voor.

A. GA-Eval Framework (Guidance-Aware Evaluation)

Dit is een nieuw evaluatiekader dat eerlijke vergelijkingen mogelijk maakt door de effecten van CFG te ontkoppelen van de specifieke methoden.

• Effectieve Geleidingschaal ($\omega_e$): De auteurs ontleden de noise-update in elke tijdstap van een gegeven methode. Ze decomponeren de updatevector in twee componenten ten opzichte van de standaard CFG-richting ($\Delta\epsilon$):
  1. Een parallelle component ($\epsilon_{\parallel}$): Dit vertegenwoordigt het effect dat identiek is aan het vergroten van de CFG-schaal.
  2. Een orthogonale component ($\epsilon_{\perp}$): Dit vertegenwoordigt de unieke verbetering die de methode biedt, onafhankelijk van CFG.
• Berekening: De effectieve schaal $\omega_e$ wordt berekend als de verhouding van de amplitude van de parallelle component tot de amplitude van de leidingsrichting.
• Winning Rate Degradatie: Om de echte prestatie te meten, vergelijken ze de winnende kans (winning rate) van een methode tegenover standaard CFG, en vervolgens tegenover "e-CFG" (standaard CFG met de berekende effectieve schaal $\omega_e$). Als de prestatie van een methode sterk daalt wanneer deze wordt vergeleken met e-CFG, betekent dit dat de oorspronkelijke winst voornamelijk kwam door een hoge geleidingschaal en niet door de methode zelf.

B. Transcendent Diffusion Guidance (TDG)

Om de valkuil te demonstreren, ontwerpen de auteurs een nieuwe methode, TDG, die specifiek is ontworpen om de evaluatiefout te benutten zonder de werkelijke beeldkwaliteit te verbeteren.

• Principe: TDG creëert een "verzwakte voorwaarde" ($c^*$) door willekeurig tokens in de tekstprompt te vervangen door lege tokens ($\emptyset$).
• Implementatie: Het model voert een interpolatie uit tussen de onvoorwaardelijke noise, de normale voorwaardelijke noise en de noise van de verzwakte prompt. Dit vergroot de zoekruimte van het sampling-proces van een lijn (CFG) naar een hypervlak.
• Doel: TDG bereikt hoge scores in traditionele frameworks (vanwege de bias naar hoge schalen), maar faalt in het GA-Eval framework, waardoor het een perfect voorbeeld is van een methode die de evaluatie "hakt" maar geen echte verbetering biedt.

3. Belangrijkste Bijdragen

1. Ontmaskering van de Bias: Het paper bewijst kwantitatief en kwalitatief dat populaire menselijke voorkeursmodellen (HPS v2, ImageReward) sterk bevooroordeeld zijn ten gunste van grote CFG-schalen, wat leidt tot misleidende evaluaties.
2. GA-Eval Framework: Introductie van een robuust evaluatiekader dat de effectieve geleidingschaal kalibreert om methoden eerlijk te vergelijken met standaard CFG, door orthogonale en parallelle effecten te scheiden.
3. TDG Methode: Een demonstratiemethode die laat zien hoe makkelijk het is om hoge scores te behalen in bestaande benchmarks door de bias te exploiteren, terwijl de methode in de praktijk geen meerwaarde biedt.
4. Uitgebreide Empirische Analyse: Evaluatie van acht recente geleidingsmethoden (zoals Z-Sampling, CFG++, PAG, SAG, FreeU, APG) in zowel het traditionele als het nieuwe GA-Eval framework.

4. Resultaten

De experimenten, uitgevoerd op modellen zoals Stable Diffusion-XL, SD-2.1, SD-3.5 en DiT-XL/2, leveren schokkende resultaten op:

• Over het algemeen falen methoden: De meeste geanalyseerde methoden (CFG++, SAG, PAG, FreeU, SEG, TDG) vertonen een enorme daling in hun "winning rate" wanneer ze worden vergeleken met e-CFG in plaats van standaard CFG. Dit betekent dat hun vermeende superioriteit volledig te danken was aan het gebruik van een hogere effectieve geleidingschaal.
• Uitzonderingen: Enkele methoden, zoals Z-Sampling en CFG++, behouden een redelijke winnende kans (boven de 50-60%) zelfs na correctie voor de effectieve schaal. Dit suggereert dat deze methoden daadwerkelijke orthogonale verbeteringen bieden die niet alleen voortkomen uit een hogere schaal.
• APG (Adaptive Project Guidance): Deze methode presteert slecht in de meeste metrics omdat deze specifiek oververzadiging onderdrukt. De metrics geven hierdoor lagere scores, wat aantoont dat de metrics niet de echte kwaliteit (zoals vermijden van artefacten) meten, maar juist de verzadiging belonen.
• GenEval: Ook op GenEval (een dataset voor semantische uitlijning) presteren veel methoden slechter dan e-CFG, wat bevestigt dat de verbeteringen in semantische uitlijning vaak gewoon het gevolg zijn van een hogere CFG-schaal.

5. Betekenis en Conclusie

Dit paper fungeert als een "wake-up call" voor de AIGC-gemeenschap (Artificial Intelligence Generated Content):

• Heroverweging van Evaluatie: De huidige state-of-the-art benchmarks voor T2I-generatie zijn onbetrouwbaar omdat ze verward worden met de effecten van CFG. De gemeenschap moet stoppen met het blindelings vertrouwen op metrics zoals HPS v2 en ImageReward zonder correctie voor de geleidingschaal.
• Toekomstige Richting: Onderzoekers moeten zich richten op methoden die echte orthogonale verbeteringen bieden (zoals Z-Sampling en CFG++), in plaats van methoden die de bias van de evaluatiemetrics uitbuiten.
• Noodzaak voor Robuste Metrics: Er is een dringende behoefte aan nieuwe menselijke voorkeursmodellen die robuust zijn tegenover oververzadiging en grote geleidingschalen, om de echte kwaliteit en creativiteit van generatieve modellen te kunnen meten.

Kortom, de paper concludeert dat "Guidance Matters" niet alleen voor de generatiekwaliteit, maar vooral voor de eerlijkheid van de evaluatie. Zonder deze correctie worden valse innovaties beloond en echte vooruitgang genegeerd.