Technische Samenvatting: DebFilter

Probleemstelling

Tekst-naar-beeld diffusiemodellen lijden, hoewel ze theoretisch equivalent zijn aan scores-gebaseerde generatieve modellen, onder inherent sociale en semantische vooroordelen. Deze vooroordelen—specifiek met betrekking tot geslacht, leeftijd en beroep—zijn gecodeerd in de tekst-embeddings die worden geëxtraheerd uit vooraf getrainde visueel-taalkundige modellen (bijv. CLIP). Tijdens het ontdoofingsproces worden deze vooroordele embeddings doorgegeven en versterkt via de geleidingsmechanismen van het model, met name de cross-attention lagen. Bijgevolg leveren zelfs neutrale prompts (bijv. "een persoon die werkt als arts") vaak scheve of stereotiepe resultaten op. Bestaande mitigeringsstrategieën vertrouwen doorgaans op computatievrij intensief hertrainen of fine-tunen van het score-netwerk of de tekst-encoder, waarbij gebalanceerde datasets en uitgebreide middelen nodig zijn, wat hun praktische toepasbaarheid voor real-world toepassingen beperkt.

Methodologie: DebFilter

De auteurs stellen DebFilter voor, een lichtgewicht, trainingsvrij framework dat is ontworpen om vooroordelen te mitigeren tijdens de inferentiefase van tekst-naar-beeld diffusiemodellen. De methode werkt door selectief de waardencomponenten binnen het cross-attention mechanisme aan te passen, in plaats van de modelgewichten te wijzigen.

Kernmechanisme

1. Bias-correctie via Waarde-aanpassing: De methode observeert dat de foutvoorspelling van het model bij elke ontdoofingsstap voornamelijk wordt beïnvloed door cross-attention dynamiek. Specifiek definieert de conditionering embedding $c$ de key- en value-representaties. DebFilter introduceert een bias-correctie vector $\Delta c$ aan het originele conditioneringssignaal.
2. Cross-Attention Uitlijning: De aanpak beoogt de cross-attention output van een neutrale prompt $c$ uit te lijnen met die van een expliciete, bias-corrigerende prompt $c'$ (bijv. het uitlijnen van "een arts" met "een vrouwelijke arts").
   • De ontdoofingsvoorspelling $\hat{\epsilon}_\theta(z_t, c)$ wordt behandeld als een functie van cross-attention outputs.
   • De methode berekent een doelwaarde vector $\hat{v}_m$ voor een specifieke token-index $m$ (corresponderend met het vooroordele concept) door een kleinste-kwadraten optimalisatieprobleem op te lossen. Deze optimalisatie minimaliseert het verschil tussen de bron cross-attention output en de doeloutput afgeleid van de expliciete prompt.
3. Gefuseerde Geleidingsinschatting: Aangezien de U-Net meerdere attention-blokken bevat met variërende dieptes en koppen, schat de methode onafhankelijk de doelwaarde vector in voor elke laag en kop. Deze schattingen worden vervolgens geaggregeerd met behulp van een gewogen kleinste-kwadraten regressie om een gefuseerde, gedebiasde embedding $c^{new}_m$ af te leiden.
4. Stabiele Debiasing Geleiding (DebFilter): Om schaalbaarheid te waarborgen en het berekenen van correcties voor elke prompt te vermijden, berekent de methode de offset $\Delta c = c^{new}_m - c_m$ over meerdere prompts en middelt deze. Deze gemiddelde offset, genaamd DebFilter, dient als een stabiele, universele correctierichting die van toepassing is op elke prompt die het doelconcept bevat.
5. Toepassing tijdens Inferentie: Tijdens inferentie wordt deze vaste offset toegevoegd aan de conditionering embedding. De methode richt zich op de vroege ontdoofingsstappen (doorgaans de eerste twee) waarbij grove structuren en hoog-niveau attributen worden bepaald, zodat de bias-correctie niet interfereert met latere textuur- of stijlverfijningen.

Belangrijkste Kenmerken

• Trainingsvrij: Vereist geen extra data of modelupdates.
• Fijnmazige Controle: Door specifieke token-indexen te identificeren, maakt de methode object-niveau controle mogelijk in multi-object scènes (bijv. het veranderen van het geslacht van een "arts" terwijl een "verpleegkundige" ongewijzigd blijft).
• Omkeerbaarheid: De correctie vector kan worden omgekeerd (door het teken te wijzigen) om de filter in de tegenovergestelde richting toe te passen (bijv. man-vrouw vs. vrouw-man).

Belangrijkste Bijdragen

1. Trainingsvrije Debiasing: Introductie van een methode voor Stable Diffusion die vooroordelen mitigeert door cross-attention mechanismen aan te passen tijdens inferentie, waardoor hertrainen overbodig wordt.
2. Object-niveau Controle: Demonstratie van gerichte controle in multi-object afbeeldingen, waardoor specifieke concepten kunnen worden gedebiasd terwijl ruimtelijke consistentie en andere attributen behouden blijven.
3. Praktische Schaalbaarheid: Presentatie van een flexibele aanpak die rechtvaardigheid verbetert zonder de modelarchitectuur te wijzigen of gecurateerde debiasing datasets voor elke nieuwe toepassing te vereisen.

Experimentele Resultaten

De auteurs evalueerden DebFilter op Stable Diffusion v2.1 (en SDXL voor specifieke vergelijkingen) met behulp van geslachts- en leeftijdsvooroordeelmetrieken.

• Geslachtsvooroordeel Mitigatie:
  • Geëvalueerd op 87 beroepen (58 man-dominant, 29 vrouw-dominant).
  • Bias Ratio ($\Delta$): DebFilter verminderde significant de genormaliseerde absolute afwijking van een 50% geslachtsbalans over beroepen, en presteerde beter dan baselines zoals TIME, UCE en MIST.
  • Transition Score (TS): De methode behaalde een transition score dicht bij de doelratio (bijv. 0,5), wat nauwkeurige controle over het aandeel gedebiasde samples aantoont.
  • Scheefheid: DebFilter behaalde de laagste SKEW score (62,1) vergeleken met andere methoden, wat wijst op een meer gebalanceerde geslachtsverdeling over beroepen.
  • CLIPScore: De gedebiasde afbeeldingen behielden een hoge uitlijning met de tekstprompts, vaak overeenkomend met of zelfs de CLIPScore van het vanilla model overtreffend, wat bevestigt dat semantische trouw behouden bleef.
• Leeftijdsvooroordeel Mitigatie:
  • Met succes leeftijdvooroordelen gemitigeerd voor beroepen geassocieerd met specifieke leeftijdsgroepen (bijv. "horlogemaker" versus "barista").
  • De methode paste visuele attributen zoals kapsel en huidtextuur op natuurlijke wijze aan terwijl de actie en achtergrond behouden bleven.
• Multi-Object Scenario's:
  • Demonstreerde het vermogen om verschillende debiasing filters toe te passen op verschillende objecten binnen een enkele prompt (bijv. "een arts en een verpleegkundige"), waarbij geslachtsrepresentaties voor specifieke entiteiten succesvol werden omgekeerd zonder de anderen te beïnvloeden.

Betekenis en Beweringen

Het artikel beweert dat DebFilter een schaalbare en efficiënte weg biedt naar eerlijkere en inclusievere tekst-naar-beeld generatie. Door uitsluitend tijdens inferentie te opereren, adresseert het de computationele onpraktijkheid van het hertrainen van grootschalige modellen. De auteurs benadrukken dat hun methode fijnmazige, interpreteerbare controle biedt over de debiasing sterkte, terwijl de semantische trouw van de gegenereerde outputs behouden blijft.

De betekenis ligt in de demonstratie dat subtiele perturbaties aan tekstuele geleiding effectief het score-functie landschap kunnen herschikken om latente vooroordelen te onderdrukken. De auteurs positioneren DebFilter niet als vervanging voor dataset curatie of model hertrainen, maar als een praktische, directe oplossing voor het mitigeren van sociale vooroordelen in ingezette generatieve modellen. Zij merken op dat de methode uitbreidbaar is naar andere vooroordeelconcepten zoals etniciteit of culturele attributen, hoewel hun huidige experimenten zich richten op geslacht en leeftijd.

Het artikel concludeert dat gecontroleerde geleidingsaanpassing een krachtig mechanisme biedt voor sociaal verantwoord door AI gedreven creativiteit, waardoor de inclusiviteit en controleerbaarheid van generatieve modellen worden verbeterd zonder de overhead van extra training.