Technische Samenvatting: CO-ALIGN – Efficiënte Bias-mitigatie in T2I Diffusiemodellen met behulp van Concept Graphs

1. Probleemstelling

Text-to-Image (T2I) diffusiemodellen reproduceren en versterken systematisch demografische biases (geslacht, ras, leeftijd) die afkomstig zijn uit hun trainingscorpora (bijv. LAION-5B). Deze biases zijn niet louter oppervlakkige artefacten, maar structurele eigenschappen van de geleerde conceptassociaties van het model, waarbij bevooroordeelde concepten een disproportioneel deel van het neurale substraat delen met stereotype attributen.

Bestaande technieken voor bias-mitigatie interveniëren doorgaans op slechts één niveau van de generatiepipeline:

• Alleen de Text Encoder: Methoden finetunen embeddings of sturen inferentie-signalen aan om bevooroordeelde richtingen te verwijderen. Dit laat de interne conceptorganisatie van de denoiser echter ongewijzigd. Bijgevolg ontvangt de denoiser conditioning-signalen die buiten de distributie liggen (out-of-distribution), die hij niet coherent kan interpreteren, wat leidt tot semantisch incoherente outputs.
• Alleen de Denoiser: Methoden bewerken cross-attention gewichten of latente ruimtes om prompts om te leiden. De text encoder stuurt ondergespecificeerde prompts (bijv. "een verpleegkundige") echter nog steeds naar bevooroordeelde attribuut-embeddings, wat de correctie aan de denoiser-zijde gedeeltelijk tenietdoet.

Het geïdentificeerde kernprobleem is dat het behandelen van de text encoder en de denoiser als onafhankelijke correctiedoelen suboptimaal is. Het corrigeren van de één zonder de ander verstoort hun geometrische uitlijning, wat resulteert in een trade-off waarbij verbeterde eerlijkheid leidt tot een scherpe toename van semantische incoherentie.

2. Methodologie: CO-ALIGN

De auteurs stellen CO-ALIGN (Concept Ontology Alignment) voor, een framework dat bias mitigeert door de interne concept-ontologieën van zowel de text encoder als de denoiser uit te lijnen naar een doel-topologie. De centrale hypothese is dat bias zetelt in de relaties tussen concepten in plaats van in individuele representaties, en dat effectieve debiasing gezamenlijke geometrische harmonie tussen de componenten vereist.

A. Concept Graph Extractie

CO-ALIGN construeert gewogen concept-grafen ($G$) voor beide componenten, waarbij knopen concepten vertegenwoordigen en randen de sterkte van het gedeelde neurale substraat vertegenwoordigen.

• Text Encoder Graph ($G_{TE}$): Gedefinieerd door de paarwijze cosinus-gelijkenis van $L_2$-genormaliseerde, gemiddeld gepoolde last hidden state embeddings voor een vocabulaire van concepten $C$.
• Denoiser Graph ($G_U$): Gedefinieerd met behulp van "concept neuron fingerprints". De auteurs identificeren ijlere subsets van parameters (concept neuronen) in de cross-attention projectiematrices ($W^K, W^Q, W^V$) die cruciaal zijn voor een specifiek concept. De grafenranden worden berekend als de gemiddelde cosinus-gelijkenis van de gemaskeerde gradiëntprofielen (fingerprints) van deze neuronen over lagen en koppen (heads) heen.

B. Alignment Doelstelling

Het framework lijnt de huidige concept-graaf ($A$) uit naar een doel-adjacency matrix ($A_{GT}$) die een gewenste topologie codeert (bijv. gelijke nabijheid van "Verpleegkundige" tot "Mannelijke Verpleegkundige" en "Vrouwelijke Verpleegkundige").

• Differentiable Ranking Loss ($L_{rank}$): Werkt rijwijze op een gesuperviseerde subset van concepten (doelconcepten). Het gebruikt soft ranks afgeleid van differentiable sigmoid paarwijze vergelijkingen om de huidige gelijkenis-rangordes uit te lijnen met harde rangordes afgeleid van $A_{GT}$.
• Static Anchor Loss ($L_{anchor}$): Voorkomt de drift van "anker"-concepten (bijv. specifieke attribuutvarianten) door afwijkingen van hun pre-alignment representaties te bestraffen.
• Preservation Loss ($L_{pres}$): Een standaard ruis-voorspellingsverlies op referentieparen zorgt ervoor dat het model geen catastrofale vergetelheid (catastrophic forgetting) lijdt van concepten buiten de scope van de bewerking.

De totale doelstelling is $L = \delta \cdot L_{rank} + \gamma \cdot L_{pres} + L_{anchor}$. De alignment wordt sequentieel uitgevoerd: eerst op de text encoder, en vervolgens op de denoiser (hergekalibreerd naar de bijgewerkte geometrie).

C. Emergente Eigenschap: Neighborhood Propagation

Een belangrijke bevinding is dat het uitlijnen van een gesuperviseerd concept de semantische buurt naar de doel-topologie trekt zonder directe supervisie. Dit "label propagation"-effect, analoog aan graaf-gebaseerd semi-supervised leren, stelt de methode in staat om adversariële bypass-concepten (concepten die semantisch nabij een doelconcept liggen en de unlearning ontwijken) aan te pakken door ze binnen de lokalisatieradius van het unlearning-doel te brengen.

3. Belangrijkste Bijdragen

1. Diagnose van Single-Component Falen: Het artikel toont aan dat single-component debiasing technieken (encoder-alleen of denoiser-alleen) onvermijdelijk een trade-off maken tussen eerlijkheid en generatie-coherentie, waarbij ofwel residuele bias overblijft, ofwel incoherente outputs produceert.
2. CO-ALIGN Framework: Een innovatieve aanpak die concept-grafen van zowel de text encoder als de denoiser extraheert en gezamenlijk uitlijnt, waarbij de geometrische harmonie tussen hen behouden blijft.
3. Superieure Prestaties: CO-ALIGN presteert beter dan state-of-the-art methoden door een significante reductie van bias te bereiken terwijl de beeldkwaliteit en semantische coherentie hoog blijven.
4. Robuuste Unlearning Toepassing: Het artikel maakt gebruik van het neighborhood propagation-effect om de adversariële robuustheid van post-hoc concept unlearning technieken aanzienlijk te verbeteren, waardoor ze effectief worden tegen bypass-prompts zonder de unlearning procedure zelf te wijzigen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op Stable Diffusion v1.5 over vier beroepen (verpleegkundige, arts, brandweerman, receptionist) en drie demografische assen (geslacht, ras, leeftijd).

• Eerlijkheid: CO-ALIGN bereikte de laagste Fairness Discrepancy (FD) scores, met een verbetering van 30% in gender-eerlijkheid en een verbetering van 75,4% in race-eerlijkheid ten opzichte van de dichtstbijzijnde baselines.
• Beeldkwaliteit: De methode verbeterde de beeldgetrouwheid met 2,8% (CLIP-I) en verminderde de Fréchet Inception Distance (FID) met 11,4 vergeleken met het basismodel, waarmee het alle baselines overtrof.
• Coherentie: Cruciaal is dat CO-ALIGN de semantisch incoherente outputs met 88% verminderde vergeleken met het basismodel. In tegenstelling hiertoe vertoonden single-component methoden een scherpe toename in incoherentie naarmate de eerlijkheid verbeterde.
• Unlearning Robuustheid: Wanneer toegepast als een pre-alignment stap voor unlearning (gericht op "Nudity"), verminderde CO-ALIGN het succespercentage van adversariële bypass-prompts aanzienlijk. Bijvoorbeeld, de "Creampie" prompt, die met baselines in 88–100% van de gevallen naaktheid genereerde, daalde naar 0–32% na CO-ALIGN pre-alignment.

5. Betekenis en Claims

Het artikel claimt dat CO-ALIGN een verschuiving vertegenwoordigt van het behandelen van bias als een eigenschap van individuele parameters naar het zien van bias als een asymmetrie in de interne concept-topologie van het model. Door gezamenlijke uitlijning af te dwingen, bereikt de methode een Pareto-optimaal evenwicht tussen eerlijkheid en generatiekwaliteit dat single-component methoden niet kunnen bereiken.

Naast directe bias-mitigatie benadrukken de auteurs het neighborhood propagation-effect als een significante emergente eigenschap. Dit stelt het framework in staat om de robuustheid van bestaande veiligheidsmechanismen (zoals concept unlearning) tegen adversariële aanvallen te versterken, wat suggereert dat de structurele uitlijning van de ontologie van een model een krachtig instrument is voor verantwoorde AI-implementatie.

De auteurs blijven bescheiden over beperkingen en merken op dat de extractie van de denoiser-graaf computationeel intensief is en dat de methode momenteel alleen gevalideerd is op Stable Diffusion v1.5, wat aanpassing vereist voor transformer-gebaseerde architecturen zoals DiT of SDXL. Ze erkennen ook dat hoewel CO-ALIGN bias vermindert, het de structurele biases die inherent zijn aan web-gescrapte trainingsdata niet volledig kan elimineren.