Concept-Centric Token Interpretation for Vector-Quantized Generative Models

Titel: Concept-Centric Token Interpretation voor Vector-Gequantiseerde Generatieve Modellen (VQGMs)

Auteurs: Tianze Yang, Yucheng Shi, Mengnan Du, et al.
Conferentie: ICML 2025

---

1. Probleemstelling

Vector-Gequantiseerde Generatieve Modellen (VQGMs), zoals VQGAN en DALL-E, zijn krachtige tools voor het genereren van hoogwaardige beelden door gebruik te maken van discrete latenterepresentaties (tokens) uit een "codebook". Ondanks hun succes is de interne werking van deze modellen, en specifiek de rol van het codebook (de verzameling discrete tokens), slecht begrepen.

De kernproblemen zijn:

• Gebrek aan interpretatie: Het is onduidelijk welke specifieke tokens essentieel zijn voor het genereren van een bepaald concept (bijv. "een hond" of "een dokter").
• Contextverwarring: Eenvoudige methoden die tokens selecteren op basis van frequentie in gegenereerde beelden, halen vaak achtergrond- of contextuele elementen (zoals de lucht of de grond) erbij in plaats van de kernkenmerken van het concept.
• Bias en controle: Zonder inzicht in welke tokens welke concepten vertegenwoordigen, is het moeilijk om vooroordelen (bias) in modellen te detecteren of gerichte beeldbewerkingen uit te voeren.

Het doel van dit onderzoek is een methode te ontwikkelen om de relatie tussen tokens in het codebook en visuele concepten te verklaren, zodat men kan onderscheiden welke tokens cruciaal zijn en welke achtergrondinformatie vertegenwoordigen.

---

2. Methodologie: CORTEX

De auteurs introduceren CORTEX (Concept-Oriented Token Explanation), een raamwerk dat gebruikmaakt van het Information Bottleneck (IB) principe. Het idee is om een module te trainen die de informatiestroom van generatieve modellen omkeert: in plaats van van concept naar beeld, gaat het van beeld (tokens) terug naar het concept.

CORTEX bestaat uit drie hoofdblokken:

A. Information Extractor Module (IEM)

De IEM is een gecontroleerde classifier die wordt getraind om een token-gebaseerde embedding (de input van de decoder) te mappingen naar semantische labels (concepten).

• Functie: Gegeven een embedding $E$, voorspelt de IEM de waarschijnlijkheid $p$ dat een bepaald concept $y_i$ aanwezig is.
• Principe: Door de IEM te dwingen concepten te voorspellen op basis van tokens, leert het model automatisch de meest informatieve (discriminerende) tokens te extraheren en irrelevante achtergrondinformatie te negeren (compressie volgens het IB-principe).

B. Twee Complementaire Verklaringsmethoden

CORTEX gebruikt de getrainde IEM op twee niveaus:

1. Sample-level Explanation (Op beeldniveau):

   • Doel: Identificeer de belangrijkste tokens voor een specifiek gegenereerd beeld.
   • Methode: Berekening van Token Importance Scores (TIS) via gradiënt-analyse (saliency maps). De methode berekent hoe sterk de voorspelling van een concept verandert als een bepaalde token wordt gemanipuleerd.
   • Resultaat: Voor een enkel beeld worden de top-$n$ tokens met de hoogste TIS geselecteerd. Door dit te aggregeren over meerdere beelden van hetzelfde concept, worden de meest consistente concept-specifieke tokens gevonden.

2. Codebook-level Explanation (Op codebook-niveau):

   • Doel: Ontdek de fundamentele token-combinaties die een concept definiëren in de volledige ruimte van het codebook, zonder afhankelijk te zijn van bestaande gegenereerde beelden.
   • Methode: Een optimalisatie-probleem waarbij een token selectie matrix $P$ wordt geoptimaliseerd om de output van de IEM voor een doelconcept te maximaliseren.
   • Techniek: Omdat token-selectie discreet is (niet differentieerbaar), wordt Gumbel-Softmax gebruikt om een continue, differentieerbare benadering te maken. Hierdoor kan gradient-based optimization worden toegepast om de ideale combinatie van tokens te vinden die het concept het beste vertegenwoordigt.

---

3. Belangrijkste Bijdragen

1. CORTEX Framework: Een nieuw raamwerk voor het interpreteren van VQGMs dat concept-specifieke token-combinaties identificeert.
2. Twee-niveau Analyse: De combinatie van sample-level (lokaal, per beeld) en codebook-level (globaal, over het hele codebook) methoden biedt een volledig inzicht in hoe concepten worden gecodeerd.
3. Information Bottleneck Toepassing: Het succesvol toepassen van het IB-principe via een Information Extractor om irrelevante tokens te filteren en alleen concept-relevante features te behouden.
4. Praktische Toepassingen: Demonstratie van hoe CORTEX kan worden gebruikt voor bias-detectie en gerichte beeldbewerking.

---

4. Experimentele Resultaten

De auteurs hebben CORTEX getest op diverse vooraf getrainde VQGMs (zoals VQGAN) met ImageNet-classes als concepten.

• Validatie van Token Selectie:

  • Maskeringsexperimenten: Wanneer de door CORTEX geïdentificeerde tokens in gegenereerde beelden worden gemaskeerd (verwijderd), daalt de voorspellingsaccuraatheid van externe, state-of-the-art classificatiemodellen (ResNet, ViT) significant meer dan bij willekeurige maskering. Dit bewijst dat CORTEX de werkelijk cruciale tokens heeft gevonden.
  • Performance: De CNN- en ResNet-gebaseerde IEMs presteerden het beste, met een Top-1 accuratie van ~53% op de synthetische dataset, wat aanzienlijk is gezien de complexiteit van de taak.

• Bias Detectie (Case Study):

  • In een experiment met het prompt "A doctor in the hospital" (neutraal) toonde CORTEX een systematische bias aan.
  • Tokens geassocieerd met "witte dokter" kwamen 4 keer vaker voor (8.55 tokens per beeld) dan tokens voor "zwarte dokter" (2.32 tokens per beeld), zelfs zonder specifieke kleur-prompt.
  • Dit werd kwantitatief onderbouwd met Cliff's $\delta$ (een maat voor effectgrootte), wat een significante discrepantie aangeeft.

• Gerichte Beeldbewerking:

  • Door de codebook-level methode te gebruiken, konden de auteurs specifieke delen van een beeld (bijv. het hoofd van een vogel) manipuleren door alleen de tokens in dat gebied te optimaliseren voor een nieuw concept (bijv. van een "goudvink" naar een "indigovogel").
  • Dit resulteerde in een vloeiende transformatie van het beeld terwijl de rest van de compositie behouden bleef.

---

5. Betekenis en Impact

• Transparantie: CORTEX maakt de "black box" van vector-gequantiseerde generatieve modellen doorzichtiger door te laten zien welke discrete elementen (tokens) verantwoordelijk zijn voor specifieke visuele concepten.
• Fairness & Bias: De methode biedt een kwantitatief instrument om demografische vooroordelen in generatieve AI te detecteren en te meten, wat essentieel is voor het ontwikkelen van eerlijkere AI-systemen.
• Controle: Het stelt onderzoekers en ontwikkelaars in staat om gerichte ingrepen te doen in gegenereerde beelden (image editing) op basis van semantische concepten in plaats van ruwe pixelmanipulatie.
• Toekomst: Het werk legt de basis voor verdere verbetering van generatieve modellen en het toepassen van interpretatie op bredere multimodale modellen (zoals video-generatie).

Samenvattend biedt CORTEX een robuuste, theoretisch onderbouwde aanpak om te begrijpen hoe VQGMs denken, wat leidt tot betere controle, betrouwbaarheid en ethisch bewustzijn in generatieve AI.