Technische Samenvatting: Conditionele Vendi-score

Probleemstelling

Generatieve AI-modellen, met name die die worden gestuurd door tekstprompts (bijv. LLM's, tekst-naar-beeld en tekst-naar-video modellen), worden voornamelijk geëvalueerd op getrouwheid (overeenstemming met de prompt) en kwaliteit. Hoewel diversiteit een cruciale metriek is voor onconditionele generatieve modellen, zijn bestaande diversiteitsmaten zoals de Vendi-score en Rényi Kernel Entropy (RKE) slecht geschikt voor prompt-gestuurde systemen.

Huidige metrieken behandelen alle variabiliteit in een set gegenereerde samples als één enkele bron. Ze slagen er niet in om onderscheid te maken tussen:

1. Prompt-geïnduceerde diversiteit: Variabiliteit die voortvloeit uit verschillen in de invoerprompts (bijv. het genereren van een "hond" versus een "kat").
2. Model-geïnduceerde diversiteit: Variabiliteit die voortvloeit uit de interne stochasticiteit van het model wanneer vergelijkbare of identieke prompts worden gegeven (bijv. het genereren van verschillende hondenrassen voor dezelfde "hond"-prompt).

Deze samensmelting vertroebelt diversiteitsvergelijkingen. Een model kan divers lijken simpelweg omdat het getest is op een breed scala aan prompts, wat een gebrek aan interne variabiliteit maskeert, of andersom. Het artikel adresseert de noodzaak voor een prompt-bewuste diversiteitsevaluatie die de model-geïnduceerde variabiliteit isoleert.

Methodologie

De auteurs stellen Conditional-Vendi en Conditional-RKE voor, diversiteitsscores afgeleid van de conditionele entropie van positief semidefiniete (PSD) kernelmatrices.

Theoretisch Kader

De aanpak breidt de informatie-theoretische definities van Vendi (von Neumann-entropie) en RKE (orde-2 Rényi-entropie) uit naar de conditionele setting. Gegeven een set prompt-output paren $\{(t_i, x_i)\}_{i=1}^n$, waarbij $T$ de prompts representeert en $X$ de outputs:

• Kernelmatrices: De methode construeert genormaliseerde kernelmatrices $K_X$ (voor outputs) en $K_T$ (voor prompts).
• Conditionele Entropie: Het definieert de conditionele entropie van de output-kernel gegeven de prompt-kernel met behulp van het Hadamard-product (elementgewijs product):
  $$H(X|T) = H(K_X \odot K_T) - H(K_T)$$
  waarbij $H(\cdot)$ de matrix-gebaseerde entropie is (von Neumann voor Vendi, orde-2 Rényi voor RKE).
• Decompositie: De totale diversiteitsscore deelt zich op in:
  $$\text{Vendi}(X) = \text{Conditional-Vendi}(X|T) \times \text{Information-Vendi}(X; T)$$
  Hierbij isoleert Conditional-Vendi de diversiteit van outputs gegeven de prompts (model-geïnduceerd), terwijl Information-Vendi de wederzijdse informatie tussen prompts en outputs vastlegt.

Schaalbaarheid en Convergentie

• Conditional-RKE: De auteurs bewijzen dat Conditional-RKE beschikt over een $O(1/\sqrt{n})$ convergentiesnelheid en computationeel efficiënt is ($O(n^2)$) omdat het steunt op Frobenius-normen, waardoor volledige eigendecompositie wordt vermeden. Het lijdt niet onder dimensie-afhankelijkheid.
• Conditional-Vendi: Directe schatting van Conditional-Vendi lijdt onder de "vloek van dimensionaliteit", met een convergentiesnelheid die afhankelijk is van het product van de feature-dimensies van de tekst- en beeldkernels ($d_X d_T$). Om dit aan te pakken, introduceren de auteurs een getrunceerde-spectrum benadering. Door alleen de top-$t$ eigenwaarden te behouden en te renormaliseren, bereiken zij een schaalbare estimator met een convergentiesnelheid van $\tilde{O}(\sqrt{t/n})$, die onafhankelijk is van de feature-dimensies.

Toepassing: Guidance

Het artikel breidt deze metrieken uit naar guidance in diffusiemodellen. Door de getrunceerde Conditional-Vendi-score te maximaliseren tijdens het samplingsproces (via gradiënt-ascensie in de latente ruimte), wordt het model aangemoedigd om outputs te genereren die divers zijn ten opzichte van de prompt-distributie, in plaats van enkel divers te zijn in de ambient space.

Belangrijkste Bijdragen

1. Prompt-bewuste Metrieken: Introductie van Conditional-Vendi en Conditional-RKE als de eerste diversiteitsscores die specifiek zijn ontworpen om model-geïnduceerde variabiliteit te scheiden van prompt-geïnduceerde variabiliteit.
2. Theoretische Garanties: Vaststelling van eindige steekproef-convergentiegrenzen voor beide scores. Met name het bewijs voor Conditional-RKE demonstreert dimensie-onafhankelijke convergentie, terwijl de getrunceerde Conditional-Vendi een schaalbaar alternatief biedt voor hoog-dimensionale embeddings.
3. Truncatie-methode: Een innovatieve aanpassing van eigen-spectrum truncatie naar de conditionele setting, wat consistente schatting mogelijk maakt voor grootschalige generatieve taken waar de steekproefomvang beperkt is ten opzichte van de embedding-dimensies.
4. Empirische Validatie: Uitgebreide evaluatie over vier domeinen:
   • Tekst-naar-Beeld: Modellen inclusief Stable Diffusion XL, Flux en PixArt.
   • Tekst-naar-Video: Modellen inclusief VideoCrafter, Show-1 en Open-Sora.
   • Beeldbeschrijving (Image Captioning): Modellen inclusief BLIP-2, GIT en GPT-4o-mini.
   • LLM's: Modellen inclusief Llama 2 en Gemma.
5. Guidance-mechanisme: Demonstratie dat Conditional-Vendi guidance de sample-diversiteit in diffusiemodellen kan verbeteren terwijl de prompt-overeenstemming (fidelity) behouden blijft.

Resultaten

• Herstel van de Grondwaarheid (Ground-Truth Recovery): In gecontroleerde experimenten waar de grondwaarheid diversiteitsvolgorde bekend was (bijv. het variëren van het aantal diersoorten gespecificeerd in prompts), slaagden de conditionele scores erin de beoogde rangschikking te herstellen. Onconditionele scores (standaard Vendi/RKE) slaagden er niet in om onderscheid te maken tussen prompt-gestuurde en model-gestuurde diversiteit.
• Convergentie: Experimenten op MS-COCO data toonden aan dat Conditional-RKE en getrunceerde Conditional-Vendi convergeren met gematigde steekproefgroottes (bijv. ~15.000 samples), terwijl niet-getrunceerde Conditional-Vendi niet convergeerde binnen haalbare computationele limieten.
• Modelvergelijking: De scores toonden aan dat verschillende modellen uiteenlopende niveaus van intrinsieke diversiteit vertonen. Zo toonde Open-Sora in tekst-naar-video een hogere conditionele diversiteit dan VideoCrafter. In LLM's correleerde het verhogen van de temperatuur-parameter met een toename in Conditional-Vendi en RKE scores, wat duidt op een hogere output-diversiteit.
• Effectiviteit van Guidance: Het toepassen van Conditional-Vendi guidance op Stable Diffusion XL en PixArt resulteerde in een hogere sample-diversiteit (gemeten via Vendi en in-batch gelijkenis) en een betere overeenstemming met prompt-categorieën vergeleken met standaard Vendi guidance, zonder de tekst-beeld overeenstemming (CLIPScore) te verslechteren.

Betekenis en Claims

Het artikel claimt dat Conditional-Vendi en Conditional-RKE een noodzakelijke evolutie vormen in de evaluatie van generatieve modellen. Door model-geïnduceerde diversiteit te isoleren, stellen deze metrieken onderzoekers en praktici in staat om:

• De intrinsieke variabiliteit van een generatief model nauwkeurig te beoordelen, onafhankelijk van de prompt-distributie die gebruikt wordt voor testen.
• Te identificeren of de "diversiteit" van een model louter een resultaat is van brede prompt-dekking of van echte stochastische generatiecapaciteiten.
• Generatieve processen te sturen naar meer diverse outputs die de prompt-context respecteren, waarmee het probleem van "mode collapse" of over-determinisme dat vaak bij hoog-getrouwe diffusiemodellen voorkomt, wordt aangepakt.

De auteurs positioneren deze scores als een fundamenteel instrument voor de volgende generatie prompt-geconditioneerde generatieve AI, waarbij ze een rigoureuze, informatie-theoretische benadering bieden voor een probleem dat voorheen slechts door heuristische of onconditionele methoden werd behandeld.