🤖 machine learning

Conditional Vendi Score: Prompt-Aware Diversity Evaluation for Generative AI Models and LLMs

Dieses Paper führt Conditional-Vendi und Conditional-RKE ein, neuartige Diversitätsmetriken, die modellinduzierte Variabilität von promptinduzierten Effekten isolieren und somit eine genauere Evaluierung und Steuerung der Diversität in Text-zu-Bild-, Bildbeschreibungs- und LLM-Aufgaben ermöglichen.

Ursprüngliche Autoren: Mohammad Jalali, Azim Ospanov, Amin Gohari, Farzan Farnia

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohammad Jalali, Azim Ospanov, Amin Gohari, Farzan Farnia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Chefkoch, der eine hochtechnologische Küche leitet, die Bestellungen (Prompts) entgegennimmt und Gerichte (Bilder, Videos oder Geschichten) zubereitet. Jahrelang wurden diese Köche von Kritikern nur nach zwei Dingen beurteilt:

Fidelity (Treue): Sah das Gericht so aus wie bestellt? (z. B. Wenn Sie nach einem „scharfen Taco“ fragten, sah es auch wie ein Taco aus?)
Unconditional Variety (Bedingungslose Vielfalt): Wenn man den Koch einfach ohne Bestellungen kochen ließe, wie viele verschiedene Gerichte könnte er zubereiten?

Aber es fehlte ein entscheidendes Puzzleteil: Wie viel Vielfalt fügt der Koch zusätzlich zur Bestellung hinzu?

Wenn Sie nach einem „roten Auto“ fragen, stellt der Koch dann immer nur eine generische rote Limousine her? Oder überrascht er Sie mit einem roten Cabrio, einem roten Sportwagen, einem roten Truck und einem roten Oldtimer? Bestehende Werkzeuge konnten nicht zwischen „der Koch ist langweilig“ und „der Kunde gab eine sehr spezifische Bestellung auf“ unterscheiden.

Dieses Paper führt eine neue Art und Weise ein, diese spezifische Art von Kreativität zu messen, genannt Conditional Vendi Score und Conditional RKE.

Das Kernproblem: Der „Prompt“ vs. der „Koch“

Die Autoren erklären, dass aktuelle Diversitäts-Scores zwei verschiedene Quellen der Vielfalt vermischen:

Prompt-Induced Diversity (Prompt-induzierte Diversität): Dies ist die Vielfalt, die durch den Kunden entsteht, der seine Bestellung ändert. Wenn Sie ein „Hund“, dann eine „Katze“, dann einen „Vogel“ bestellen, ändert sich das Ergebnis. Das ist nicht die Kreativität des Kochs; das ist nur Sie, der die Speisekarte ändert.
Model-Induced Diversity (Modell-induzierte Diversität): Dies ist die Vielfalt, die der Koch hinzufügt, wenn Sie ihm die gleiche Bestellung geben. Wenn Sie zehnmal nach einem „Hund“ fragen, erstellt der Koch dann zehn verschiedene Rassen oder zehn identische Kopien?

Die Analogie:
Stellen Sie sich eine Fotobox vor.

Szenario A: Sie fragen nach einem Foto eines „Hundes“, dann nach einer „Katze“, dann nach einem „Pferd“. Die Fotobox liefert drei sehr unterschiedliche Bilder. Alte Scores sagen: „Wow, diese Fotobox ist super divers!“
Szenario B: Sie fragen zehnmal nach einem Foto eines „Hundes“. Die Fotobox liefert zehn verschiedene Hunderassen. Alte Scores könnten sagen: „Naja, nicht sehr divers“, weil die Bilder im Vergleich zum „Pferd“ aus Szenario A alle wie „Hunde“ aussehen.

Die Autoren argumentieren, dass Szenario B tatsächlich der Ort ist, an dem die wahre Magie der KI liegt. Sie wollen messen, wie viel die KI an Vielfalt hinzufügt, selbst wenn der Prompt gleich bleibt.

Die Lösung: Ein „Prompt-bewusster“ Score

Das Paper schlägt zwei neue Scores vor: Conditional-Vendi und Conditional-RKE.

Betrachten Sie diese Scores als einen speziellen Filter, der das „Prompt-induzierte“ Rauschen ignoriert und nur das „Modell-induzierte“ Signal misst.

Funktionsweise: Anstatt alle Bilder zusammen zu betrachten, analysiert die Mathematik, wie unterschiedlich die Bilder innerhalb jeder spezifischen Prompt-Kategorie sind. Es wird im Grunde gefragt: „Wenn wir alle ‚Hund‘-Bilder zusammen gruppieren, wie unterschiedlich sind sie untereinander? Wenn wir alle ‚Katze‘-Bilder gruppieren, wie unterschiedlich sind sie untereinander?“ Dann wird dies gemittelt.
Das Ergebnis: Dieser Score identifiziert korrekt, dass der Koch in Szenario B (der 10 verschiedene Hunde macht) kreativer ist als der Koch in Szenario A (der 1 Hund, 1 Katze, 1 Pferd macht), weil der Koch in B seine eigene Note zu der spezifischen Anfrage hinzufügt.

Der „Geschwindigkeits-Hindernis“ und die Abkürzung

Die Berechnung dieses neuen Scores ist mathematisch sehr aufwendig. Die Autoren stellten fest, dass die Berechnung bei sehr großen Datensätzen (wie 25.000 Bildern) in einen „Fluch der Dimensionalität“ gerät – es ist, als würde man versuchen, jedes einzelne Sandkorn zu zählen, um die Größe eines Strandes zu messen. Es dauert zu lange und benötigt zu viele Daten, um genau zu sein.

Die Lösung: Sie haben eine „Truncated“ (abgeschnittene) Version eingeführt.

Analogie: Anstatt jedes einzelne Sandkorn zu zählen, zählen Sie nur die 10.000 größten Körner. Sie stellen fest, dass diese obersten Körner 99 % des „Gewichts“ und der Vielfalt des Strandes repräsentieren.
Vorteil: Dieser „Truncated Conditional-Vendi“ ist schnell, ausreichend genau für den realen Einsatz und bleibt nicht an massiven Datensätzen hängen.

Die Anwendung unter Test

Die Autoren testeten ihre neuen Scores an realen KI-Modellen:

Text-to-Image (wie DALL-E 3 oder Stable Diffusion): Sie zeigten, dass die KI eine enorme Vielfalt an Tieren produzierte, wenn die Prompts vage waren (z. B. „ein Tier“), und der Score anstieg. Wenn die Prompts spezifisch waren (z. B. „ein Golden Retriever“), blieb der Score niedriger, da die KI durch die spezifische Anfrage eingeschränkt war. Dies bewies, dass der Score tatsächlich die interne Freiheit der KI misst und nicht nur die Varianz des Prompts.
Text-to-Video & LLMs: Sie testeten es auf Videogeneratoren und Sprachmodelle (wie Llama). Sie fanden heraus, dass der Score anstieg, wenn sie die „Temperatur“ (Zufälligkeit) des Sprachmodells erhöhten, was korrekt anzeigte, dass die Geschichten vielfältiger wurden.
Steuerung der KI: Sie nutzten den Score nicht nur, um die KI zu beurteilen, sondern um sie zu steuern. Indem sie der KI sagten: „Versuche, diesen Score zu maximieren, während du generierst“, konnten sie die KI dazu zwingen, vielfältigere Bilder zu erzeugen, ohne die Verbindung zum Textprompt zu verlieren.

Zusammenfassung

Kurz gesagt: Dieses Paper gibt uns ein neues Lineal. Vorher konnten wir nur messen, wie gut eine KI Anweisungen befolgte oder wie zufällig sie war, wenn man sie allein ließe. Jetzt haben wir ein Lineal, das misst, wie kreativ die KI ist, während sie Anweisungen befolgt. Es trennt das Rauschen des Nutzer-Prompts vom wahren Signal der maschinellen Vorstellungskraft.

Technisches Resümee: Conditional Vendi Score

Problemstellung

Generative KI-Modelle, insbesondere solche, die durch Text-Prompts gesteuert werden (z. B. LLMs, Text-zu-Bild- und Text-zu-Video-Modelle), werden primär hinsichtlich ihrer Fidelity (Übereinstimmung mit dem Prompt) und Qualität evaluiert. Während Diversität ein kritischer Metrikwert für unkonditionierte generative Modelle ist, sind bestehende Diversitätsmaße wie der Vendi-Score und die Rényi-Kernel-Entropie (RKE) für promptgesteuerte Systeme ungeeignet.

Aktuelle Metriken behandeln alle Variationen in einem Satz generierter Stichproben als eine einzige Quelle. Sie versäumen es, zwischen Folgendem zu unterscheiden:

Prompt-induzierte Diversität: Variation, die aus den Unterschieden in den Eingabe-Prompts resultiert (z. B. das Generieren eines „Hundes“ vs. einer „Katze“).
Modell-induzierte Diversität: Variation, die aus der internen Stochastizität des Modells resultiert, wenn ähnliche oder identische Prompts gegeben werden (z. B. das Generieren verschiedener Hunderassen für denselben „Hund“-Prompt).

Diese Vermischung verzerrt Diversitätsvergleiche. Ein Modell könnte allein deshalb divers erscheinen, weil es mit einer breiten Palette von Prompts getestet wurde, was einen Mangel an interner Variabilität maskiert, oder umgekehrt. Die Arbeit adressiert die Notwendigkeit einer prompt-bewussten Diversitätsbewertung, welche die modell-induzierte Variabilität isoliert.

Methodik

Die Autoren schlagen Conditional-Vendi und Conditional-RKE vor, Diversitätswerte, die aus der bedingten Entropie von positiv semidefiniten (PSD) Kernel-Matrizen abgeleitet sind.

Theoretischer Rahmen

Der Ansatz erweitert die informationstheoretischen Definitionen von Vendi (von-Neumann-Entropie) und RKE (Ordnung-2 Rényi-Entropie) auf den konditionierten Kontext. Gegeben sei ein Satz von Prompt-Output-Paaren $\{(t_i, x_i)_{i=1}^n\}$ , wobei $T$ die Prompts und $X$ die Outputs repräsentiert:

Kernel-Matrizen: Die Methode konstruiert normalisierte Kernel-Matrizen $K_X$ (für Outputs) und $K_T$ (für Prompts).
Bedingte Entropie: Sie definiert die bedingte Entropie des Output-Kernels gegeben den Prompt-Kernel mittels des Hadamard-Produkts (elementweise Produkt):
$H(X|T) = H(K_X \odot K_T) - H(K_T)$
wobei $H(\cdot)$ die matrixbasierte Entropie bezeichnet (von-Neumann für Vendi, Ordnung-2 Rényi für RKE).
Dekomposition: Der gesamte Diversitätswert dekomponiert sich in:
$\text{Vendi}(X) = \text{Conditional-Vendi}(X|T) \times \text{Information-Vendi}(X; T)$
Hierbei isoliert Conditional-Vendi die Diversität der Outputs gegeben die Prompts (modell-induziert), während Information-Vendi die Mutual Information zwischen Prompts und Outputs erfasst.

Skalierbarkeit und Konvergenz

Conditional-RKE: Die Autoren beweisen, dass Conditional-RKE eine $O(1/\sqrt{n})$ -Konvergenzrate genießt und rechnerisch effizient ( $O(n^2)$ ) ist, da sie auf Frobenius-Normen basiert und die vollständige Eigenzerlegung vermeidet. Sie leidet nicht unter Dimensionsabhängigkeit.
Conditional-Vendi: Die direkte Schätzung von Conditional-Vendi leidet unter dem „Fluch der Dimensionalität“, mit einer Konvergenzrate, die von dem Produkt der Merkmalsdimensionen der Text- und Bild-Kernel ( $d_X d_T$ ) abhängt. Um dies zu adressieren, führen die Autoren eine Spektrum-trunkierte Approximation ein. Durch das Behalten nur der Top- $t$ Eigenwerte und die anschließende Renormierung erreichen sie einen skalierbaren Schätzer mit einer Konvergenzrate von $\tilde{O}(\sqrt{t/n})$ , die unabhängig von den Merkmalsdimensionen ist.

Anwendung: Guidance

Die Arbeit erweitert diese Metriken auf die Guidance in Diffusionsmodellen. Durch die Maximierung des trunkierten Conditional-Vendi-Scores während des Sampling-Prozesses (via Gradientenaufstieg im latenten Raum) wird das Modell dazu angeregt, Outputs zu generieren, die im Hinblick auf die Prompt-Verteilung divers sind, anstatt nur im umgebenden Raum.

Zentrale Beiträge

Prompt-bewusste Metriken: Einführung von Conditional-Vendi und Conditional-RKE als die ersten Diversitätsmaße, die speziell darauf ausgelegt sind, modell-induzierte Variabilität von prompt-induzierter Variabilität zu trennen.
Theoretische Garantien: Etablierung von endlichen Stichproben-Konvergenzgrenzen für beide Scores. Bemerkenswerterweise zeigt der Beweis für Conditional-RKE eine dimensionsunabhängige Konvergenz, während das trunkierte Conditional-Vendi eine skalierbare Alternative für hochdimensionale Embeddings bietet.
Trunkierungs-Methode: Eine neuartige Anpassung der Eigen-Spektrum-Trunkierung an den konditionierten Kontext, die eine konsistente Schätzung für großskalige generative Aufgaben ermöglicht, bei denen die Stichprobengrößen im Verhältnis zu den Embedding-Dimensionen begrenzt sind.
Empirische Validierung: Umfassende Evaluierung über vier Domänen hinweg:
- Text-zu-Bild: Modelle einschließlich Stable Diffusion XL, Flux und PixArt.
- Text-zu-Video: Modelle einschließlich VideoCrafter, Show-1 und Open-Sora.
- Bildbeschreibung (Image Captioning): Modelle einschließlich BLIP-2, GIT und GPT-4o-mini.
- LLMs: Modelle einschließlich Llama 2 und Gemma.
Guidance-Mechanismus: Demonstration, dass Conditional-Vendi-Guidance die Stichproben-Diversität in Diffusionsmodellen verbessern kann, während die Prompt-Alignment (Fidelity) gewahrt bleibt.

Ergebnisse

Wiederherstellung der Ground-Truth: In kontrollierten Experimenten, in denen die Ground-Truth-Diversitätsordnung bekannt war (z. B. durch Variation der Anzahl der spezifizierten Tierarten in den Prompts), konnten die konditionierten Scores die beabsichtigten Rankings erfolgreich wiederherstellen. Unkonditionierte Scores (Standard-Vendi/RKE) scheiterten daran, zwischen prompt-getriebener und modell-getriebener Diversität zu unterscheiden.
Konvergenz: Experimente mit MS-COCO-Daten zeigten, dass Conditional-RKE und das trunkierte Conditional-Vendi mit moderaten Stichprobengrößen (z. B. ~15.000 Stichproben) konvergieren, während das nicht-trunkierte Conditional-Vendi innerhalb praktikabler Rechenlimits nicht konvergierte.
Modellvergleich: Die Scores zeigten, dass verschiedene Modelle unterschiedliche Ebenen intrinsischer Diversität aufweisen. Beispielsweise demonstrierte Open-Sora im Bereich Text-zu-Video eine höhere konditionierte Diversität als VideoCrafter. Bei LLMs korrelierte die Erhöhung des Temperatur-Parameters mit steigenden Conditional-Vendi- und RKE-Scores, was eine höhere Output-Diversität widerspiegelt.
Effektivität der Guidance: Die Anwendung von Conditional-Vendi-Guidance auf Stable Diffusion XL und PixArt führte im Vergleich zur Standard-Vendi-Guidance zu einer höheren Stichproben-Diversität (gemessen an Vendi und In-Batch-Ähnlichkeit) und einer besseren Übereinstimmung mit Prompt-Kategorien, ohne die Text-Bild-Alignment (CLIPScore) zu verschlechtern.

Bedeutung und Ansprüche

Das Paper behauptet, dass Conditional-Vendi und Conditional-RKE eine notwendige Evolution in der Evaluierung generativer Modelle darstellen. Durch die Isolierung der modell-induzierten Diversität ermöglichen diese Metriken Forschern und Praktikern:

Die intrinsische Variabilität eines generativen Modells genau zu bewerten, unabhängig von der verwendeten Prompt-Verteilung für Tests.
Zu identifizieren, ob die „Diversität“ eines Modells lediglich das Ergebnis einer breiten Prompt-Abdeckung oder echte stochastische Generationsfähigkeiten ist.
Den generativen Prozess in Richtung diverserer Outputs zu lenken, die den Prompt-Kontext respektieren, wodurch das Problem des „Mode Collapse“ oder der Überdeterminierung, das oft bei hoch-fidelity Diffusionsmodellen auftritt, adressiert wird.

Die Autoren positionieren diese Scores als fundamentales Werkzeug für die nächste Generation der prompt-konditionierten generativen KI und bieten einen rigorosen, informationstheoretischen Ansatz für ein Problem, das bisher nur durch heuristische oder unkonditionierte Methoden behandelt wurde.