Technisches Resümee: PromptSplit

Problemstellung

Prompt-gesteuerte generative KI-Modelle (sowohl im Bereich Vision als auch Sprache) haben sich rasant verbreitet, doch systematische Methoden zum Vergleich ihres Verhaltens in Bezug auf spezifische Eingabe-Prompts sind nach wie vor begrenzt. Bestehende Evaluierungsmetriken wie FID, Inception Score und CLIP-Score liefern aggregierte Qualitätsindikatoren, die das Modellverhalten in einzelne Skalarwerte komprimieren. Diese Metriken verschleiern oft promptabhängige Diskrepanzen. Beispielsweise können zwei Modelle für einen gegebenen Prompt qualitativ hochwertige Bilder erzeugen, sich aber signifikant in der Inhalts- oder Stil-Ausprägung basierend auf spezifischen Prompt-Kategorien unterscheiden (z. B. erzeugt ein Modell konsistent männliche Figuren, während ein anderes für den Prompt „eine Person“ weibliche Figuren erzeugt). Aktuelle spektrale und distributionale Vergleichsmethoden operieren typischerweise in einem prompt-freien Setting, wodurch sie über Prompts marginalisieren und daran scheitern, die spezifischen Eingabekategorien zu isolieren, die für die behaviorale Divergenz verantwortlich sind.

Methodik

Die Autoren schlagen PromptSplit vor, ein prompt-bewusstes, unüberwachtes spektrales Framework, das darauf ausgelegt ist, promptabhängige Unstimmigkeiten zwischen zwei generativen Modellen zu detektieren und zu analysieren.

1. Gemeinsame Prompt-Output-Repräsentation

PromptSplit konstruiert eine gemeinsame Repräsentation durch die Bildung von Tensorprodukt-Embeddings der Prompt-Merkmale ($\phi_T$) und der Output-Merkmale ($\phi_X$ oder $\phi_Y$). Für einen Prompt $t$ und einen Output $x$ ist das gemeinsame Feature definiert als:
$$\phi^\otimes(t, x) = \phi_T(t) \otimes \phi_X(x)$$
Dies induziert einen Produktkern $k^\otimes([t, x], [t', x']) = k_T(t, t') \cdot k_X(x, x')$, der multiplikative Interaktionen zwischen dem Input- und dem Output-Raum erfasst.

2. Kernel-Kovarianz-Differenz

Für zwei Datensätze $D_X$ (von Modell $X$) und $D_Y$ (von Modell $Y$) berechnet die Methode empirische gemeinsame Kernel-Kovarianzoperatoren $\hat{C}_{T \otimes X}$ und $\hat{C}_{T \otimes Y}$. Der Kern der Analyse ist der Kovarianz-Differenz-Operator:
$$\hat{\Lambda}_{X,Y|T} = \hat{C}_{T \otimes X} - \eta \hat{C}_{T \otimes Y}$$
wobei $\eta$ ein Hyperparameter ist. Die primären Eigenvektoren dieses Operators zeigen die Richtungen im gemeinsamen Raum auf, in denen die beiden Modelle die signifikantesten Verhaltensunterschiede aufweisen.

3. Kernel-Trick und Spektralanalyse

Die direkte Eigendekomposition des hochdimensionalen Kovarianzoperators ist rechnerisch nicht praktikabel. Die Autoren wenden den Kernel-Trick an, um eine Block-Kernel-Matrix $K_{X,\eta Y|T}$ der Größe $(n+m) \times (n+m)$ zu formulieren, die dieselben nicht-null Eigenwerte wie der hochdimensionale Operator besitzt. Die Eigenvektoren dieser Blockmatrix entsprechen den Unstimmigkeitsmodi im gemeinsamen Raum.

4. Skalierbare Random-Projektion

Um große Datensätze zu handhaben (bei denen $n, m$ zehntausende überschreiten), verwendet PromptSplit eine Random-Projection-Approximation. Die gemeinsamen Tensor-Features werden mithilfe von Gaußschen Zufallsmatrizen auf eine niedrigere Dimension $r$ projiziert. Dies reduziert die rechnerische Komplexität der spektralen Dekomposition von $O((n+m)^3)$ auf $O((n+m)r^2 + r^3)$.

• Theoretische Garantie: Das Paper beweist, dass die erwartete Abweichung der Eigenspace-Schätzung vom voll dimensionalen Ergebnis durch $O(1/r^2)$ begrenzt ist, was sicherstellt, dass die Approximation die Divergenzrichtungen mit hoher Wahrscheinlichkeit bewahrt.

Zentrale Beiträge

1. Vergleich auf Prompt-Ebene: Die Arbeit formuliert den Modellvergleich als ein gemeinsames Prompt-Output-Spektralproblem und geht damit über aggregierte Metriken hinaus, um spezifische Prompt-Kategorien zu identifizieren, die divergente Modellbehaviors verursachen.
2. PromptSplit-Framework: Einführung eines kernelbasierten Frameworks, das Prompts und Outputs via Tensorprodukt-Embeddings koppelt, um den Eigenspektrum der gemeinsamen Kernel-Kovarianzdifferenzen zu analysieren.
3. Skalierbare Approximation: Entwicklung einer Random-Projection-Methode, die die Analyse großer Datensätze mit einem theoretischen Fehlerschrank von $O(1/r^2)$ ermöglicht und die Methode für die reale Evaluierung generativer Modelle praktikabel macht.
4. Interpretierbarkeit: Die Methode liefert interpretierbare „Modi“ der Unstimmigkeit, die spezifische Prompt-Cluster explizit mit der Art der Output-Divergenz verknüpfen.

Experimentelle Ergebnisse

Die Autoren evaluierten PromptSplit in Text-zu-Bild (T2I) und Text-zu-Text (LLM) Settings:

• Synthetische Validierung: In kontrollierten Settings (z. B. MNIST-M mit bekannten Farbschema-/Graustufen-Prompt-Mismatches) identifizierte PromptSplit erfolgreich die Ground-Truth-Prompt-Kategorien, die für die Unstimmigkeit verantwortlich waren.
• Text-zu-Bild-Modelle: Vergleiche zwischen Stable Diffusion XL, PixArt-$\Sigma$ und Kandinsky offenbarten promptabhängige Divergenzen in Stil, Komposition und Alignment. Beispielsweise identifizierte die Methode spezifische berufsbasierte Prompts (z. B. „Krankenschwester“, „Zimmermann“), bei denen die Modelle signifikant unterschiedliche visuelle Repräsentationen erzeugten.
• Große Sprachmodelle (LLMs): Vergleiche zwischen Qwen 3 und Gemma 3 auf dem NQ-Open-Datensatz identifizierten distinkte Cluster von Fragen (z. B. zu US-Präsidenten oder Schauspielern), bei denen die Modelle divergierende Antworten generierten.
• Anwendung zur Steuerung (Guidance): Die Autoren demonstrierten die Nutzung von PromptSplit zur Steuerung des Latent-Diffusion-Prozesses und zeigten, wie die Verteilung generierter Bilder erfolgreich an einen Referenzdatensatz (z. B. spezifische Malstile) angepasst werden kann, indem der Disagreement-Gradient in den Sampling-Prozess integriert wird.

Bedeutung und Ansprüche

Das Paper behauptet, dass PromptSplit ein prinzipienbasiertes, interpretierbares Werkzeug zur Detektion dessen bietet, wo und wie generative Modelle voneinander abweichen, und damit eine Lücke lässt, die durch aggregierte Qualitätsmetriken hinterlassen wurde. Durch die explizite Modellierung des gemeinsamen Prompt-Output-Raums isoliert es die spezifischen Eingabekategorien, welche die behavioralen Unterschiede antreiben.

Die Autoren positionieren PromptSplit als eine embedding-basierte, zweiter Ordnung spektrale Methode. Sie merken bescheiden an, dass das Design zwar Skalierbarkeit und Interpretierbarkeit ermöglicht, aber nicht darauf abzielt, alle höherwertigen Aspekte des konditionalen generativen Verhaltens zu charakterisieren. Die Arbeit wird als Schritt hin zu einer granulareren, prompt-konditionierten Evaluierung des wachsenden Ökosystems generativer KI-Modelle präsentiert. Die Implementierung wurde öffentlich zugänglich gemacht, um die weitere Forschung in diesem Bereich zu fördern.