Riepilogo Tecnico: Vendi Score Condizionale

Definizione del Problema

I modelli di IA generativa, in particolare quelli guidati da prompt testuali (ad esempio, LLM, text-to-image e text-to-video), sono valutati prevalentemente per la fedeltà (allineamento con il prompt) e la qualità. Sebbene la diversità sia una metrica critica per i modelli generativi incondizionati, le metriche di diversità esistenti, come il Vendi score e la Rényi Kernel Entropy (RKE), sono inadatte per i sistemi guidati da prompt.

Le metriche attuali trattano tutta la variabilità in un insieme di campioni generati come un'unica fonte. Esse non riescono a distinguere tra:

1. Diversità indotta dal prompt: Variabilità derivante dalle differenze nei prompt di input (ad esempio, generare un "cane" rispetto a un "gatto").
2. Diversità indotta dal modello: Variabilità derivante dalla stocasticità interna del modello quando riceve prompt simili o identici (ad esempio, generare diverse razze di cani per lo stesso prompt "cane").

Questa conflazione distorce i confronti sulla diversità. Un modello potrebbe apparire diversificato semplicemente perché è stato testato su una vasta gamma di prompt, mascherando una mancanza di variabilità interna, o viceversa. Il documento affronta la necessità di una valutazione della diversità consapevole del prompt che isoli la variabilità indotta dal modello.

Metodologia

Gli autori propongono il Conditional-Vendi e il Conditional-RKE, punteggi di diversità derivati dall'entropia condizionata di matrici kernel semidefinite positive (PSD).

Quadro Teorico

L'approccio estende le definizioni informazionali di Vendi (entropia di von Neumann) e RKE (entropia di Rényi di ordine 2) al contesto condizionato. Dato un insieme di coppie prompt-output $\{(t_i, x_i)\}_{i=1}^n$, dove $T$ rappresenta i prompt e $X$ gli output:

• Matrici Kernel: Il metodo costruisce matrici kernel normalizzate $K_X$ (per gli output) e $K_T$ (per i prompt).
• Entropia Condizionata: Definisce l'entropia condizionata dell'output kernel dato il prompt kernel utilizzando il prodotto di Hadamard (elemento per elemento):
  $$H(X|T) = H(K_X \odot K_T) - H(K_T)$$
  dove $H(\cdot)$ denota l'entropia basata su matrice (von Neumann per Vendi, Rényi di ordine 2 per RKE).
• Decomposizione: Il punteggio totale della diversità si decompone in:
  $$\text{Vendi}(X) = \text{Conditional-Vendi}(X|T) \times \text{Information-Vendi}(X; T)$$
  Qui, il Conditional-Vendi isola la diversità degli output dato i prompt (indotta dal modello), mentre l'Information-Vendi cattura l'informazione mutua tra prompt e output.

Scalabilità e Convergenza

• Conditional-RKE: Gli autori dimostrano che il Conditional-RKE gode di un tasso di convergenza $O(1/\sqrt{n})$ ed è computazionalmente efficiente ($O(n^2)$) perché si basa sulle norme di Frobenius, evitando la decomposizione completa in autovettori. Non soffre della dipendenza dalla dimensione.
• Conditional-Vendi: La stima diretta del Conditional-Vendi soffre della "maledizione della dimensionalità", con un tasso di convergenza dipendente dal prodotto delle dimensioni delle feature dei kernel di testo e immagine ($d_X d_T$). Per affrontare questo problema, gli autori introducono un'approssimazione a spettro troncato. Trattenendo solo i primi $t$ autovalori e rinormalizzando, ottengono uno stimatore scalabile con un tasso di convergenza di $\tilde{O}(\sqrt{t/n})$, indipendente dalle dimensioni delle feature.

Applicazione: Guida (Guidance)

Il documento estende queste metriche alla guida (guidance) nei modelli di diffusione. Massimizzando il punteggio Conditional-Vendi troncato durante il processo di campionamento (tramite l'ascesa del gradiente nello spazio latente), il modello è incoraggiato a generare output che siano diversificati rispetto alla distribuzione dei prompt, piuttosto che semplicemente diversificati nello spazio ambiente.

Contributi Chiave

1. Metriche Consapevoli del Prompt: Introduzione di Conditional-Vendi e Conditional-RKE come i primi punteggi di diversità progettati specificamente per disgiungere la variabilità indotta dal modello dalla variabilità indotta dal prompt.
2. Garanzie Teoriche: Stabilimento di limiti di convergenza a campioni finiti per entrambi i punteggi. In particolare, la prova per il Conditional-RKE dimostra una convergenza indipendente dalla dimensione, mentre il Conditional-Vendi troncato offre un'alternativa scalabile per embedding ad alta dimensione.
3. Metodo di Troncamento: Un'innovativa adattamento del troncamento dello spettro autovalorale al contesto condizionato, consentendo una stima coerente per compiti generativi su larga scala dove le dimensioni dei campioni sono limitate rispetto alle dimensioni degli embedding.
4. Validazione Empirica: Valutazione completa in quattro domini:
   • Text-to-Image: Modelli inclusi Stable Diffusion XL, Flux e PixArt.
   • Text-to-Video: Modelli inclusi VideoCrafter, Show-1 e Open-Sora.
   • Image Captioning: Modelli inclusi BLIP-2, GIT e GPT-4o-mini.
   • LLM: Modelli inclusi Llama 2 e Gemma.
5. Meccanismo di Guida: Dimostrazione che la guida tramite Conditional-Vendi può migliorare la diversità dei campioni nei modelli di diffusione mantenendo l'allineamento con il prompt (fedeltà).

Risultati

• Recupero della Verità Fondamentale (Ground-Truth): In esperimenti controllati in cui l'ordinamento della diversità reale era noto (ad esempio, variando il numero di tipi di animali specificati nei prompt), i punteggi condizionati hanno recuperato con successo le classifiche previste. I punteggi incondizionati (Vendi/RKE standard) non sono riusciti a distinguere tra diversità guidata dal prompt e guidata dal modello.
• Convergenza: Esperimenti su dati MS-COCO hanno mostrato che il Conditional-RKE e il Conditional-Vendi troncato convergono con dimensioni di campione moderate (ad esempio, ~15.000 campioni), mentre il Conditional-Vendi non troncato non è riuscito a convergere entro limiti computazionali fattibili.
• Confronto tra Modelli: I punteggi hanno rivelato che diversi modelli mostrano livelli differenti di diversità intrinseca. Ad esempio, nel text-to-video, Open-Sora ha dimostrato una diversità condizionata superiore rispetto a VideoCrafter. Negli LLM, l'aumento del parametro di temperatura è correlato a un aumento dei punteggi Conditional-Vendi e RKE, riflettendo una maggiore diversità di output.
• Efficacia della Guida: L'applicazione della guida Conditional-Vendi a Stable Diffusion XL e PixArt ha prodotto una maggiore diversità di campioni (misurata tramite Vendi e similarità in batch) e un migliore allineamento con le categorie dei prompt rispetto alla guida Vendi standard, senza degradare l'allineamento testo-immagine (CLIPScore).

Significato e Rivendicazioni

Il documento sostiene che Conditional-Vendi e Conditional-RKE rappresentino un'evoluzione necessaria nella valutazione dei modelli generativi. Isolando la diversità indotta dal modello, queste metriche permettono a ricercatori e professionisti di:

• Valutare accuratamente la variabilità intrinseca di un modello generativo, indipendentemente dalla distribuzione dei prompt utilizzati per il test.
• Identificare se la "diversità" di un modello è semplicemente il risultato di una vasta copertura dei prompt o di reali capacità di generazione stocastica.
• Guidare i processi generativi verso output più diversificati che rispettino il contesto del prompt, affrontando il problema del "mode collapse" o dell'over-determinismo spesso riscontrato nei modelli di diffusione ad alta fedeltà.

Gli autori posizionano questi punteggi come uno strumento fondamentale per la prossima generazione di IA generativa condizionata ai prompt, offrendo un approccio rigoroso e basato sulla teoria dell'informazione a un problema precedentemente affrontato solo con metodi euristici o incondizionati.