Concentration bounds on response-based vector embeddings of black-box generative models

Sintesi Tecnica: Limiti di Concentrazione sui Vector Embedding di Risposta di Modelli Generativi Black-Box

Problema
I modelli generativi, come i grandi modelli linguistici (LLM) e i modelli di diffusione text-to-image, sono sempre più onnipresenti, pur funzionando spesso come scatole nere (black box), in cui le loro forme funzionali interne sono inaccessibili. Per eseguire analisi statistiche e inferenze su una collezione di tali modelli, i ricercatori necessitano di metodi per rappresentarli come vettori in uno spazio euclideo a dimensione finita basandosi sulle loro risposte a query dell'utente. Sebbene esistano metodi come l'embedding Data Kernel Perspective Space (DKPS) per generare queste rappresentazioni vettoriali computando le dissimilarità a coppie delle risposte dei modelli, la letteratura esistente si è concentrata principalmente sulla consistenza asintotica. Manca una base teorica per scenari a campioni finiti, in particolare riguardo a quanti campioni di risposta siano necessari per stimare le rappresentazioni vettoriali a livello di popolazione con un determinato livello di accuratezza e confidenza. Questo articolo affronta la necessità di limiti di concentrazione ad alta probabilità per questi embedding vettoriali basati su campioni.

Metodologia
Il documento utilizza il framework di embedding DKPS, una variante del Classical Multidimensional Scaling (MDS). L'impostazione coinvolge un insieme di $n$ modelli generativi $\{f_1, \dots, f_n\}$ che rispondono a $m$ query $\{q_1, \dots, q_m\}$.

1. Livello di Popolazione: La vera risposta del modello $f_i$ alla query $q_j$ è un vettore casuale $g(f_i(q_j))$ con distribuzione $F_{ij}$. La rappresentazione della popolazione è definita dalla matrice delle risposte attese $\mu_i$. Le dissimilarità di popolazione a coppia $\Delta_{ii'}$ sono calcolate come la norma di Frobenius normalizzata della differenza tra $\mu_i$ e $\mu_{i'}$. Queste dissimilarità sono embeddate in $\mathbb{R}^d$ tramite MDS per ottenere le vere prospettive $\psi$.
2. Livello di Campione: Poiché le vere distribuzioni sono sconosciute, gli autori utilizzano $r$ repliche indipendenti e identicamente distribuite (iid) delle risposte per ogni coppia modello-query per stimare le medie delle risposte $\bar{X}_i$. Viene costruita una matrice di dissimilarità campionaria $D$.
3. Embedding: La matrice di dissimilarità campionaria è doppiamente centrata per formare $\hat{B}$, e viene applicato l'MDS per ottenere gli embedding vettoriali campionari $\hat{\psi}$.

L'approccio teorico centrale consiste nello stabilire disuguaglianze di concentrazione per la norma spettrale della differenza tra la matrice campionaria $\hat{B}$ e la matrice di popolazione $B$. Gli autori si affidano ai limiti di perturbazione per autovettori (Teorema di Davis-Kahan) e autovalori (Disuguaglianza di Weyl) per relazionare l'errore nelle matrici di dissimilarità con l'errore nei risultanti embedding vettoriali.

Assunzioni Chiave
I risultati teorici si basano su due assunzioni primarie:

• Assunzione 1 (Distributiva): Le risposte medie concatenate standardizzate sono a coda leggera (light-tailed) con voci non correlate. Nello specifico, la densità del vettore standardizzato è proporzionale a $e^{-U(w)}$ con un Hessiano limitato inferiormente, e le risposte sono quasi certamente limitate. Ciò è giustificato dal Teorema del Limite Centrale per grandi dimensioni di campione e dalla natura a token finiti degli output degli LLM.
• Assunzione 2 (Rango): Il rango della matrice di dissimilarità di popolazione $B$ è una costante $d$ che non cresce con $n$. Ciò implica che le vere prospettive risiedano in uno spazio a dimensione fissa.

Risultati Chiave
Il documento stabilisce limiti di concentrazione ad alta probabilità per l'errore di stima degli embedding vettoriali:

1. Concentrazione della Matrice (Teorema 1): Sotto l'Assunzione 1 e assumendo che la traccia delle matrici di covarianza delle risposte sia uniformemente limitata da $\Gamma$, l'errore della norma spettrale $\|\hat{B} - B\|$ è limitato con probabilità almeno $1 - e^{-nc}$ da un termine che scala come $\frac{n}{\sqrt{mr}} + \frac{1}{r}$.
2. Concentrazione dell'Embedding (Teorema 2): Sotto le Assunzioni 1 e 2, e una condizione di rapporto segnale-rumore, esiste una matrice ortogonale $W^*$ tale che l'errore di stima $\|\hat{\psi}W^* - \psi\|$ è limitato con alta probabilità. Il limite scala con il numero di condizionamento di $B$ e il termine $\left(\frac{n}{\sqrt{mr}} + \frac{1}{r}\right)$.
3. Condizioni di Consistenza (Proposizione 2): Il documento fornisce una condizione sufficiente affinché gli autovalori di $B$ crescano linearmente con $n$ (specificamente $\lambda_d(B) \geq C(d)n$). Ciò avviene se la collezione di matrici di risposta media di popolazione contiene solo un numero finito di membri distinti (comunità) con appartenenza proporzionale. In queste condizioni, se il numero di repliche $r$ cresce più velocemente di $n^2$ (ovvero $r = \omega(n^2)$) mentre $m$ è costante, l'errore di stima tende a zero.

Esperimenti Numerici
Gli autori validano i loro limiti teorici attraverso due esperimenti:

• Simulazioni: Utilizzando vettori casuali ad alta dimensionalità per simulare le risposte degli LLM, lo studio dimostra che all'aumentare di $n$ (con $r \approx n^{2.25}$), l'errore di stima empirica diminuisce e rimane ben entro il limite superiore teorico. I limiti hanno retto per il 100% dei campioni Monte Carlo.
• Analisi di Dati Reali: Utilizzando il modello Google-gemma-2-2b-it e Nomic-embed-text-v2-moe, gli autori hanno campionato le risposte a due query specifiche. Con $r \approx n^{2.75}$, l'errore di stima empirica è stato costantemente inferiore al limite teorico attraverso vari valori di $n$, raggiungendo una copertura empirica del 100%.

Significato e Rivendicazioni
Il documento sostiene di fornire i primi limiti di concentrazione ad alta probabilità e a campioni finiti per gli embedding vettoriali basati sulla risposta di modelli generativi black-box. La significatività risiede in:

• Guida Pratica: I limiti offrono una base teorica per determinare la dimensione campionaria necessaria $r$ per raggiungere una desiderata accuratezza nelle attività di inferenza (ad esempio, testare se due modelli hanno la stessa prospettiva) con un determinato livello di confidenza.
• Analisi dei Trade-off: I risultati suggeriscono che l'accuratezza può essere migliorata non solo aumentando il numero di repliche ($r$), ma anche aumentando il numero di query ($m$), sebbene il documento noti che il trade-off tra $m$ e la qualità degli stimatori riga per riga richieda ulteriori indagini.
• Fondamento Non Asintotico: Stabilendo questi limiti, il lavoro facilita l'analisi statistica nel regime non asintotico, andando oltre l'assunzione irrealistica di dimensioni di campione infinite.
• Setting Realistico: La metodologia opera in un contesto black-box, richiedendo solo l'accesso alle risposte del modello, il che la rende applicabile a modelli reali proprietari o a codice chiuso.

Gli autori notano con modestia che la loro condizione riguardante il rango di $B$ e la crescita degli autovalori è sufficiente ma potrebbe essere rilassata in lavori futuri per accomodare scenari con un numero crescente di comunità di modelli distinte. Essi ipotizzano inoltre che la loro condizione di rapporto segnale-rumore sia necessaria, tracciando parallelismi con contesti più semplici della letteratura esistente.