Concentration bounds on response-based vector embeddings of black-box generative models

Technische Samenvatting: Concentratiegrenzen voor Responsgebaseerde Vector-embeddings van Black-Box Generatieve Modellen

Probleemstelling
Generatieve modellen, zoals grote taalmodellen (LLM's) en tekst-naar-beeld diffusiemodellen, zijn steeds vaker alomtegenwoordig, maar functioneren vaak als black boxes waarbij hun interne functionele vormen ontoegankelijk zijn. Om statistische analyse en inferentie op een collectie van dergelijke modellen uit te voeren, hebben onderzoekers methoden nodig om deze te representeren als vectoren in een eindig-dimensionale Euclidische ruimte op basis van hun reacties op gebruikersvragen. Hoewel methoden zoals de Data Kernel Perspective Space (DKPS) embedding bestaan om deze vectorrepresentaties te genereren door het berekenen van paarwijze dissimilariteiten van modelresponsen, heeft de bestaande literatuur zich primair gericht op asymptotische consistentie. Er is een gebrek aan theoretische garanties voor scenario's met eindige steekproeven, met name met betrekking tot hoeveel steekproefresponsen vereist zijn om populatie-niveau vectorrepresentaties te schatten met een specifieke nauwkeurigheid en betrouwbaarheidsniveau. Dit artikel adresseert de behoefte aan hoog-waarschijnlijkheid concentratiegrenzen voor deze steekproefgebaseerde vector-embeddings.

Methodologie
Het artikel maakt gebruik van het DKPS-embeddingframework, een variant van Klassieke Multidimensionale Schaling (MDS). De setting betreft een verzameling van $n$ generatieve modellen $\{f_1, \dots, f_n\}$ die reageren op $m$ queries $\{q_1, \dots, q_m\}$.

1. Populatieniveau: De ware respons van model $f_i$ op query $q_j$ is een willekeurige vector $g(f_i(q_j))$ met distributie $F_{ij}$. De populatie-representatie wordt gedefinieerd door de matrix van verwachte responsen $\mu_i$. Paarwijze populatie-dissimilariteiten $\Delta_{ii'}$ worden berekend als de genormaliseerde Frobeniusnorm van het verschil tussen $\mu_i$ en $\mu_{i'}$. Deze dissimilariteiten worden via MDS geëmbed in $\mathbb{R}^d$ om ware perspectieven $\psi$ te verkrijgen.
2. Steekproefniveau: Omdat de ware distributies onbekend zijn, gebruiken de auteurs $r$ onafhankelijke en identiek verdeelde (iid) replica's van responsen voor elk model-query-paar om de gemiddelde responsen $\bar{X}_i$ te schatten. Een steekproef dissimilariteitsmatrix $D$ wordt geconstrueerd uit deze empirische gemiddelden.
3. Embedding: De steekproef dissimilariteitsmatrix wordt dubbel gecentreerd om $\hat{B}$ te vormen, waarna MDS wordt toegepast om de steekproef vector-embeddings $\hat{\psi}$ te verkrijgen.

De kern van de theoretische aanpak bestaat uit het vaststellen van concentratie-ongelijkheden voor de spectrale norm van het verschil tussen de steekproefmatrix $\hat{B}$ en de populatiematrix $B$. De auteurs vertrouwen op perturbatiegrenzen voor eigenvectoren (Davis-Kahan Stelling) en eigenwaarden (Weyl's Ongelijkheid) om de fout in de dissimilariteitsmatrices te relateren aan de fout in de resulterende vector-embeddings.

Belangrijkste Aannames
De theoretische resultaten rusten op twee primaire aannames:

• Aanname 1 (Distributioneel): De gestandaardiseerde geconcateneerde gemiddelde responsen zijn licht-staartig (light-tailed) met ongecorreleerde entries. Specifiek is de dichtheid van de gestandaardiseerde vector proportioneel aan $e^{-U(w)}$ met een Hessiaan die naar beneden begrensd is, en de responsen zijn bijna zeker begrensd. Dit wordt gerechtvaardigd door de Centrale Limietstelling voor grote steekproefgroottes en de eindige token-aard van LLM-outputs.
• Aanname 2 (Rang): De rang van de populatie dissimilariteitsmatrix $B$ is een constante $d$ die niet groeit met $n$. Dit impliceert dat de ware perspectieven zich in een vast-dimensionale ruimte bevinden.

Belangrijkste Resultaten
Het artikel stelt hoog-waarschijnlijkheid concentratiegrenzen vast voor de schattingsfout van de vector-embeddings:

1. Matrixconcentratie (Stelling 1): Onder Aanname 1 en uitgaande van de aanname dat de trace van de respons-covariantiematrices uniform begrensd is door $\Gamma$, is de spectrale norm fout $\|\hat{B} - B\|$ begrensd met een waarschijnlijkheid van ten minste $1 - e^{-nc}$ door een term die schaalt als $\frac{n}{\sqrt{mr}} + \frac{1}{r}$.
2. Embeddingconcentratie (Stelling 2): Onder Aannames 1 en 2, en een signaal-ruis conditie, bestaat er een orthogonale matrix $W^*$ zodanig dat de schattingsfout $\|\hat{\psi}W^* - \psi\|$ met hoge waarschijnlijkheid begrensd is. De grens schaalt met de conditiegetal van $B$ en de term $\left(\frac{n}{\sqrt{mr}} + \frac{1}{r}\right)$.
3. Consistentiecondities (Propositie 2): Het artikel biedt een voldoende voorwaarde voor de eigenwaarden van $B$ om lineair met $n$ te groeien (specifiek $\lambda_d(B) \geq C(d)n$). Dit gebeurt indien de collectie van populatie gemiddelde respons-matrices slechts een eindig aantal verschillende leden (communities) bevat met proportionele lidmaatschappen. Onder deze voorwaarden, indien het aantal replica's $r$ sneller groeit dan $n^2$ (d.w.z. $r = \omega(n^2)$) terwijl $m$ constant is, nadert de schattingsfout nul.

Numerieke Experimenten
De auteurs valideren hun theoretische grenzen via twee experimenten:

• Simulaties: Met behulp van synthetische hoog-dimensionale willekeurige vectoren om LLM-responsen te simuleren, demonstreert de studie dat naarmate $n$ toeneemt (met $r \approx n^{2.25}$), de empirische schattingsfout afneemt en binnen de theoretische bovengrens blijft. De grenzen hielden stand voor 100% van de Monte Carlo-steekproeven.
• Echte Data Analyse: Gebruikmakend van het Google-gemma-2-2b-it model en Nomic-embed-text-v2-moe, hebben de auteurs responsen gesampled op twee specifieke queries. Met $r \approx n^{2.75}$ was de empirische schattingsfout consistent kleiner dan de theoretische grens over diverse waarden van $n$, waarbij 100% empirische dekking werd bereikt.

Betekenis en Claims
Het artikel claimt de eerste finite-sample, hoog-waarschijnlijkheid concentratiegrenzen te bieden voor responsgebaseerde vector-embeddings van black-box generatieve modellen. De significantie ligt in:

• Praktische Begeleiding: De grenzen bieden een theoretische basis voor het bepalen van de noodzakelijke steekproefgrootte $r$ om een gewenste nauwkeurigheid te bereiken in inferentie-taken (bijv. testen of twee modellen dezelfde perspectief hebben) met een specifiek betrouwbaarheidsniveau.
• Trade-off Analyse: De resultaten suggereren dat nauwkeurigheid niet alleen verbeterd kan worden door het aantal replica's ($r$) te verhogen, maar ook door het aantal queries ($m$) te verhogen, hoewel het artikel opmerkt dat de trade-off tussen $m$ en de kwaliteit van rij-wijze schatters verder onderzoek vereist.
• Niet-Asymptotisch Fundament: Door deze grenzen vast te stellen, faciliteert dit werk statistische analyse in het niet-asymptotische regime, waarmee de onrealistische aanname van oneindige steekproefgroottes wordt overstegen.
• Realistische Setting: De methodologie opereert onder een black-box setting, waarbij enkel toegang vereist is tot modelresponsen, wat het toepasbaar maakt voor echte propriëtaire of gesloten bron modellen.

De auteurs merken bescheiden op dat hun conditie met betrekking tot de rang van $B$ en de groei van eigenwaarden voldoende is, maar in toekomstig werk versoepeld kan worden om scenario's met een toenemend aantal verschillende model-communities te accommoderen. Ze conjectureren ook dat hun signaal-ruis conditie noodzakelijk is, waarbij zij parallellen trekken met eenvoudiger settings in de bestaande literatuur.