Concentration bounds on response-based vector embeddings of black-box generative models

Résumé Technique : Bornes de Concentration sur les Plongements Vectoriels Basés sur les Réponses de Modèles Génératifs Boîte Noire

Énoncé du Problème
Les modèles génératifs, tels que les grands modèles de langage (LLM) et les modèles de diffusion texte-image, sont de plus en plus omniprésents mais fonctionnent souvent comme des boîtes noires, dont les formes fonctionnelles internes sont inaccessibles. Pour effectuer des analyses statistiques et des inférences sur une collection de tels modèles, les chercheurs ont besoin de méthodes pour les représenter sous forme de vecteurs dans un espace euclidien de dimension finie, basées sur leurs réponses aux requêtes des utilisateurs. Bien que des méthodes comme l'encastrement par Espace de Perspective de Noyau de Données (DKPS) existent pour générer ces représentations vectorielles en calculant les dissimilarités par paires des réponses des modèles, la littérature existante s'est principalement concentrée sur la cohérence asymptotique. Il existe un manque de garanties théoriques pour les scénarios à échantillon fini, particulièrement concernant le nombre de réponses d'échantillon requis pour estimer les représentations vectorielles au niveau de la population avec un niveau de précision et de confiance spécifique. Cet article répond au besoin de bornes de concentration à haute probabilité pour ces encastrements vectoriels basés sur l'échantillon.

Méthodologie
L'article utilise le cadre d'encastrement DKPS, une variante de la Mise en Échelle Multidimensionnelle (MDS) Classique. Le cadre implique un ensemble de $n$ modèles génératifs $\{f_1, \dots, f_n\}$ répondant à $m$ requêtes $\{q_1, \dots, q_m\}$.

1. Niveau Population : La réponse réelle du modèle $f_i$ à la requête $q_j$ est un vecteur aléatoire $g(f_i(q_j))$ suivant la distribution $F_{ij}$. La représentation de la population est définie par la matrice des réponses attendues $\mu_i$. Les dissimilarités de population par paires $\Delta_{ii'}$ sont calculées comme la norme de Frobenius normalisée de la différence entre $\mu_i$ et $\mu_{i'}$. Ces dissimilarités sont encastrées dans $\mathbb{R}^d$ via MDS pour produire les perspectives réelles $\psi$.
2. Niveau Échantillon : Puisque les vraies distributions sont inconnues, les auteurs utilisent $r$ réplicats indépendants et identiquement distribués (iid) des réponses pour chaque paire modèle-requête afin d'estimer les réponses moyennes $\bar{X}_i$. Une matrice de dissimilarité d'échantillon $D$ est construite à partir de ces moyennes empiriques.
3. Encastrement : La matrice de dissimilarité d'échantillon est décentrée doublement pour former $\hat{B}$, et la MDS est appliquée pour obtenir les encastrements vectoriels d'échantillon $\hat{\psi}$.

L'approche théorique centrale consiste à établir des inégalités de concentration pour la norme spectrale de la différence entre la matrice $\hat{B}$ et la matrice de population $B$. Les auteurs s'appuient sur les bornes de perturbation pour les vecteurs propres (Théorème de Davis-Kahan) et les valeurs propres (Inégalité de Weyl) pour relier l'erreur dans les matrices de dissimilarité à l'erreur dans les encastrements vectoriels résultants.

Hypothèses Clés
Les résultats théoriques reposent sur deux hypothèses principales :

• Hypothèse 1 (Distributionnelle) : Les réponses moyennes concaténées standardisées sont à queue légère avec des entrées non corrélées. Plus précisément, la densité du vecteur standardisé est proportionnelle à $e^{-U(w)}$ avec une Hessienne bornée inférieurement, et les réponses sont presque sûrement bornées. Ceci est justifié par le Théorème Central Limite pour de grands échantillons de tailles de tokens et la nature finie des sorties de LLM.
• Hypothèse 2 (Rang) : Le rang de la matrice de dissimilarité de population $B$ est une constante $d$ qui ne croît pas avec $n$. Cela implique que les perspectives réelles résident dans un espace de dimension fixe.

Résultats Clés
L'article établit des bornes de concentration à haute probabilité pour l'erreur d'estimation des encastrements vectoriels :

1. Concentration de Matrice (Théorème 1) : Sous l'Hypothèse 1 et en supposant que la trace des matrices de covariance des réponses est uniformément bornée par $\Gamma$, l'erreur de norme spectrale $\|\hat{B} - B\|$ est bornée avec une probabilité d'au moins $1 - e^{-nc}$ par un terme évoluant en $\frac{n}{\sqrt{mr}} + \frac{1}{r}$.
2. Concentration d'Encastrement (Théorème 2) : Sous les Hypothèses 1 et 2, et une condition de rapport signal sur bruit, il existe une matrice orthogonale $W^*$ telle que l'erreur d'estimation $\|\hat{\psi}W^* - \psi\|$ est bornée avec une haute probabilité. La borne évolue avec le nombre de condition de $B$ et le terme $\left(\frac{n}{\sqrt{mr}} + \frac{1}{r}\right)$.
3. Conditions de Cohérence (Proposition 2) : L'article fournit une condition suffisante pour que les valeurs propres de $B$ croissent linéairement avec $n$ (spécifiquement $\lambda_d(B) \geq C(d)n$). Cela se produit si la collection de matrices de réponses moyennes de population contient un nombre fini de membres distincts (communautés) avec une appartenance proportionnelle. Sous ces conditions, si le nombre de réplicats $r$ croît plus vite que $n^2$ (c'est-à-dire $r = \omega(n^2)$) tandis que $m$ est constant, l'erreur d'estimation approche zéro.

Expériences Numériques
Les auteurs valident leurs bornes théoriques à travers deux expériences :

• Simulations : En utilisant des vecteurs aléatoires de haute dimension synthétiques pour simuler les réponses de LLM, l'étude démontre qu'à mesure que $n$ augmente (avec $r \approx n^{2.25}$), l'erreur d'estimation empirique diminue et reste bien à l'intérieur de la borne supérieure théorique. Les bornes ont été respectées pour 100 % des échantillons de Monte Carlo.
• Analyse de Données Réelles : En utilisant le modèle Google-gemma-2-2b-it et Nomic-embed-text-v2-moe, les auteurs ont échantillonné des réponses à deux requêtes spécifiques. Avec $r \approx n^{2.75}$, l'erreur d'estimation empirique était systématiquement plus petite que la borne théorique pour diverses valeurs de $n$, atteignant une couverture empirique de 100 %.

Signification et Revendications
L'article affirme fournir les premières bornes de concentration à haute probabilité et à échantillon fini pour les encastrements vectoriels basés sur les réponses de modèles génératifs boîte noire. La signification réside dans :

• Orientation Pratique : Les bornes offrent une base théorique pour déterminer la taille d'échantillon $r$ nécessaire pour atteindre une précision donnée dans les tâches d'inférence (par exemple, tester si deux modèles ont la même perspective) avec un niveau de confiance spécifique.
• Analyse de Compromis : Les résultats suggèrent que la précision peut être améliorée non seulement en augmentant le nombre de réplicats ($r$), mais aussi en augmentant le nombre de requêtes ($m$), bien que l'article note que le compromis entre $m$ et la qualité des estimateurs par ligne nécessite des investigations supplémentaires.
• Fondement Non-Asymptotique : En établissant ces bornes, ce travail facilite l'analyse statistique dans le régime non-asymptotique, allant au-delà de l'hypothèse irréaliste de tailles d'échantillons infinies.
• Cadre Réaliste : La méthodologie opère dans un cadre de boîte noire, ne nécessant qu'un accès aux réponses du modèle, ce qui la rend applicable aux modèles réels propriétaires ou à code source fermé.

Les auteurs notent modestement que leur condition concernant le rang de $B$ et la croissance des valeurs propres est suffisante mais pourrait être assouplie dans des travaux futurs pour accommoder des scénarios avec un nombre croissant de communautés de modèles distinctes. Ils conjecturent également que leur condition de rapport signal sur bruit est nécessaire, établissant des parallèles avec des contextes plus simples de la littérature existante.