Concentration bounds on response-based vector embeddings of black-box generative models

Resumen Técnico: Límites de Concentración en los Embeddings de Vectores Basados en Respuestas de Modelos Generativos de Caja Negra

Planteamiento del Problema
Los modelos generativos, como los grandes modelos de lenguaje (LLM) y los modelos de difusión de texto a imagen, son cada vez más ubicuos, pero a menudo funcionan como cajas negras, donde sus formas funcionales internas son inaccesibles. Para realizar análisis estadísticos e inferencia sobre una colección de tales modelos, los investigadores requieren métodos para representarlos como vectores en un espacio euclídeo de dimensión finita basándose en sus respuestas a consultas de usuario. Aunque existen métodos como el embedding del Espacio de Perspectiva de Kernel de Datos (DKPS) para generar estas representaciones vectoriales mediante el cálculo de disimilitudes de pares de respuestas de modelos, la literatura existente se ha centrado primordialmente en la consistencia asintótica. Existe una falta de garantías teóricas para escenarios de muestras finitas, particularmente en cuanto a cuántas respuestas de muestra se requieren para estimar las representaciones vectoriales a nivel de población con un nivel específico de precisión y confianza. Este artículo aborda la necesidad de límites de concentración de alta probabilidad para estos embeddings vectoriales basados en muestras.

Metodología
El artículo utiliza el marco de embedding DKPS, una variante del Escalamiento Multidimensional (MDS) Clásico. El entorno involucra un conjunto de $n$ modelos generativos $\{f_1, \dots, f_n\}$ que responden a $m$ consultas $\{q_1, \dots, q_m\}$.

1. Nivel de Población: La respuesta verdadera del modelo $f_i$ a la consulta $q_j$ es un vector aleatorio $g(f_i(q_j))$ con distribución $F_{ij}$. La representación de la población se define por la matriz de respuestas esperadas $\mu_i$. Las disimilitudes de pares de la población $\Delta_{ii'}$ se computan como la norma de Frobenius normalizada de la diferencia entre $\mu_i$ y $\mu_{i'}$. Estas disimilitudes se integran en $\mathbb{R}^d$ mediante MDS para obtener las perspectivas verdaderas $\psi$.
2. Nivel de Muestra: Dado que las distribuciones verdaderas son desconocidas, los autores utilizan $r$ réplicas independientes e idénticamente distribuidas (iid) de las respuestas para cada par modelo-consulta para estimar las medias de las respuestas $\bar{X}_i$. Se construye una matriz de disimilitud de muestra $D$ a partir de estas medias empíricas.
3. Embedding: La matriz de disimilitud de la muestra se centra doblemente para formar $\hat{B}$, y se aplica MDS para obtener los embeddings vectoriales de la muestra $\hat{\psi}$.

El enfoque teórico central consiste en establecer desigualdades de concentración para la norma espectral de la diferencia entre la matriz de la muestra $\hat{B}$ y la matriz de la población $B$. Los autores se apoyan en los límites de perturbación para autovectores (Teorema de Davis-Kahan) y autovalores (Desigualdad de Weyl) para relacionar el error en las matrices de disimilitud con el error en los embeddings vectoriales resultantes.

Supuestos Clave
Los resultados teóricos se basan en dos supuestos primarios:

• Supuesto 1 (Distribucional): Las respuestas medias concatenadas estandarizadas tienen colas ligeras y entradas no correlacionadas. Específicamente, la densidad del vector estandarizado es proporcional a $e^{-U(w)}$ con una Hessiana acotada por debajo, y las respuestas están casi seguramente acotadas. Esto se justifica mediante el Teorema del Límite Central para tamaños de muestra grandes y la naturaleza de tokens finitos de las salidas de los LLM.
• Supuesto 2 (Rango): El rango de la matriz de disimilitud de la población $B$ es una constante $d$ que no crece con $n$. Esto implica que las perspectivas verdaderas residen en un espacio de dimensión fija.

Resultos Clave
El artículo establece límites de concentración de alta probabilidad para el error de estimación de los embeddings vectoriales:

1. Concentración de Matriz (Teorema 1): Bajo el Supuesto 1 y asumiendo que la traza de las matrices de covarianza de las respuestas está uniformemente acotada por $\Gamma$, el error de la norma espectral $\|\hat{B} - B\|$ está acotado con una probabilidad de al menos $1 - e^{-nc}$ por un término que escala como $\frac{n}{\sqrt{mr}} + \frac{1}{r}$.
2. Concentración de Embedding (Teorema 2): Bajo los Supuestos 1 y 2, y una condición de relación señal-ruido, existe una matriz ortogonal $W^*$ tal que el error de estimación $\|\hat{\psi}W^* - \psi\|$ está acotado con alta probabilidad. El límite escala con el número de condición de $B$ y el término $\left(\frac{n}{\sqrt{mr}} + \frac{1}{r}\right)$.
3. Condiciones de Consistencia (Proposición 2): El artículo proporciona una condición suficiente para que los autovalores de $B$ crezcan linealmente con $n$ (específicamente $\lambda_d(B) \geq C(d)n$). Esto ocurre si la colección de matrices de respuesta media de la población contiene solo un número finito de miembros distintos (comunidades) con membresía proporcional. Bajo estas condiciones, si el número de réplicas $r$ crece más rápido que $n^2$ (es decir, $r = \omega(n^2)$) mientras $m$ es constante, el error de estimación tiende a cero.

Experimentos Numéricos
Los autores validan sus límites teóricos a través de dos experimentos:

• Simulaciones: Utilizando vectores aleatorios de alta dimensión sintéticos para simular las respuestas de los LLM, el estudio demuestra que a medida que $n$ aumenta (con $r \approx n^{2.25}$), el error de estimación empírica disminuye y permanece bien dentro del límite superior teórico. Los límites se mantuvieron para el 100% de las muestras de Monte Carlo.
• Análisis de Datos Reales: Utilizando el modelo Google-gemma-2-2b-it y Nomic-embed-text-v2-moe, los autores muestrearon las respuestas a dos consultas específicas. Con $r \approx n^{2.75}$, el error de estimación empírica fue consistentemente menor que el límite teórico a través de varios valores de $n$, logrando una cobertura empírica del 100%.

Significancia y Reivindicaciones
El artículo afirma proporcionar los primeros límites de concentración de alta probabilidad y de muestra finita para los embeddings vectoriales basados en respuestas de modelos generativos de caja negra. La significancia radica en:

• Guía Práctica: Los límites ofrecen una base teórica para determinar el tamaño de muestra $r$ necesario para lograr una precisión deseada en tareas de inferencia (por ejemplo, probar si dos modelos tienen la misma perspectiva) con un nivel de confianza específico.
• Análisis de Compromiso: Los resultados sugieren que la precisión puede mejorarse no solo aumentando el número de réplicas ($r$), sino también aumentando el número de consultas ($m$), aunque el artículo señala que el compromiso entre $m$ y la calidad de los estimadores fila por fila requiere mayor investigación.
• Fundamento No Asintótico: Al establecer estos límites, este trabajo facilita el análisis estadístico en el régimen no asintótico, yendo más allá de la suposición poco realista de tamaños de muestra infinitos.
• Entorno Realista: La metodología opera bajo un entorno de caja negra, requiriendo solo acceso a las respuestas del modelo, lo que la hace aplicable a modelos reales, ya sean propietarios o de código cerrado.

Los autores señalan modestamente que su condición respecto al rango de $B$ y el crecimiento de los autovalores es suficiente pero podría relajarse en trabajos futuros para acomodar escenarios con un número creciente de comunidades de modelos distintas. También conjeturan que su condición de relación señal-ruido es necesaria, trazando paralelismos con entornos más simples de la literatura existente.