📊 statistics

Concentration bounds on response-based vector embeddings of black-box generative models

Diese Arbeit etabliert hochwahrscheinliche Konzentrationsschranken für reaktionsbasierte Vektor-Einbettungen von Black-Box-Generativmodellen unter Verwendung der Data Kernel Perspective Space Methode, wodurch die erforderliche Stichprobengröße zur genauen Approximation von Population-Level-Einbettungen bestimmt und algebraische Werkzeuge bereitgestellt werden, die auf verrauschte klassische multidimensionale Skalierung anwendbar sind.

Ursprüngliche Autoren: Aranyak Acharyya, Joshua Agterberg, Youngser Park, Carey E. Priebe

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Aranyak Acharyya, Joshua Agterberg, Youngser Park, Carey E. Priebe

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Raum voller verschiedener „Black Box“-KI-Modelle. Sie können nicht in sie hineinsehen, um zu verstehen, wie sie funktionieren, aber Sie können ihnen Fragen stellen und sehen, was sie antworten. Das Ziel dieses Papers ist es herauszufinden, wie man diese KI-Modelle mathematisch in eine einfache Grafik überträgt, damit wir sie vergleichen können, und vor allem, um zu beweisen, wie viele Fragen und Antworten wir benötigen, um diese Karte genau zu machen.

Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:

1. Das Problem: Das „Black Box“-Rätsel

Stellen Sie sich jedes KI-Modell als einen geheimnisvollen Koch in einer Küche vor. Sie können deren Rezepte (den Code) nicht sehen, aber Sie können Gerichte bestellen (Abfragen/Queries).

Das Ziel: Sie wollen wissen, welche Köche ähnlich sind und welche sich unterscheiden.
Die Methode: Sie stellen jedem Koch dieselbe Menge an Fragen (Queries). Sie nehmen deren Antworten, wandeln sie in Zahlen (Vektoren) um und berechnen, wie „unterschiedlich“ ihre Antworten voneinander sind.
Die Karte: Mithilfe einer Technik namens Multidimensional Scaling (denken Sie an ein GPS für Daten) tragen Sie diese Köfe in einer 2D- oder 3D-Karte auf, basierend darauf, wie ähnlich sich ihre Antworten sind. Köche, die ähnliche Antworten geben, landen nah beieinander; solche, die unterschiedliche Antworten geben, landen weit voneinander entfernt.

2. Der Haken: Wir haben nur Stichproben

In einer perfekten Welt würden wir die exakte Wahrscheinlichkeit jeder möglichen Antwort kennen, die ein Koch geben könnte. Dies würde uns eine „perfekte Karte“ (das Embedding auf Populationsebene) liefern.

Die Realität: Wir kennen die perfekten Wahrscheinlichkeiten nicht. Wir können jedem Koch nur eine begrenzte Anzahl von Fragen stellen (sagen wir 100 Mal) und deren Antworten mitteln. Dies ergibt eine „Stichproben-Karte“ (Sample Map).
Das Risiko: Wenn wir nicht genug Fragen stellen, könnte unsere Stichproben-Karte verschwommen oder falsch sein. Die Köche könnten so wirken, als befänden sie sich im falschen Viertel.

3. Der große Anspruch des Papers: Das „Sicherheitsnetz“

Die Autoren dieses Papers haben die Karte nicht nur gezeichnet; sie haben ein mathematisches Sicherheitsnetz um sie herum gebaut. Sie haben eine „Konzentrationsschranke“ (Concentration Bound) berechnet.

Die Analogie:
Stellen Sie sich vor, Sie versuchen, die durchschnittliche Körpergröße einer Gruppe von Menschen zu erraten, indem Sie einige von ihnen messen.

Wenn Sie nur 2 Personen messen, könnte Ihre Schätzung weit daneben liegen.
Wenn Sie 1.000 Menschen messen, liegt Ihre Schätzung sehr nah an der Wahrheit.
Dieses Paper liefert eine Formel, die besagt: „Wenn Sie X Menschen messen, können Sie zu 99 % sicher sein, dass Ihre Schätzung innerhalb von Y Zoll vom wahren Durchschnitt liegt.“

In diesem Paper sind die „Menschen“ die KI-Modelle, die „Messungen“ sind die Antworten auf die Abfragen und die „Schätzung“ ist die Position auf der Karte.

4. Die Kernergebnisse (Die Regeln des Spiels)

Das Paper beweist, dass Sie für eine genaue Karte einem spezifischen Rezept aus drei Zahlen folgen müssen:

$n$ : Die Anzahl der KI-Modelle (Köche).
$m$ : Die Anzahl der verschiedenen gestellten Fragen.
$r$ : Die Anzahl der Male, die Sie jede Frage jedem Modell stellen (Replikate).

Die magische Formel:
Das Paper zeigt, dass für eine scharfe, genaue Karte die Anzahl der Wiederholungen der Fragen ( $r$ ) viel schneller wachsen muss als die Anzahl der Modelle ( $n$ ).

Konkret gilt: Wenn Sie die Anzahl der Modelle verdoppeln, müssen Sie Ihre Stichprobengröße ( $r$ ) um den Faktor vier (oder mehr) erhöhen, um die Karte genau zu halten.
Sie fanden auch heraus, dass das Stellen mehr verschiedener Fragen ( $m$ ) hilft, aber die Erhöhung der Anzahl der Wiederholungen ( $r$ ) der wirksamste Weg ist, um den Fehler zu reduzieren.

5. Der „Real-World“-Test

Die Autoren haben nicht nur Mathematik auf dem Papier betrieben. Sie führten zwei Arten von Experimenten durch:

Simulationen: Sie erstellten gefälschte KI-Modelle, die Zufallszahlen ausspucken. Sie zeigten, dass der Fehler auf der Karte exakt so schrumpfte, wie ihre Formel es vorhersagte, während sie die Anzahl der Stichproben erhöhten.
Echte KI: Sie verwendeten ein echtes Large Language Model (Google's Gemma). Sie stellten ihm Fragen, nahmen die Antworten und wandelten sie in Vektoren um. Selbst mit echten, unordentlichen Daten hielt das „Sicherheitsnetz“ stand. In jedem einzelnen Test war der tatsächliche Fehler kleiner als der maximale Fehler, den ihre Formel vorhersagte.

Zusammenfassung

Dieses Paper ist ein Garantiehandbuch für jeden, der versucht, KI-Modelle anhand ihrer Antworten zu vergleichen.

Was es tut: Es sagt Ihnen genau, wie viel Daten (Fragen und Wiederholungen) Sie sammeln müssen, um sicher zu sein, dass Ihr Vergleichskartenausschnitt genau ist.
Die Kernaussage: Man kann nicht einfach ein paar Fragen an ein paar Modelle stellen und ein zuverlässiges Ergebnis erwarten. Um ein klares Bild zu erhalten, müssen Sie viele Fragen viele Male stellen, insbesondere wenn Sie mehr Modelle hinzufügen. Das Paper liefert die Mathematik, um zu wissen, wann man „genug“ Daten hat.

Technische Zusammenfassung: Konzentrationsschranken für antwortbasierte Vektoreinbettungen von Black-Box-generativen Modellen

Problemstellung
Generative Modelle, wie etwa Large Language Models (LLMs) und Text-zu-Bild-Diffusionsmodelle, sind zunehmend allgegenwärtig, fungieren jedoch oft als Black Boxes, deren interne Funktionsformen unzugänglich sind. Um statistische Analysen und Inferenz auf einer Sammlung solcher Modelle durchzuführen, benötigen Forscher Methoden, um diese als Vektoren in einem endlich dimensionalen euklidischen Raum darzustellen, basierend auf ihren Antworten auf Benutzeranfragen. Während Methoden wie die Data Kernel Perspective Space (DKPS) Einbettung existieren, um diese Vektorrepräsentationen durch die Berechnung paarweiser Unähnlichkeiten von Modellantworten zu generieren, konzentrierte sich die bestehende Literatur primär auf asymptotische Konsistenz. Es mangelt an theoretischen Garantien für Szenarien mit endlichen Stichproben, insbesondere hinsichtlich der Frage, wie viele Stichprobenantworten erforderlich sind, um populationsweite Vektorrepräsentationen mit einem spezifischen Genauigkeits- und Konfidenzniveau zu schätzen. Diese Arbeit adresst das Bedürfnis nach Hochwahrscheinlichkeits-Konzentrationsschranken für diese stichprobenbasierten Vektor-Einbettungen.

Methodik
Die Arbeit nutzt das DKPS-Einbettungsframework, eine Variante der klassischen multidimensionalen Skalierung (MDS). Das Setting umfasst eine Menge von $n$ generativen Modellen $\{f_1, \dots, f_n\}$ , die auf $m$ Anfragen $\{q_1, \dots, q_m\}$ reagieren.

Populationsebene: Die wahre Antwort von Modell $f_i$ auf Anfrage $q_j$ ist ein Zufallsvektor $g(f_i(q_j))$ mit der Verteilung $F_{ij}$ . Die populationsweite Repräsentation wird durch die Matrix der erwarteten Antworten $\mu_i$ definiert. Paarweise populationsweite Unähnlichkeiten $\Delta_{ii'}$ werden als normierte Frobenius-Norm der Differenz zwischen $\mu_i$ und $\mu_{i'}$ berechnet. Diese Unähnlichkeiten werden via MDS in $\mathbb{R}^d$ eingebettet, um die wahren Perspektiven $\psi$ zu erhalten.
Stichprobenebene: Da die wahren Verteilungen unbekannt sind, verwenden die Autoren $r$ unabhängige und identisch verteilte (iid) Replikate der Antworten für jedes Modell-Anfrage-Paar, um die mittleren Antworten $\bar{X}_i$ zu schätzen. Eine Stichproben-Unähnlichkeitsmatrix $D$ wird aus diesen empirischen Mittelwerten konstruiert.
Einbettung: Die Stichproben-Unähnlichkeitsmatrix wird doppelt zentriert, um $\hat{B}$ zu bilden, woraufhin MDS angewendet wird, um die Stichproben-Vektoreinbettungen $\hat{\psi}$ zu erhalten.

Der zentrale theoretische Ansatz besteht darin, Konzentrationsabschätzungen für die Spektralnorm der Differenz zwischen der Stichprobenmatrix $\hat{B}$ und der Populationsmatrix $B$ zu etablieren. Die Autoren stützen sich auf Störungsgrenzen für Eigenvektoren (Davis-Kahan-Theorem) und Eigenwerte (Weyl's Ungleichung), um den Fehler in den Unähnlichkeitsmatrizen mit dem Fehler in den resultierenden Vektoreinbettungen in Beziehung zu setzen.

Zentrale Annahmen
Die theoretischen Ergebnisse beruhen auf zwei primären Annahmen:

Annahme 1 (Distributionell): Die standardisierten konkatinierten mittleren Antworten sind leichtschwänzig (light-tailed) mit unkorrelierten Einträgen. Konkret ist die Dichte des standardisierten Vektors proportional zu $e^{-U(w)}$ mit einer Hesse-Matrix, die nach unten beschränkt ist, und die Antworten sind fast sicher beschränkt. Dies wird durch den Zentralen Grenzwertsatz für große Stichprobenmengen und die endliche Token-Natur von LLM-Outputs gerechtfertigt.
Annahme 2 (Rang): Der Rang der populationsweiten Unähnlichkeitsmatrix $B$ ist eine Konstante $d$ , die nicht mit $n$ wächst. Dies impliziert, dass die wahren Perspektiven in einem festdimensionalen Raum liegen.

Zentrale Ergebnisse
Die Arbeit etabliert Hochwahrscheinlichkeits-Konzentrationsschranken für den Schätzfehler der Vektoreinbettungen:

Matrix-Konzentration (Theorem 1): Unter Annahme 1 und unter der Annahme, dass die Spur der Antwort-Kovarianzmatrizen durch $\Gamma$ einheitlich beschränkt ist, ist der Spektralnorm-Fehler $\|\hat{B} - B\|$ mit einer Wahrscheinlichkeit von mindestens $1 - e^{-nc}$ durch einen Term beschränkt, der mit $\frac{n}{\sqrt{mr}} + \frac{1}{r}$ skaliert.
Einbettungs-Konzentration (Theorem 2): Unter den Annahmen 1 und 2 sowie einer Signal-Rausch-Bedingung existiert eine orthogonale Matrix $W^*$ , so dass der Schätzfehler $\|\hat{\psi}W^* - \psi\|$ mit hoher Wahrscheinlichkeit beschränkt ist. Die Schranke skaliert mit der Konditionszahl von $B$ und dem Term $\left(\frac{n}{\sqrt{mr}} + \frac{1}{r}\right)$ .
Konsistenzbedingungen (Proposition 2): Die Arbeit liefert eine hinreichende Bedingung dafür, dass die Eigenwerte von $B$ linear mit $n$ wachsen (speziell $\lambda_d(B) \geq C(d)n$ ). Dies tritt ein, wenn die Menge der populationsweiten mittleren Antwortmatrizen nur eine endliche Anzahl an distinkten Mitgliedern (Communities) mit proportionaler Mitgliedschaft enthält. Unter diesen Bedingungen, falls die Anzahl der Replikate $r$ schneller als $n^2$ wächst (d. h. $r = \omega(n^2)$ ), während $m$ konstant bleibt, geht der Schätzfehler gegen Null.

Numerische Experimente
Die Autoren validieren ihre theoretischen Schranken durch zwei Experimente:

Simulationen: Unter Verwendung synthetischer hochdimensionaler Zufallsvektoren zur Simulation von LLM-Antworten zeigt die Studie, dass mit zunehmendem $n$ (bei $r \approx n^{2.25}$ ) der empirische Schätzfehler abnimmt und innerhalb der theoretischen oberen Schranke bleibt. Die Schranken hielten für 100 % der Monte-Carlo-Stichproben stand.
Reale Datenanalyse: Die Autoren verwendeten das Modell Google-gemma-2-2b-it und Nomic-embed-text-v2-moe und sampelten Antworten auf zwei spezifische Anfragen. Mit $r \approx n^{2.75}$ war der empirische Schätzfehler konsistent kleiner als die theoretische Schranke über verschiedene Werte von $n$ hinweg und erreichte eine empirische Abdeckung von 100 %.

Bedeutung und Ansprüche
Die Arbeit behauptet, die ersten Finite-Sample, High-Probability-Konzentrationsschranken für antwortbasierte Vektoreinbettungen von Black-Box-generativen Modellen bereitgestellt zu haben. Die Bedeutung liegt in:

Praktische Orientierung: Die Schranken bieten eine theoretische Basis, um die notwendige Stichprobengröße $r$ zu bestimmen, um eine gewünschte Genauigkeit bei Inferenzaufgaben (z. B. Testen, ob zwei Modelle dieselbe Perspektive haben) mit einem spezifischen Konfidenzniveau zu erreichen.
Trade-off-Analyse: Die Ergebnisse legen nahe, dass die Genauigkeit nicht nur durch Erhöhung der Anzahl der Replikate ( $r$ ), sondern auch durch Erhöhung der Anzahl der Anfragen ( $m$ ) verbessert werden kann, wobei die Autoren anmerken, dass der Trade-off zwischen $m$ und der Qualität der zeilenweisen Schätzer weiterer Untersuchung bedarf.
Nicht-asymptotische Fundierung: Durch die Etablierung dieser Schranken ermöglicht die Arbeit die statistische Analyse im nicht-asymptotischen Regime und bewegt sich damit weg von der unrealistischen Annahme unendlicher Stichprobenmengen.
Realistisches Setting: Die Methodik operiert unter einem Black-Box-Setting, welches lediglich Zugriff auf Modellantworten erfordert, was sie für reale proprietäre oder geschlossene Modelle anwendbar macht.

Die Autoren merken bescheiden an, dass ihre Bedingung bezüglich des Rangs von $B$ und des Wachstums der Eigenwerte hinreichend ist, aber in zukünftigen Arbeiten gelockert werden kann, um Szenarien mit einer steigenden Anzahl distinkter Modell-Communities zu berücksichtigen. Sie vermuten zudem, dass ihre Signal-Rausch-Bedingung notwendig ist, und ziehen Parallelen zu einfacheren Settings in der bestehenden Literatur.