📊 statistics

A mathematical framework for parameter recovery in large language models via a joint Euclidean mirror

Diese Arbeit stellt einen mathematischen Rahmen vor, der die Antwortverteilungen großer Sprachmodelle über einen gemeinsamen euklidischen Spiegel in einen niedrigdimensionalen Raum abbildet, um sowohl die Modellparameter wiederherzustellen als auch das Verhalten der Modelle qualitativ und quantitativ zu analysieren.

Ursprüngliche Autoren: Maximilian Baum, Aranyak Acharyya, Tianyi Chen, Avanti Athreya, Youngser Park, Francesco Sanna Passino, Carey E. Priebe, Zachary Lubberts

Veröffentlicht 2026-04-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Maximilian Baum, Aranyak Acharyya, Tianyi Chen, Avanti Athreya, Youngser Park, Francesco Sanna Passino, Carey E. Priebe, Zachary Lubberts

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Der „Black-Box"-Koch

Stell dir vor, du hast einen genialen Koch (das ist dein Large Language Model, also eine KI wie ChatGPT). Du gibst ihm eine Zutat (eine Frage oder einen Prompt), und er serviert dir ein Gericht (die Antwort).

Das Problem: Du weißt nicht genau, wie der Koch arbeitet.

Du siehst nicht, welche Gewürze er benutzt hat (die Tuning-Parameter wie „Temperatur" oder „Logit-Bias").
Du weißt nicht, ob er ein neues, geheimes Rezept ausprobiert hat.
Du kannst nicht einfach in die Schüssel schauen, um zu sehen, was drin ist.

Wenn der Koch heute ein Gericht mit wenig Salz serviert und morgen eines mit viel Salz, wie kannst du dann genau sagen: „Aha, heute hat er 5 Gramm Salz benutzt"? Normalerweise ist das unmöglich, weil du nur das fertige Essen siehst, nicht die Zubereitung.

Die Lösung: Ein magischer Spiegel (Der „Joint Euclidean Mirror")

Die Autoren dieses Papiers haben eine geniale Idee entwickelt: Sie bauen einen magischen Spiegel, der das Essen nicht direkt abbildet, sondern den Unterschied zwischen den Gerichten in eine einfache Landkarte verwandelt.

Hier ist die Analogie:

Das Essen als Punkte: Stell dir vor, jede Antwort der KI ist ein Punkt in einem riesigen, chaotischen Raum. Wenn die KI mit „niedriger Temperatur" (sehr präzise, langweilig) antwortet, landen die Punkte an einem Ort. Bei „hoher Temperatur" (kreativ, chaotisch) landen sie an einem ganz anderen Ort.
Der Spiegel (Die Landkarte): Die Forscher bauen eine Art Landkarte (den Joint Euclidean Mirror). Auf dieser Landkarte werden die Antworten nicht als Text, sondern als Koordinaten dargestellt.
- Wenn du die Temperatur der KI änderst, bewegt sich der Punkt auf der Landkarte in eine bestimmte Richtung (z. B. nach Norden).
- Wenn du den „Gewicht"-Parameter änderst (z. B. wie sehr die KI auf ein bestimmtes Thema eingehen soll), bewegt sich der Punkt in eine andere Richtung (z. B. nach Osten).

Das Geniale daran: Diese Landkarte ist so gebaut, dass die Entfernung zwischen zwei Punkten auf der Karte genau der Unterschied zwischen den beiden Antworten entspricht. Je weiter zwei Punkte auf der Karte voneinander entfernt sind, desto unterschiedlicher sind die Antworten.

Was können wir damit machen?

Mit diesem Spiegel können wir zwei coole Dinge tun:

1. Den Koch „abhören" (Parameter Recovery)

Stell dir vor, jemand hat dir ein Gericht serviert, aber er hat vergessen zu sagen, wie viel Salz er benutzt hat.

Du nimmst das Gericht und legst es auf deine Landkarte.
Du schaust: „Oh, der Punkt liegt genau zwischen dem Bereich für 'wenig Salz' und 'viel Salz'."
Ergebnis: Du kannst jetzt mathematisch beweisen: „Der Koch hat wahrscheinlich genau 3 Gramm Salz benutzt."
Das ist das, was die Autoren Parameter Recovery nennen. Sie können herausfinden, welche Einstellungen die KI hatte, nur indem sie sich die Antworten ansehen.

2. Vorhersagen treffen

Wenn du weißt, wie sich die Punkte bewegen, wenn du die Temperatur änderst, kannst du vorhersagen: „Wenn ich die Temperatur auf 0,9 stelle, wird die Antwort so aussehen." Du musst die KI gar nicht neu starten, um das zu wissen; du kannst es auf der Landkarte ablesen.

Wie funktioniert das im Detail? (Die drei Schritte)

Die Forscher haben einen Algorithmus (einen Rezeptplan) entwickelt:

Probieren und Messen: Sie lassen die KI viele Male mit verschiedenen Einstellungen antworten. Sie messen dann, wie unterschiedlich diese Antworten voneinander sind (wie weit sie im „Geschmack" auseinanderliegen).
Die Landkarte zeichnen: Mit einer mathematischen Technik (Multidimensionale Skalierung) ordnen sie diese Unterschiede so an, dass sie auf einer flachen, einfachen Landkarte (dem Spiegel) Platz finden.
Die Verbindungslinien ziehen: Sie verbinden die Punkte auf der Landkarte zu einer glatten Oberfläche. Jetzt haben sie eine Art „Steuerpult": Wenn sie einen Punkt auf der Oberfläche berühren, wissen sie, welche Einstellungen der KI dahinterstecken.

Warum ist das wichtig?

Transparenz: Wir können endlich verstehen, wie sich kleine Änderungen in den Einstellungen auf das Ergebnis auswirken.
Sicherheit: Man könnte herausfinden, ob eine KI mit sensiblen Daten trainiert wurde, indem man prüft, ob ihre Antworten auf der Landkarte in einem verdächtigen Bereich liegen.
Vergleich: Man kann zwei verschiedene KIs vergleichen, nicht durch den Code (der oft geheim ist), sondern durch das, was sie produzieren.

Zusammenfassung in einem Satz

Die Forscher haben eine Methode erfunden, um die unsichtbaren Einstellungen einer KI wie einen GPS-Standort auf einer Landkarte sichtbar zu machen, sodass man genau ablesen kann, welche „Knöpfe" gedrückt wurden, nur indem man sich die Antworten der KI ansieht.

1. Problemstellung

Große Sprachmodelle (LLMs) werden oft als „Black-Box"-Systeme betrachtet, deren internes Verhalten schwer zu analysieren ist. Ein zentrales Problem besteht darin, zu verstehen, wie sich die Ausgabe eines Modells (die Antwortverteilung) in Abhängigkeit von verschiedenen Tuning-Parametern (z. B. Temperatur, Logit-Bias) verändert. Da viele Modellgewichte nicht offen sind und Architekturen variieren, ist ein direkter Vergleich von Gewichten oft unmöglich. Stattdessen muss der Vergleich über die generierten Antworten erfolgen.

Die Herausforderung besteht darin, eine mathematisch fundierte Methode zu entwickeln, um:

Die Ähnlichkeit oder Distanz zwischen den Antwortverteilungen verschiedener Parameterkombinationen zu quantifizieren.
Diese hochdimensionalen Verteilungen in einen niedrigdimensionalen, interpretierbaren Raum zu überführen.
Aus einer beobachteten Antwortverteilung (ohne bekannte Parameter) auf die zugrunde liegenden Tuning-Parameter zu schließen (Parameter Recovery).

2. Methodik und mathematischer Rahmen

Das Paper schlägt einen allgemeinen mathematischen Rahmen vor, der auf dem Konzept des Joint Euclidean Mirror (gemeinsamer euklidischer Spiegel) basiert.

Grundlegende Konzepte:

Parametrisierte Verteilungen: Eine Menge von Verteilungen $\mathcal{F}$ wird durch einen Parametervektor $x \in \mathcal{X} \subset \mathbb{R}^d$ indiziert. Für LLMs ist $F_x$ die Verteilung der Antworten auf eine bestimmte Anfrage bei Parametern $x$ .
Dissimilaritätsmaß: Die Verteilungen werden durch ein Distanzmaß $D$ (z. B. Wasserstein-Distanz) verglichen.
Joint Euclidean Mirror: Das Ziel ist die Existenz einer stetigen Funktion $f: \mathcal{X} \to \mathbb{R}^c$ , die die Distanz zwischen Verteilungen im ursprünglichen Raum exakt in den euklidischen Abstand im $\mathbb{R}^c$ abbildet:
$\|f(x) - f(x')\| = D(F_x, F_{x'})$
Dies wird als „exakte euklidische Realisierbarkeit" bezeichnet.

Der Schätzalgorithmus (Algorithmus 1):
Da die wahren Verteilungen unbekannt sind und nur Stichproben vorliegen, wird ein dreistufiger Schätzprozess vorgeschlagen:

Schätzung der Distanzmatrix: Für $m$ bekannte Parameterkombinationen werden $n$ Stichproben gezogen. Die empirischen Verteilungen werden geschätzt, und eine Distanzmatrix $\hat{\Delta}$ wird basierend auf dem gewählten Maß (z. B. Wasserstein-1-Distanz) berechnet.
Multidimensionale Skalierung (CMDS): Die Distanzmatrix wird mittels klassischer Multidimensionaler Skalierung (CMDS) in einen niedrigdimensionalen euklidischen Raum $\mathbb{R}^c$ eingebettet. Dies liefert Schätzwerte $\tilde{f}(x_i)$ für die bekannten Parameterpunkte.
Flächenanpassung (Surface Fitting): Um die Funktion $f$ für den gesamten Parameterraum zu rekonstruieren, wird eine multivariate Flächenanpassung durchgeführt. Das Paper schlägt eine lineare Interpolation mittels Delaunay-Triangulierung vor, um eine stetige Funktion $\hat{f}$ zu konstruieren.

Parameter Recovery (Algorithmus 2):
Um unbekannte Parameter $x^*$ zu schätzen, die zu einer neuen Stichprobe $S_{x^*}$ gehören:

Die Distanzmatrix wird um die neue Stichprobe erweitert.
CMDS wird erneut angewendet, um den Spiegelwert $\hat{f}^*$ für die neue Stichprobe zu erhalten.
Der unbekannte Parameter $\hat{x}$ wird durch Minimierung des Abstands zwischen dem geschätzten Spiegelwert $\hat{f}^*$ und der rekonstruierten Funktion $\hat{f}(s)$ gefunden:
$\hat{x} = \arg \min_{s \in \mathcal{X}} \| \hat{f}(s) - \hat{f}^* \|$

3. Theoretische Ergebnisse

Das Paper liefert strenge asymptotische Beweise für die Konsistenz der vorgeschlagenen Verfahren:

Konvergenz der Distanzen: Unter Annahme von Momentenbedingungen und einer geeigneten Wachstumsrate der Stichprobengröße $n$ in Bezug auf die Anzahl der Parameter $m$ , konvergiert die geschätzte Distanzmatrix gegen die wahre Matrix (Proposition 1).
Konvergenz des Spiegels: Es wird gezeigt, dass die geschätzten Spiegelwerte $\hat{\Psi}$ bis auf eine orthogonale Transformation und Translation gegen die wahren Werte konvergieren (Theorem 1).
Globale Konsistenz: Unter Annahmen an die Lipschitz-Stetigkeit der wahren Funktion $f$ und eine dichte Abdeckung des Parameterraums durch die Stichproben, konvergiert die geschätzte Funktion $\hat{f}$ gleichmäßig gegen eine gültige Spiegel-Funktion (Theorem 2).
Konsistenz der Parameterschätzung: Wenn die Spiegel-Funktion invertierbar ist (Jacobian hat vollen Rang), konvergiert der geschätzte Parameter $\hat{x}$ gegen den wahren Parameter $x^*$ , wenn $m$ und $n$ gegen unendlich gehen (Theorem 3).

4. Experimentelle Ergebnisse

Die Autoren validieren die Methode in zwei Szenarien:

Simulierte Daten (Gaußsche Verteilungen):
- In einem kontrollierten Setting mit bekannten Verteilungen und Spiegelfunktionen wurde gezeigt, dass der Algorithmus die wahre Spiegel-Struktur erfolgreich rekonstruiert.
- Die Fehler bei der Parameterschätzung nehmen mit steigender Stichprobengröße $n$ und Anzahl der Parameter $m$ ab und nähern sich der perfekten Wiederherstellung an.
Anwendung auf LLMs:
- Setup: Ein LLM wurde mit dem Prompt „Beschreiben Sie kurz die Arbeit von R.A. Fisher..." abgefragt. Die Parameter waren die Temperatur ( $t$ , steuert die Zufälligkeit) und ein Gewichtungsparameter ( $w$ ) im Prompt, der die Betonung von Eugenik steuerte.
- Daten: $m=81$ Kombinationen von Parametern, jeweils mit $n=100$ Antworten. Die Antworten wurden in einen euklidischen Raum eingebettet (NomicEmbedv1.5).
- Ergebnisse:
  - Die Eigenwertanalyse der Distanzmatrix bestätigte, dass die Daten gut durch einen niedrigdimensionalen Raum (hier $c=5$ ) darstellbar sind.
  - Die rekonstruierte Spiegel-Oberfläche zeigte eine klare, monotone Beziehung zu den Parametern.
  - Orthogonalität: Temperatur und Gewichtungsparameter beeinflussten die Antwortverteilungen in unterschiedlichen, fast orthogonalen Richtungen im Embedding-Raum.
  - Parameter Recovery: Bei einem „Leave-One-Out"-Test konnte der Algorithmus die Temperatur und das Gewicht für eine unbekannte Stichprobe mit hoher Genauigkeit und linearer Beziehung zum wahren Wert wiederherstellen.

5. Wichtige Beiträge und Signifikanz

Neues Framework: Dies ist die erste Arbeit, die das Problem der Wiederherstellung latenter generativer Parameter aus LLM-Antworten in einem rigorosen mathematischen Rahmen formalisiert.
Interpretierbarkeit: Das Joint Euclidean Mirror bietet eine visuelle und quantitative Methode, um zu verstehen, wie sich Änderungen in Tuning-Parametern auf die Ausgabe eines LLM auswirken.
Black-Box-Analyse: Die Methode ermöglicht es, Eigenschaften von Modellen (wie Trainingsdaten-Zugriff oder spezifische Feinabstimmungen) allein aus den Ausgaben abzuleiten, ohne Zugriff auf die Modellgewichte zu haben.
Anwendungspotenzial:
- Identifikation von Trainingsdaten-Eigenschaften (z. B. Sensible Daten).
- Vorhersage von Antworten für neue Parameterkombinationen.
- Vergleich und Clustering verschiedener LLMs basierend auf ihrem Antwortverhalten.
- Anomalieerkennung in generativen Modellen.

Zusammenfassend bietet das Paper einen robusten, statistisch konsistenten Ansatz, um die komplexe Geometrie von LLM-Antwortverteilungen zu entschlüsseln und damit die „Black-Box" der Modelle durch eine parametrisierte, geometrische Repräsentation zu öffnen.