💬 NLP

Language Model Maps for Prompt-Response Distributions via Log-Likelihood Vectors

Die vorgestellte Arbeit entwickelt eine Methode zur Darstellung von Sprachmodellen durch Log-Likelihood-Vektoren, um mittels räumlicher Distanzen die bedingten Verteilungen zu vergleichen, globale Strukturen zu erfassen und die Auswirkungen von Prompt-Modifikationen sowie deren additive Kompositionalität zu analysieren.

Ursprüngliche Autoren: Yusuke Takase, Momose Oyama, Hidetoshi Shimodaira

Veröffentlicht 2026-03-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yusuke Takase, Momose Oyama, Hidetoshi Shimodaira

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast eine riesige Bibliothek voller verschiedener KI-Sprachmodelle. Jedes dieser Modelle ist wie ein unterschiedlich geschulter Übersetzer oder ein Schriftsteller mit einem ganz eigenen Stil. Die Forscher von dieser Studie haben sich gefragt: Wie können wir diese Modelle nicht nur einzeln betrachten, sondern sie alle auf einer einzigen Karte vergleichen, um zu sehen, wie ähnlich oder unterschiedlich sie wirklich sind?

Hier ist die einfache Erklärung ihrer neuen Methode, übersetzt in eine Geschichte:

1. Die alte Methode: Das "Blind-Test"-Problem

Früher haben Forscher Modelle verglichen, indem sie sie einfach Texte schreiben ließen (z. B. "Schreibe einen Gedicht"). Das Problem dabei: Wenn zwei Modelle zufällig ähnliche Wörter wählen, sieht es so aus, als wären sie ähnlich. Aber vielleicht war das nur Glück oder ein gemeinsamer "Grundwortschatz", den alle Modelle haben. Das ist, als würdest du zwei Leute vergleichen, indem du sie beide "Hallo" sagen lässt. Das sagt dir nichts über ihre eigentliche Persönlichkeit.

2. Die neue Methode: Der "Prompt-Response"-Kompass

Die Forscher haben eine neue Art von Landkarte entwickelt. Stell dir vor, jedes Sprachmodell ist ein Kompass.

Der Prompt (die Frage): Das ist der Wind, der gegen den Kompass weht.
Die Antwort: Das ist die Richtung, in die der Kompass zeigt.

Anstatt nur zu schauen, wo die Kompassnadel landet, messen die Forscher genau, wie stark der Kompass in eine bestimmte Richtung gezogen wird, wenn ein spezifischer Wind weht.

Sie nehmen eine riesige Liste von Fragen und Antworten (z. B. "Was ist die Hauptstadt von Japan?" -> "Tokio"). Für jedes Modell berechnen sie dann einen mathematischen Vektor (eine Art Koordinatenliste). Diese Koordinaten sagen aus: "Wie sicher ist dieses Modell bei dieser spezifischen Frage?"

3. Die Landkarte der Modelle

Wenn man diese Koordinaten auf eine Landkarte projiziert (ähnlich wie Google Maps, aber für KI-Modelle), passiert Magie:

Ähnliche Modelle landen nah beieinander: Ein "Llama"-Modell und ein anderes "Llama"-Modell sitzen im selben Stadtviertel. Ein "Qwen"-Modell wohnt in einem anderen Viertel.
Die Entfernung bedeutet Unterschied: Je weiter zwei Punkte auf der Karte voneinander entfernt sind, desto unterschiedlicher ist ihr Verhalten. Die Forscher haben bewiesen, dass dieser Abstand fast genau misst, wie sehr sich die Wahrscheinlichkeiten der beiden Modelle unterscheiden (ein mathematisches Maß namens "KL-Divergenz").

4. Der "Prompt-Shift": Wenn man den Wind ändert

Das Coolste an dieser Karte ist, dass sie sich bewegen lässt.
Stell dir vor, du hast einen Kompass (das Modell).

Szenario A: Du fragst einfach: "Was ist die Hauptstadt?"
Szenario B: Du sagst: "Lass uns Schritt für Schritt nachdenken. Was ist die Hauptstadt?" (Das nennt man "Chain of Thought").

Die Forscher haben gesehen, dass sich die Position des Modells auf der Karte systematisch verschiebt, wenn man die Frage ändert.

Es ist, als würdest du einen Kompass nehmen und ihn um 10 Grad nach Norden drehen.
Interessanterweise addieren sich diese Drehungen! Wenn du die Frage wiederholst ("Was ist die Hauptstadt? Was ist die Hauptstadt?") UND den "Schritt-für-Schritt"-Hinweis hinzufügst, ist die Verschiebung auf der Karte fast genau die Summe der beiden einzelnen Verschiebungen. Das ist wie bei Lego-Steinen: Du kannst die Effekte von Frage-Änderungen vorhersagen, indem du sie einfach zusammenzählst.

5. Der "PMI"-Filter: Den Hintergrundrauschen entfernen

Manchmal ist die Karte etwas verrauscht. Manche Modelle sind einfach sehr gut darin, irgendeinen Text zu schreiben, egal was man fragt. Das ist wie Hintergrundlärm.
Um das zu beheben, haben die Forscher einen Filter entwickelt (den "PMI-Vektor").

Dieser Filter subtrahiert das, was das Modell "einfach so" sagen würde, von dem, was es sagt, wenn man es fragt.
Das Ergebnis: Auf dieser gefilterten Karte sieht man viel besser, welche Modelle mit welchen Trainingsdaten "verwandt" sind. Wenn ein Modell mit Daten trainiert wurde, die genau wie die Fragen auf der Karte aussehen, landet es in der Mitte der Gruppe. Wenn nicht, ist es weiter weg. Das hilft zu verstehen, woher ein Modell seine "Erinnerungen" hat.

Zusammenfassung in einem Satz

Die Forscher haben eine Landkarte für KI-Modelle gebaut, auf der man nicht nur sieht, wer zu wem passt, sondern auch vorhersagen kann, wie sich ein Modell verhalten wird, wenn man die Frage ändert – alles ohne das Modell tatsächlich antworten zu lassen, sondern nur durch mathematische Analyse seiner "Gedanken" (Wahrscheinlichkeiten).

Warum ist das wichtig?
Es hilft Entwicklern, das richtige Modell für die richtige Aufgabe auszuwählen, zu verstehen, warum ein Modell bei bestimmten Fragen versagt, und vorherzusagen, wie man Fragen stellen muss, um die besten Antworten zu erhalten. Es ist wie ein GPS für die Welt der Künstlichen Intelligenz.

1. Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend vielfältiger, was den Bedarf an Frameworks schärft, die das Verhalten verschiedener Modelle systematisch vergleichen können. Bisherige Ansätze zur Modellvergleichung stützen sich oft auf:

Interne Merkmale: Gewichte oder Aktivierungen (schwer vergleichbar bei unterschiedlichen Architekturen).
Generierte Texte: Vergleiche basierend auf Embeddings generierter Antworten (anfällig für Stochastik und Variabilität der Generierung).
Unbedingte Log-Likelihoods: Frühere Arbeiten (z. B. Oyama et al., 2025b) repräsentierten Modelle durch Log-Likelihood-Vektoren über Textsegmente, ignorierten jedoch den Kontext (den Prompt).

Da LLMs jedoch als bedingte Wahrscheinlichkeitsmodelle $p(y|x)$ agieren, ist es entscheidend, Modelle aus der Perspektive ihrer bedingten Verteilungen zu vergleichen, um Eingabe-abhängiges Verhalten (z. B. bei Dialogen oder Aufgaben) zu analysieren.

2. Methodik

Die Autoren schlagen ein Framework vor, das Sprachmodelle durch Vektoren im Raum der Prompt-Antwort-Paare repräsentiert.

A. Bedingte Log-Likelihood-Vektoren

Für eine vordefinierte Menge von $N$ Prompt-Antwort-Paaren $\mathcal{D} = \{(x_s, y_s)\}_{s=1}^N$ wird jedes Modell $p_i$ durch einen Vektor $\ell_i \in \mathbb{R}^N$ charakterisiert:
$\ell_i = (\log p_i(y_1|x_1), \dots, \log p_i(y_N|x_N))^\top$
Dieser Vektor erfasst direkt die Wahrscheinlichkeit, die das Modell einer spezifischen Antwort $y$ unter der Bedingung des Prompts $x$ zuordnet.

B. Approximation der KL-Divergenz

Ein zentrales theoretisches Ergebnis ist, dass das Quadrat der euklidischen Distanz zwischen den zentrierten Log-Likelihood-Vektoren zweier Modelle $\xi_i$ und $\xi_j$ die Kullback-Leibler-Divergenz (KL) zwischen ihren bedingten Verteilungen approximiert:
$KL(p_i, p_j) \approx \frac{1}{2N} \|\xi_i - \xi_j\|^2$
Dies ermöglicht die Konstruktion von „Modellkarten" (Model Maps), in denen räumliche Abstände interpretierbare Unterschiede in den bedingten Verteilungen darstellen.

C. PMI-Vektoren (Pointwise Mutual Information)

Um den Einfluss der unbedingten Verteilung $p(y)$ zu reduzieren und sich stärker auf die Abhängigkeit zwischen Prompt und Antwort zu konzentrieren, führen die Autoren PMI-Vektoren ein:
$\Delta \ell_i = (\log p_i(y_1|x_1) - \log p_i(y_1), \dots, \log p_i(y_N|x_N) - \log p_i(y_N))^\top$
Dieser Vektor misst die Stärke der Beziehung zwischen $x$ und $y$ . Zentrierte PMI-Vektoren ( $\eta_i$ ) werden verwendet, um Modellkarten zu erstellen, die Unterschiede im Trainingsdaten-Bezug besser hervorheben können.

3. Schlüsselergebnisse

A. Globale Struktur und Modellattribute

Die Visualisierung von 552 Modellen (z. B. Llama, Mistral, Qwen, Gemma) mittels t-SNE zeigt, dass Modelle ähnlicher Architekturen (z. B. Llama-Familie) kohärente Regionen in der Karte bilden. Zudem korreliert die räumliche Position stark mit der Leistung auf Benchmarks (Open LLM Leaderboard v2).

B. Prompt Shift und Additive Kompositionalität

Die Studie untersucht, wie sich die Position eines Modells in der Karte ändert, wenn der Prompt transformiert wird (z. B. durch Hinzufügen von „Let's think step by step" für Chain-of-Thought oder durch Wiederholung des Prompts).

Systematische Verschiebungen: Prompt-Änderungen führen zu vorhersehbaren Verschiebungen im Vektorraum.
Additive Kompositionalität: Die Verschiebung durch eine kombinierte Transformation (z. B. Wiederholung + CoT) entspricht annähernd der Summe der einzelnen Verschiebungen:
$v_{rep+cot} \approx v_{rep} + v_{cot}$
Dies ähnelt der additiven Kompositionalität in Wort-Embeddings und ermöglicht die Vorhersage des Effekts komplexer Prompt-Operationen.

C. PMI vs. Bedingte Log-Likelihood

Der Vergleich von Karten, die auf bedingten Log-Likelihoods basieren, mit denen auf PMI-Vektoren, zeigt:

Bedingte Log-Likelihood: Reflektiert allgemeine Modellverhalten und Architektur.
PMI-Vektoren: Heben Unterschiede hervor, die spezifisch mit den Trainingsdaten zusammenhängen. Modelle, die auf denselben Daten trainiert wurden (z. B. Tulu3), gruppieren sich in PMI-Karten enger zusammen, wenn die Evaluierungsdaten mit den Trainingsdaten übereinstimmen.

D. Empirische Validierung

Die Distanzen im Log-Likelihood-Raum korrelieren stark (Spearman $\rho = 0.94$ ) mit Monte-Carlo-Schätzungen der KL-Divergenz und sind stabiler als rein auf Embeddings basierende semantische Distanzen.

4. Beiträge der Arbeit

Rahmenwerk für bedingte Verteilungen: Einführung eines Frameworks zur Erstellung von Modellkarten basierend auf Prompt-Antwort-Paaren, wobei Abstände die KL-Divergenz der bedingten Verteilungen approximieren.
Analyse von Prompt-Shifts: Nachweis, dass Prompt-Modifikationen systematische Verschiebungen im Modellraum verursachen, die eine additive Kompositionalität aufweisen. Dies erlaubt die Vorhersage des Effekts von Prompt-Engineering.
PMI-Vektoren: Einführung einer Repräsentation, die unbedingte Verteilungen subtrahiert, um datenspezifische Unterschiede (Trainingsdaten-Abhängigkeit) klarer sichtbar zu machen.

5. Bedeutung und Ausblick

Diese Arbeit verschiebt den Fokus der Modellvergleichung von unbedingten Textverteilungen hin zu eingabeabhängigen Verhaltensmustern.

Praktische Anwendung: Das Framework ermöglicht es, zu analysieren und vorherzusagen, wie Prompt-Änderungen (z. B. CoT, Wiederholungen) das Verhalten verschiedener Modelle verändern, ohne neue Texte generieren zu müssen.
Theoretische Einordnung: Es verbindet die Analyse von Modellarchitekturen mit der Analyse von Trainingsdaten und Prompt-Engineering in einem gemeinsamen geometrischen Raum.
Limitationen: Die Methode ist derzeit auf offene Modelle beschränkt, die auf Instruktions-Datensätzen trainiert wurden. Die Generalisierung auf Code-Generierung, mehrsprachige Daten oder längere Interaktionen bleibt offen. Zudem hängen die Ergebnisse von der Formatierung der Prompts ab.

Zusammenfassend bietet das Paper ein mächtiges Werkzeug, um die „Geografie" von Sprachmodellen nicht nur basierend auf ihrer Architektur, sondern basierend auf ihrem kontextuellen Verhalten zu kartieren.