💬 NLP

Pretraining Exposure Explains Popularity Judgments in Large Language Models

Durch die Nutzung des vollständig beobachtbaren Dolma-Korpus und der OLMo-Modelle zeigt diese Studie, dass die Popularitätsurteile großer Sprachmodelle primär durch Statistiken der Vorabtrainierungsexposition angetrieben werden und nicht durch externe Popularitätssignale aus der realen Welt, wobei die Exposition als genauerer Prädiktor für Modellverzerrungen dient als die Seitenaufrufe von Wikipedia.

Ursprüngliche Autoren: Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein riesiges, digitales Gehirn (ein Large Language Model, oder LLM), das fast alles im Internet gelesen hat. Sie fragen dieses Gehirn: „Wer ist berühmter: eine bestimmte lokale Bäckerei oder ein weltberühmter Popstar?" Das Gehirn sagt fast immer den Popstar. Wir haben lange angenommen, dies liege daran, dass das Gehirn „weiß", dass der Popstar in der realen Welt populär ist.

Aber diese Arbeit stellt eine andere Frage: Beurteilt das Gehirn tatsächlich den realen Weltruhm, oder erinnert es sich einfach daran, welche Namen es während seines Studiums am häufigsten gesehen hat?

Um die Antwort zu finden, nutzten die Forscher ein spezielles, vollständig quelloffenes Gehirn namens OLMo. Im Gegensatz zu den meisten KI-Gehirnen können wir genau sehen, welche Bücher und Websites OLMo während seiner „Schulzeit" (Pretraining) gelesen hat. Das ist so, als hätte man die gesamte Bibliothek der Hausaufgaben eines Schülers, anstatt nur zu raten, was er gelesen hat, basierend auf seinen Testergebnissen.

Hier ist die Aufschlüsselung ihres Experiments und ihrer Erkenntnisse, unter Verwendung einiger einfacher Analogien:

1. Das Setup: Zählen der „Blicke"

Die Forscher behandelten die Trainingsdaten der KI wie eine riesige Bibliothek. Sie nutzten ein spezielles Werkzeug (Infini-Gram), um genau zu zählen, wie oft 2.000 verschiedene Dinge (Personen, Orte, Marken, Songs) in den Büchern erschienen, die die KI gelesen hatte.

Der „Exposure"-Score: Dies ist einfach eine Zählung, wie oft die KI einen Namen „gesehen" hat. Wenn die KI „Taylor Swift" 1 Million Mal und „Lokalen Bäcker Bob" 5 Mal sah, hat Taylor Swift einen hohen Exposure-Score.

2. Die drei Wettbewerber

Die Forscher wollten herausfinden, welche „Bewertung" am besten vorhersagte, wie die KI Fragen zur Popularität beantworten würde. Sie verglichen drei Dinge:

Der Realwelt-Score (Wikipedia): Sie untersuchten, wie viele Menschen tatsächlich die Wikipedia-Seiten dieser Entitäten besuchten. Dies ist die „Ground Truth" des realen Weltruhms.
Die „Direkte" Schätzung: Sie fragten die KI: „Auf einer Skala von 0 bis 1000, wie berühmt ist Taylor Swift?"
Das „Head-to-Head"-Duell: Sie fragten die KI: „Wer ist berühmter: Taylor Swift oder Lokaler Bäcker Bob?" (Dies ist wie ein Turnierbaum).

3. Die große Entdeckung: Es geht darum, was gelesen wurde, nicht darum, was bekannt ist

Die Ergebnisse waren überraschend und klar:

Das „Gedächtnis" der KI passt zur Bibliothek: Die Vorstellung der KI davon, was berühmt ist, stimmte viel besser mit ihrem „Exposure-Score" (wie oft sie den Namen sah) überein als mit den realen Wikipedia-Zahlen.
Das „Head-to-Head" ist der beste Spiegel: Wenn die KI aufgefordert wurde, zwei Dinge direkt zu vergleichen (wie in einem Turnier), stimmten ihre Antworten fast perfekt mit der Häufigkeit überein, mit der sie diese Namen in ihren Trainingsbüchern gesehen hatte. Es war sogar eine bessere Übereinstimmung als die realen Wikipedia-Daten.
Das „Long-Tail"-Problem: Für sehr obskure Dinge (wie „Lokaler Bäcker Bob") sind Wikipedia-Daten oft unübersichtlich oder nicht vorhanden (niemand besucht diese Seiten). Dennoch hatte die KI eine klare Meinung darüber, wer berühmter war. Warum? Selbst wenn die KI „Lokalen Bäcker Bob" nur 5 Mal und „Einen anderen Bäcker" 2 Mal sah, wusste sie, dass der erste „berühmter" war, einfach weil sie den Namen etwas öfter gesehen hatte. Die KI nutzte kein reales Weltwissen; sie zählte einfach ihre Hausaufgaben.

4. Größere Gehirne = Stärkere Erinnerungen

Die Forscher testeten ein kleineres Gehirn (7 Milliarden Parameter) und ein größeres Gehirn (32 Milliarden Parameter).

Das größere Gehirn war sogar stärker von seinen Trainingsdaten besessen. Seine Antworten stimmten noch genauer mit dem „Exposure-Score" überein als die des kleineren Gehirns.
Dies deutet darauf hin, dass KI, je intelligenter und größer sie wird, nicht unbedingt „bewusster" für die reale Welt wird; sie wird einfach besser darin, sich genau daran zu erinnern, was ihr während des Trainings gefüttert wurde.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass eine KI, wenn sie Ihnen sagt, wer berühmt ist, Ihnen nicht unbedingt einen Bericht über die reale Gesellschaft liefert. Sie liefert Ihnen einen Bericht über ihre eigene Leseliste.

Stellen Sie sich einen Schüler vor, der nur ein bestimmtes Magazin gelesen hat. Wenn Sie diesen Schüler fragen: „Wer ist die berühmteste Person der Welt?", wird er Ihnen nicht die tatsächlich berühmteste Person nennen; er wird die Person nennen, die am häufigsten auf dem Cover dieses Magazins erschienen ist. Der „Popularitäts-Bias" der KI ist einfach eine Reflexion der Häufigkeit von Wörtern in ihren Trainingsdaten, nicht ein echtes Verständnis der Welt.

Technisches Fazit: Die Prä-Training-Exposition erklärt Popularitätsurteile in großen Sprachmodellen

Problemstellung
Große Sprachmodelle (LLMs) zeigen systematische Präferenzen für bekannte Entitäten, ein Phänomen, das weithin auf einen „Popularitätsbias" zurückgeführt wird. Der Ursprung dieser Präferenzen bleibt jedoch unklar: Es ist ungewiss, ob sie eine genuine reale Popularität widerspiegeln oder lediglich die statistische Häufigkeit von Entitäten innerhalb des Prä-Trainingskorpus. Bisherige Forschung hatte Schwierigkeiten, dies zu klären, da die Trainingsdaten der meisten veröffentlichten LLMs nicht zugänglich sind, was eine Abhängigkeit von indirekten Beweisen oder nachgelagerten Verhaltensweisen erzwingt, die Exposition mit anderen konfundierenden Faktoren vermischen.

Methodik
Diese Studie liefert die erste direkte, groß angelegte Analyse des Popularitätsbias, indem sie die vollständig offenen OLMo-Modelle und ihr vollständiges Prä-Trainingskorpus, Dolma, nutzt. Die Methodik verläuft in folgenden Schritten:

Datenindizierung und Berechnung der Exposition: Die Autoren indizierten das gesamte OLMo-Prä-Trainingskorpus (bestehend aus den Datensätzen Pretraining, Midtraining und Long Context, insgesamt 7,4 Billionen Tokens) mithilfe des Infini-Gram-Toolkits.
Entitäten-Sampling und Validierung: Aus einem Wikidata-Dump (Stand 24. Januar 2026) wurden für jede von fünf Typen – Person, Ort, Organisation, Kunst und Produkt – 5.000 Entitäten gesampelt. Um eine genaue Häufigkeitszählung sicherzustellen, wurden alle Kandidaten-Aliasnamen mit GPT-4.1 validiert, um mehrdeutige Referenzen herauszufiltern und nur diejenigen zu behalten, die sich ausschließlich auf die Zielentität beziehen.
Berechnung des Expositionswerts: Für jede der 2.000 ausgewählten Entitäten (400 pro Typ, gleichmäßig aufgeteilt zwischen 200 seltenen „sparse"- und 200 häufigen „popular"-Entitäten) wurde ein Expositionswert basierend auf der Häufigkeit der Entität und ihrer validierten Aliasnamen im indizierten Korpus berechnet.
Vergleich der Popularitätssignale: Die Studie verglich drei unterschiedliche Signale mit den Prä-Trainings-Expositionswerten:
- Wikipedia-Seitenaufrufe: Ein externer Proxy für reale Popularität, aggregiert vom 1. Juli 2015 bis zum 31. Dezember 2024 (entsprechend dem Korpus-Stichtag).
- Direkte skalare Schätzung: Das OLMo-Modell (Varianten 7B und 32B) wurde aufgefordert, einzelnen Entitäten einen Popularitätswert (0–1000) zuzuweisen.
- Paarweiser Vergleich: Das Modell wurde aufgefordert zu bestimmen, welche von zwei Entitäten beliebter ist. Diese paarweisen Präferenzen wurden unter Verwendung des Bradley-Terry-Modells in Listenwerte umgewandelt.

Hauptergebnisse
Die Analyse, basierend auf Spearman-Rangkorrelationen ( $\rho$ ), ergab folgende Befunde:

Exposition als Proxy für reale Popularität: Die Prä-Trainings-Exposition korreliert stark mit Wikipedia-Seitenaufrufen über alle Entitätstypen hinweg (durchschnittlich $\rho \approx 0,755$ ), was die Exposition als sinnvollen Proxy für reale Salienz während des Trainingszeitraums validiert.
LLM-Urteile stimmen eher mit der Exposition als mit Wikipedia überein: Von LLMs generierte Popularitätssignale stimmen stärker mit der Prä-Trainings-Exposition überein als mit Wikipedia-Seitenaufrufen. Dies ist insbesondere bei der Methode des paarweisen Vergleichs deutlich, die die höchste Korrelation mit der Exposition erreichte (durchschnittlich $\rho \approx 0,795$ für das 32B-Modell) und sowohl die direkte skalare Schätzung als auch die Wikipedia-Baseline übertraf.
Der Long-Tail-Bereich: Für „sparse" (seltene, niedrigfrequente) Entitäten werden Wikipedia-Seitenaufrufe unzuverlässig und zeigen nahezu null oder negative Korrelationen mit der Exposition ( $\rho \approx 0,10$ ). Im Gegensatz dazu behalten LLM-Popularitätsurteile (insbesondere via paarweiser Vergleich) eine positive Korrelation mit der Exposition bei ( $\rho \approx 0,31$ für das 32B-Modell), was darauf hindeutet, dass für seltene Entitäten die Modellpriors fast ausschließlich von der Prä-Trainings-Häufigkeit bestimmt werden.
Effekte der Modellgröße: Eine Erhöhung der Modellgröße von 7B auf 32B verbessert systematisch die Übereinstimmung zwischen LLM-Urteilen und der Prä-Trainings-Exposition. Das 32B-Modell zeigt schärfere, konsistentere, auf Exposition basierende Priors, insbesondere bei Aufgaben der direkten skalaren Schätzung.

Bedeutung und Behauptungen
Die Studie behauptet, den ersten direkten, groß angelegten Nachweis zu liefern, dass Popularitätspriors in LLMs primär durch Prä-Trainings-Statistiken und nicht durch externe Popularitätssignale geprägt werden. Die Autoren argumentieren, dass „Datenexposition" eine zentrale Rolle bei der Auslösung von Popularitätsbias spielt. Konkret belegen die Ergebnisse, dass:

LLMs nicht lediglich externe Popularitätsmetriken widerspiegeln; ihre internen Rangordnungspräferenzen sind tief in der statistischen Verteilung ihrer Trainingsdaten verwurzelt.
Die paarweise Elicitation eine zuverlässigere Methode zur Aufdeckung dieser auf Exposition basierenden Priors ist als die direkte skalare Schätzung.
Der in LLMs beobachtete „Popularitätsbias" nicht notwendigerweise ein Versagen des Schlussfolgerns ist, sondern eine direkte Reflexion der Häufigkeitsmuster, die dem Prä-Trainingskorpus innewohnen.

Die Autoren schließen, dass diese Verzerrungen messbare Eigenschaften von Trainingsdaten sind, und schlagen vor, dass zukünftige Arbeiten Strategien zur Minderung untersuchen sollten, um Fairness und Vielfalt in den Modellausgaben zu verbessern.