💬 NLP

LLM generation novelty through the lens of semantic similarity

Dieses Paper schlägt ein skalierbares, dreistufiges semantisches Retrieval-Framework vor, um die Neuartigkeit der LLM-Generierung gegenüber vollständigen Pretraining-Korpora zu messen, wobei aufgezeigt wird, dass Modelle Daten über längere Sequenzen hinweg nutzen als bisher angenommen, domänenspezifische Neuartigkeitsmuster aufweisen und die Neuartigkeit durch Instruction Tuning steigern.

Ursprüngliche Autoren: Philipp Davydov, Ameya Prabhu, Matthias Bethge, Elisa Nguyen, Seong Joon Oh

Veröffentlicht 2026-08-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Philipp Davydov, Ameya Prabhu, Matthias Bethge, Elisa Nguyen, Seong Joon Oh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht herauszufinden, ob ein Schüler Inhalte bei einer Prüfung reproduziert. Wenn der Schüler einen Satz wortwörtlich aus dem Lehrbuch abschreibt, ist das offensichtliche Reproduktion. Aber was, wenn er das ganze Kapitel gelesen, das Konzept verstanden und dann einen völlig neuen Satz geschrieben hat, der genau dasselbe bedeutet? Ist das Reproduktion oder echtes Lernen? Dies ist die große Frage, vor der Wissenschaftler stehen, die sich mit Künstlicher Intelligenz (KI) beschäftigen. Diese KI-Modelle, oft als Large Language Models (LLMs) bezeichnet, sind wie supermächtige Schüler, die fast das gesamte Internet gelesen haben. Sie können Geschichten schreiben, Matheaufgaben lösen und mit uns chatten. Aber manchmal wiederholen sie einfach nur das, was sie zuvor gelesen haben, und ein anderes Mal scheinen sie etwas Neues zu erschaffen. Der schwierige Teil ist, den Unterschied zwischen „Kopieren“ und „Erschaffen“ zu erkennen, wenn die KI so gut darin ist, ihre Quellen zu verbergen. Wissenschaftler wollen wissen: Denkt die KI wirklich nach und verallgemeinert sie, oder ist sie nur ein schicker Papagei, der gelernte Muster wiederholt?

Dieses Paper stellt eine clevere neue Methode vor, um dieses Rätsel zu lösen. Anstatt nur nach exakten Wortübereinstimmungen zu suchen (wie eine Rechtschreibprüfung), haben die Autoren ein System entwickelt, das nach der Bedeutung hinter den Worten sucht. Sie nennen dies „semantische Ähnlichkeit“. Denken Sie daran wie beim Vergleich zweier Gemälde. Wenn man nur auf die spezifischen Pinselstriche achtet, mögen zwei Gemälde völlig unterschiedlich aussehen. Aber wenn man das Gesamtbild betrachtet, erkennt man vielleicht, dass beide denselben Sonnenuntergang malen. Die Forscher nutzten diese Idee, um die riesigen Datenbibliotheken, mit denen die KI trainiert wurde, zu scannen. Sie fragten nicht nur: „Hat die KI diesen Satz kopiert?“ Sie fragten: „Hat die KI die Idee dieses Satzes kopiert, selbst wenn sie andere Wörter verwendet hat?“

Um dies zu testen, verwendete das Team eine Familie von KI-Modellen namens SmolLM. Sie führten eine dreistufige Untersuchung durch. Erstens verwendeten sie ein schnelles Suchwerkzeug, um die ähnlichsten Ideen in der Trainingsbibliothek zu finden. Zweitens bewerteten sie diese Ergebnisse neu (Re-Ranking), um sicherzustellen, dass sie die richtige Art von Ähnlichkeit betrachteten und nicht nur kurze, einfache Übereinstimmungen. Drittens – und das ist der wichtigste Teil – verglichen sie die Antworten der KI mit Antworten, die von echten Menschen geschrieben wurden. Dies diente als „Kalibrierungswerkzeug“, ähnlich wie ein Koch ein Gericht gegen ein Standardrezept probiert, um zu sehen, ob die Würzung stimmt. Auf diese Weise konnten sie messen, wie „originell“ (neu und andersartig) der Output der KI wirklich war, unabhängig davon, ob er besonders schick oder einfach klang.

Die Ergebnisse waren überraschend und verändern unsere Sicht auf diese KI-Modelle. Erstens fanden sie heraus, dass die KI-Modelle Informationen aus ihren Trainingsdaten über viel längere Textpassagen hinweg abrufen, als bisher angenommen wurde. Es ist nicht nur das Kopieren eines einzelnen Satzes; sie verweben Ideen aus langen Absätzen. Zweitens spielt die Art der Aufgabe eine große Rolle. Wenn die KI angewiesen wird, etwas sehr Strenges zu tun, wie etwa eine Matheaufgabe zu lösen, neigt sie dazu, weniger originell zu sein, da es nur einen richtigen Weg gibt, die Antwort zu formulieren. Aber wenn sie gebeten wird, eine Geschichte zu schreiben oder eine knifflige Frage zu beantworten, wird sie viel kreativer und weniger wie ein Kopierer.

Vielleicht war die interessanteste Erkenntnis die über das „Instruction Tuning“. Dies ist der Prozess, bei dem man einer KI beibringt, spezifische Befehle zu befolgen, wie zum Beispiel: „Verhalte dich wie ein hilfreicher Assistent.“ Die Forscher fanden heraus, dass dieses Training nicht nur den Stil der KI verändert, sondern sie tatsächlich origineller macht. Die durch Instruction Tuning optimierten Modelle begannen, andere Formulierungen und Strukturen zu verwenden, die weniger ähnlich zu ihren ursprünglichen Trainingsdaten waren. Es ist, als hätte das Erlernen von Anweisungen der KI das Selbstvertrauen gegeben, aufzuhören, das Lehrbuch zu wiederholen, und stattdessen ihre eigene Geschichte zu schreiben.

Die Autoren entdeckten auch, dass kleinere KI-Modelle oft „origineller“ waren als die riesigen Modelle. Die größeren Modelle schienen näher an ihren Trainingsdaten zu bleiben, fast so, als hätten sie mehr Angst davor, von dem abzuweichen, was sie auswendig gelernt haben. Obwohl die Studie nicht beweist, dass diese Modelle im menschlichen Sinne „denken“, deutet sie stark darauf an, dass Instruction Tuning ihnen hilft, über das einfache Auswendiglernen hinauszugehen. Die Forscher haben alle ihre Werkzeuge und Daten veröffentlicht, damit andere ihre Arbeit überprüfen können, in der Hoffnung, dass diese neue Art, „Neuheit“ zu messen, uns helfen wird, genau zu verstehen, was diese digitalen Gehirne lernen und wann sie wirklich etwas Neues erschaffen.

Technisches Resümee: Die Neuartigkeit der LLM-Generierung durch die Linse der semantischen Ähnlichkeit

Problemstellung

Die Bewertung der Generierungsneuheit (Generation Novelty) von Large Language Models (LLMs) ist entscheidend für das Verständnis ihrer Fähigkeit zur Generalisierung über die Trainingsdaten hinaus. Bestehende Evaluierungsmethoden stehen jedoch vor erheblichen Einschränkungen:

Lexikalischer Bias: Traditionelle Metriken stützen sich auf strikte textuelle Überlappung (z. B. n-Gramm-Nicht-Überlappung), was Paraphrasierung, Umformatierung oder stilistische Variationen nicht erkennt und semantisch wiederverwendete Inhalte fälschlicherweise als neuartig einstuft.
Skalierungsbeschränkungen: Die Analyse der Neuartigkeit gegenüber dem vollständigen Vortrainingskorpus ist rechentechnisch prohibitiv, wessthalb sich viele Studien auf kuratierte, domänenspezifische Referenzsets verlassen, die die breitere Trainingsverteilung ignorieren.
Konzeptionelle Ambiguität: Es gibt keine einheitliche Definition von Neuartigkeit, die zwischen „Reproduktion“ (semantisch identisch mit den Trainingsdaten) und „Komposition“ (intern kohärent, aber semantisch distinkt) unterscheidet.

Methodik

Die Autoren schlagen einen dreistufigen Rahmen vor, um die semantische Neuartigkeit auf der Skala von Vortrainingskorpora zu messen. Dieser Ansatz behandelt Neuartigkeit als ein semantisches Retrieval-Problem und nutzt effiziente Information-Retrieval-Pipelines, um die Ausgaben des Modells mit seinem gesamten Vortrainingskorpus zu vergleichen.

1. Konzeptionelle Definition

Semantische Neuartigkeit wird als der minimale Kosinusabstand zwischen dem Embedding einer LLM-Generierung ( $y$ ) und den Embeddings von Dokumenten im Vortrainingskorpus ( $C$ ) definiert:
$\text{Neuheit}(y) = \min_{d \in C} (1 - \cos(\phi(y), \phi(d)))$
wobei $\phi$ eine Embedding-Funktion ist. Diese Definition priorisiert den Inhalt gegenüber der Oberflächenform und unterscheidet zwischen Reproduktion und Komposition.

2. Der dreistufige Rahmen

Der Rahmen operiert auf Datensatz-Ebene und ist modellagnostisch:

Stufe 1: Identifizierung eines lokalen Kandidatenpools (Retrieval):
Für jede Generierung liefert ein grobkörniger Ranker ( $R$ ) die Top- $n$ Passagen aus dem Vortrainingskorpus mit der höchsten potenziellen semantischen Überlappung zurück. Dies fungiert als ein High-Recall-Filter, um einen recheneffizienten Suchraum zu schaffen. Die Autoren verwenden GIST-Embeddings, die via FAISS indiziert sind, für diese Stufe.
Stufe 2: Semantisches Re-Ranking auf mehreren Skalen:
Um zwischen kurzreichweitiger lexikalischer Wiederverwendung und langreichweitiger kompositorischer Neuartigkeit zu unterscheiden, werden die Generierung und ihr Kandidatenpool in Chunks unterschiedlicher Größe ( $k$ ) zerlegt. Ein High-Precision-Re-Ranker ( $S$ ), spezifisch ColBERTv2, berechnet die maximale Ähnlichkeit zwischen jedem Chunk und seinem jeweiligen Pool. Diese Stufe gewährleistet Robustheit gegenüber Paraphrasierung und stilistischen Verschiebungen.
Stufe 3: Kalibrierte distributionale Normalisierung:
Rohe Ähnlichkeitswerte sind nicht-linear und sensitiv gegenüber Artefakten wie Sequenzlänge und Domänendichte. Um dies zu mildern, kalibriert der Rahmen die Modellscores gegen eine menschliche Neuheits-Baseline ( $H$ $H$ ).
- Ein „semantisches Rauschuntergrenze“ ( $\tilde{\mu}^{(k)}_H$ ) wird als der Median der Ähnlichkeit von ausgelassener, menschlich geschriebener Text (der garantiert nicht im Trainingskorpus enthalten ist) für eine spezifische Chunk-Größe berechnet.
- Der endgültige Kalibrierte Ähnlichkeitswert ist das Verhältnis des Roh-Ähnlichkeitswerts des Modells zu dieser menschlichen Baseline:
  $\text{Kalibrierter Score}(k) = \frac{\text{Roher Ähnlichkeitswert}}{\tilde{\mu}^{(k)}_H}$
- Ein Score von $\approx 1$ bedeutet, dass die Ähnlichkeit des Modells zum Trainingskorpus vergleichbar mit der Ähnlichkeit von menschlichem Text zum Korpus ist (d. h. vergleichbare Neuheit). Entscheidend ist: Höhere Scores deuten auf eine höhere Ähnlichkeit mit den Trainingsdaten hin, was einer geringeren Neuartigkeit entspricht. Umgekehrt deuten niedrigere Scores auf eine größere Abweichung von den Trainingsdaten und somit auf eine höhere Neuartigkeit hin.

Experimenteller Aufbau

Der Rahmen wurde auf die SmolLM- und SmolLM2-Modellfamilien (360M und 1,7B Parameter, jeweils Base- und Instruction-tuned-Varianten) angewendet.

Korpus: Die vollständigen Vortrainingskorpora für diese Modelle wurden indiziert (~20 TB an Embeddings).
Baselines: Menschlicher Text aus dem Dolma-Datensatz (der nicht Teil der Trainingssets war) diente als Referenz für die Neuartigkeit.
Aufgaben:
- Offene Generierung: Mit Kontext (prompted) und ohne Kontext (unprompted).
- Domänenspezifische Benchmarks: GSM8K (Mathe), TruthfulQA (Logik) und OpenRewriteEval (Umschreiben), streng gefiltert auf Korrektheit, um sicherzustellen, dass Neuheitssignale nicht durch Halluzinationen getrieben wurden.

Kernergebnisse

Die Analyse lieferte drei primäre Erkenntnisse:

Langreichweitige Wiederverwendungsmuster:
Modelle greifen über viel längere Sequenzen auf Vortrainingsdaten zu, als bisher durch lexikalische Methoden berichtet wurde. Während die n-Gramm-Überlappung bei paraphasierten Inhalten auf Null sinkt, zeigt die semantische Ähnlichkeit, dass Modelle oft Konzepte reproduzieren, die über hunderte von Token hinweg in den Trainingsdaten zu finden sind.
Aufgabenabhängige Neuartigkeit:
Die Neuartigkeit variiert systematisch nach Domäne.
- Eingeschränkte Aufgaben (z. B. GSM8K): Gültige Lösungen haben einen engen semantischen Raum, was zu höheren Ähnlichkeitswerten (geringerer Neuartigkeit) führt, da es begrenzte Möglichkeiten gibt, einen Beweis korrekt zu formulieren.
- Offene Aufgaben (z. B. TruthfulQA): Erlauben eine größere semantische Varianz, was zu niedrigeren Ähnlichkeitswerten (höherer Neuartigkeit) führt.
Einfluss von Instruction Tuning:
Instruction Tuning wirkt als „Katalysator für Neuartigkeit“.
- Instruction-tuned Modelle weisen über alle Domänen hinweg konsistent niedrigere Ähnlichkeitswerte (höhere Neuartigkeit) als ihre Base-Pendants auf.
- Dies ist nicht bloß ein stilistischer Effekt; selbst bei Filterung auf Korrektheit produzieren Instruction-tuned Modelle Antworten, die kompositorisch distinkt von den Rohdaten des Vortrainings sind.
- Skalierungseffekt: Kleinere Modelle (360M) wurden in bestimmten Kontexten als neuartiger befunden als größere Modelle (1,7B), was darauf hindeutet, dass größere Modelle eine höhere „Memorierungskapazität“ im semantischen Raum besitzen könnten.

Bedeutung und Ansprüche

Das Paper beansprucht, eine skalierbare, interpretierbare und robuste Methode zur Analyse der Generalisierung von LLMs bereitzustellen.

Jenseits von Memorierung: Im Gegensatz zu Membership-Inference-Attacks oder der Erkennung von Memorierung, die sich auf die wortgetreue Reproduktion konzentrieren, misst dieser Rahmen den Grad der semantischen Wiederverwendung und bietet ein kontinuierliches Spektrum der Generalisierung.
Robustheit gegenüber Stil: Durch die Arbeit im semantischen Repräsentationsraum ist die Methode unempfindlich gegenüber stilistischen Variationen durch Instruction Tuning, die Oberflächenmetriken oft konfundieren.
Reproduzierbarkeit: Die Autoren stellen ~20 TB an Korpus-Chunks und FAISS-Indizes zur Verfügung, um weitere Forschungen zur Neuartigkeit auf Vortrainings-Skala zu ermöglichen.

Die Autoren kommen zu dem Schluss, dass die Analyse der semantischen Neuartigkeit eine Voraussetzung dafür ist, zu interpretieren, was LLMs tatsächlich lernen. Sie betonen, dass Instruction Tuning nicht nur den Stil, sondern das fundamentale kompositorische Verhalten des Modells formt. Sie stellen explizit klar, dass ihre Neuheitsmaße relative und distributionale Indikatoren sind und keine Werkzeuge zur Identifizierung spezifischer memorierter Inhalte oder zur Begründung rechtlicher Ansprüche über die Datenherkunft.