Technische Samenvatting: Nieuwheid van LLM-generatie door de lens van Semantische Gelijkenis

Probleemstelling

Het beoordelen van de generatieve nieuwheid van Large Language Models (LLM's) is cruciaal voor het begrijpen van hun vermogen om te generaliseren buiten de trainingsdata. Echter, bestaande evaluatiemethoden kampen met significante beperkingen:

1. Lexicale Bias: Traditionele metrieken vertrouwen op strikte tekstuele overlap (bijv. n-gram niet-overlap), wat het niet detecteert van parafrasering, herformattering of stilistische variaties, waardoor semantisch hergebruikte inhoud onterecht als nieuw wordt bestempeld.
2. Schaalbeperkingen: Het analyseren van nieuwheid tegenover volledige pretraining-corpora is computationeel prohibitief, waardoor veel studies afhankelijk zijn van gecureerde, domeinspecifieke referentiesets die de bredere trainingsdistributie negeren.
3. Conceptuele Ambiguïteit: Er is geen verenigde definitie van nieuwheid die onderscheid maakt tussen "reproductie" (semantisch identiek aan de trainingsdata) en "compositie" (intern coherent maar semantisch verschillend).

Methodologie

De auteurs stellen een driedelig framework voor om semantische nieuwheid op de schaal van pretraining-corpora te meten. Deze aanpak behandelt nieuwheid als een semantisch retrieval-probleem, waarbij gebruik wordt gemaakt van efficiënte informatie retrieval-pipelines om modeloutputs te vergelijken met hun volledige pretraining-corpus.

1. Conceptuele Definitie

Semantische nieuwheid wordt gedefinieerd als de minimale cosinusafstand tussen de embedding van een LLM-generatie ($y$) en de embeddings van documenten in het pretraining-corpus ($C$):
$$\text{Nieuwheid}(y) = \min_{d \in C} (1 - \cos(\phi(y), \phi(d)))$$
waarbij $\phi$ een embedding-functie is. Deze definitie geeft prioriteit aan inhoud boven de oppervlakkige vorm, waardoor onderscheid wordt gemaakt tussen reproductie en compositie.

2. Het Driedelige Framework

Het framework werkt op de schaal van datasets en is model-agnostisch:

• Fase 1: Identificatie van de Lokale Kandidaatpool (Retrieval):
  Voor elke generatie extraheert een grofmazige ranker ($R$) de top-$n$ passages uit het pretraining-corpus met de hoogste potentiële semantische overlap. Dit fungeert als een high-recall filter om een computationeel efficiënte zoekruimte te creëren. De auteurs gebruiken GIST-embeddings geïndexeerd via FAISS voor deze fase.
• Fase 2: Multi-schaal Semantische Re-ranking:
  Om onderscheid te maken tussen kort-afstands lexicaal hergebruik en lang-afstands compositionele nieuwheid, worden de generatie en de kandidaatpool gedecomposeerd in chunks van variërende grootte ($k$). Een high-precision re-ranker ($S$), specifiek ColBERTv2, berekent de maximale gelijkenis tussen elke chunk en de respectieve pool. Deze fase zorgt voor robuustheid tegen parafrasering en stilistische verschuivingen.
• Fase 3: Gecalibreerde Distributionele Normalisatie:
  Ruwe gelijkenisscores zijn niet-lineair en gevoelig voor artefacten zoals sequentielengte en densiteit van het domein. Om dit te mitigeren, calibreert het framework modelscores tegen een menselijke nieuwheid-baseline ($H$).
  • Een "semantische ruisvloer" ($\tilde{\mu}^{(k)}_H$) wordt berekend als de mediaan van de gelijkenis van menselijke geschreven tekst (die gegarandeerd afwezig is uit de trainingscorpus) voor een specifieke chunk-grootte.
  • De uiteindelijke Gecalibreerde Gelijkenisscore is de ratio van de ruwe score van het model tot deze menselijke baseline:
    $$\text{Gecalibreerde Score}(k) = \frac{\text{Ruwe Gelijkenisscore}}{\tilde{\mu}^{(k)}_H}$$
  • Een score van $\approx 1$ geeft aan dat de gelijkenis van het model met de trainingscorpus vergelijkbaar is met de gelijkenis van menselijke tekst met de corpus (d.w.z. vergelijkbare nieuwheid). Cruciaal is dat hogere scores duiden op een hogere gelijkenis met de trainingsdata, wat overeenkomt met een lagere nieuwheid. Omgekeerd duiden lagere scores op een grotere afwijking van de trainingsdata en dus op een hogere nieuwheid.

Experimentele Opzet

Het framework werd toegepast op de SmolLM en SmolLM2 modelfamilies (360M en 1.7B parameters, zowel Base als Instruction-tuned varianten).

• Corpus: De volledige pretraining-corpora voor deze modellen zijn geïndexeerd (~20 TB aan embeddings).
• Baselines: Menselijke tekst uit de Dolma-dataset (niet onderdeel van de trainingssets) diende als de nieuwheid-referentie.
• Taken:
  • Open-ended generatie: Geprompt (met context) en ongeprompt (zonder context).
  • Domeinspecifieke benchmarks: GSM8K (Wiskunde), TruthfulQA (Logica) en OpenRewriteEval (Herschrijven), strikt gefilterd op correctheid om te voorkomen dat nieuwheidssignalen werden gedreven door hallucinaties.

Belangrijkste Bevindingen

De analyse leverde drie primaire inzichten op:

1. Long-Range Hergebruikpatronen:
   Modellen putten uit pretraining-data over veel langere sequenties dan eerder gerapporteerd door lexicale methoden. Terwijl n-gram overlap naar nul daalt bij geparafraseerde inhoud, onthult semantische gelijkenis dat modellen vaak concepten reproduceren die in de trainingsdata aanwezig zijn over honderden tokens.

2. Taakafhankelijke Nieuwheid:
   Nieuwheid varieert systematisch per domein.

   • Beperkte Taken (bijv. GSM8K): Geldige oplossingen hebben een smalle semantische ruimte, wat leidt tot hogere gelijkenisscores (lagere nieuwheid), aangezien er beperkte manieren zijn om een bewijs correct te articuleren.
   • Open Taken (bijv. TruthfulQA): Bieden meer semantische variantie, wat resulteert in lagere gelijkenisscores (hogere nieuwheid).

3. Impact van Instruction Tuning:
   Instruction tuning fungeert als een "nieuwheid-katalysator".

   • Instruction-tuned modellen vertonen consequent lagere gelijkenisscores (hogere nieuwheid) dan hun base-tegenhangers over alle domeinen.
   • Deze toename is niet louter stilistisch; zelfs wanneer gefilterd op correctheid, produceren instruction-tuned modellen antwoorden die compositioneel verschillend zijn van de ruwe pretraining-data.
   • Schaaleffect: Kleinere modellen (360M) bleken in bepaalde contexten nieuwer te zijn dan grotere modellen (1.7B), wat suggereert dat grotere modellen een hogere "memorisatiecapaciteit" hebben in de semantische ruimte.

Betekenis en Claims

Het artikel claimt een schaalbare, interpreteerbare en robuuste methode te bieden voor het analyseren van de generalisatie van LLM's.

• Voorbij Memorisatie: In tegen tegenover deels lidmaatschapsinferentie-aanvallen (membership inference attacks) en detectie van memorisatie, die zich richten op letterlijke reproductie, meet dit framework de graad van semantisch hergebruik, wat een continu spectrum van generalisatie biedt.
• Robuustheid tegen Stijl: Door te opereren in de semantische representatieruimte, is de methode ongevoelig voor stilistische variaties geïntroduceerd door instruction tuning, die oppervlakte-metrieken vaak in de war brengen.
• Reproduceerbaarheid: De auteurs stellen ~20 TB aan corpus-chunks en FAISS-indices beschikbaar om verder onderzoek naar nieuwheid op pretraining-schaal mogelijk te maken.

De auteurs concluderen dat semantische nieuwheidsanalyse een vereiste is voor het interpreteren van wat LLM's daadwerkelijk leren, waarbij zij benadrukken dat instruction tuning niet alleen stijl, maar ook het fundamentele compositionele gedrag van het model vormgeeft. Zij stellen expliciet dat hun nieuwheidsmaten relatieve en distributionele indicatoren zijn, en geen instrumenten voor het identificeren van specifieke gememoriseerde inhoud of het maken van juridische claims over de herkomst van data.