Technische Samenvatting: Voor en Na Temperatuur: Een Distributioneel Perspectief op Creatieve LLM-Generatie

Probleemstelling

Het evalueren van de creativiteit van Large Language Model (LLM) generaties in open eind taken zonder referentietekst is een hardnekkige uitdaging. Traditionele referentievrije metrieken, zoals perplexiteit, falen vaak omdat ze vloeiende, hoogfrequente tekst belonen, wat leidt tot "neurale tekstdegeneratie" (saai, repetitieve output). Hoewel recente benaderingen die gebruikmaken van model-embeddings of LLM-als-rechter prompts de evaluatie hebben verbeterd, opereren zij op de oppervlaktevorm van de gegenereerde tekst in plaats van op de onderliggende waarschijnlijkheidsverdeling waaruit de tekst is gesampled. Bestaande methoden die wel verdelingen analyseren, reduceren deze vaak tot scalaire waarden (bijv. entropie, marge) of vertrouwen op het vergelijken van meerdere samples, waarbij de specifieke structurele transformatie die door de sampling temperatuur ($T$) wordt toegepast voordat een token wordt uitgegeven, wordt genegeerd.

Methodologie

De auteurs stellen een raamwerk voor dat de kloof tussen de ruwe overtuigingsverdeling van het model en de door temperatuur hervormde verdeling behandelt als een primair signaal voor evaluatie.

Experimentele Opzet

• Model & Prompts: Experimenten werden uitgevoerd met Llama-3.1-8B-Instruct op 500 open eind creatieve prompts afkomstig van WritingPrompts, de Alternative Uses Task en HellaSwag.
• Sampling Condities: Generaties werden geproduceerd bij drie temperaturen: $T \in \{0.3, 0.8, 1.5\}$.
• Logit Capturing: Voor elke gegenereerde token werden de top-$K$ ruwe logits vastgelegd vóór de sampling. $K=100$ voor $T \le 0.8$ en $K=200$ voor $T=1.5$. Cruciaal is dat het systeem garandeert dat de gesamplede token is opgenomen in de vastgelegde set (toegevoegd indien nodig), wat welgedefinieerde analyses waarborgt, zelfs bij hoge temperaturen waar de verdeling vlak is.
• Constructie van Verdelingen: Twee verdelingen worden per token berekend:
  1. Pre-temperatuur ($p$): De ruwe overtuiging van het model, $p = \text{softmax}(z)$.
  2. Post-temperatuur ($q$): De hervormde verdeling, $q = \text{softmax}(z/T)$, waaruit de token daadwerkelijk is gesampled.
• Ground Truth: Evaluatierangschikkingen werden vastgesteld via:
  • Een LLM-judge ensemble (gemiddelde rangschikkingen van gpt-4o en gemini-2.5-pro) op alle 500 prompts.
  • Een menselijke meerderheidsrangschikking (drie onafhankelijke beoordelaars) op een subset van 150 prompts.
  • Beide ground truths gebruikten een "coherentie-eerst" regel, die incoherentie en losgekoppelde jargon bestraft.

Metrieken

De studie berekent een reeks distributionele kenmerken die $p$ en $q$ vergelijken, inclusief:

• Informatietheoretische Divergenties: KL, Jensen-Shannon.
• Geometrische Afstanden: Total Variation, L2, Hellinger.
• Top-End Eigenschappen: Verschuivingen in top-1 waarschijnlijkheid en identiteit.
• Cumulatieve Massa-breedte ($n_\alpha$): Het aantal tokens dat nodig is om een waarschijnlijkheidsmassa $\alpha$ te dekken (bijv. $n_{90}$).
• Massa-lek (Mass Leakage): Het fractie van de post-temperatuur massa die achterblijft op de pre-temperatuur plausibele set (bijv. $S(p)_{90}$).
• Aggregatie: Kenmerken worden per respons geaggregeerd met behulp van percentielen (p10, p90), max en gemiddelde om verschillende aspecten van de generatie-trace te vangen.

Belangrijkste Bijdragen & Resultaten

1. Superieur Voorspellend Vermogen van Pre-vs-Post Kenmerken

De primaire bevinding is dat een enkele per-token feature afgeleid van de pre-vs-post temperatuur hervorming significant beter presteert dan standaard referentievrije baselines.

• Top Feature: De 10de percentiel van de pre-temperatuur top-90% breedte ($n_{90}(p)_{\text{p10}}$) bereikte een Spearman correlatie ($\rho$) van 0.918 tegenover de gemiddelde LLM-judge en 0.870 tegenover de menselijke meerderheid.
• Baseline Vergelijking: Vier standaard baselines (zelf-perplexiteit, gemiddelde predictieve entropie, top-1 marge en gzip compressieratio) plateauerdenden allemaal bij $|\rho| \approx 0.76$.
• Gap: De voorgestelde methode presteert beter dan de beste baseline met +0.165 (LLM judge) en +0.110 (menselijke meerderheid), een marge die aanzienlijk groter is dan de variantie tussen de baselines zelf.

2. Mechanisch Inzicht: De Incoherentie Signatuur

De prestatiewinst wordt gedreven door een scherpe distributionele signatuur die het "incoherentie regime" ($T=1.5$) onderscheidt van coherente regimes ($T=0.3, 0.8$).

• Massa-lek: Bij $T=1.5$ "lekt" ongeveer 13 procentpunten aan waarschijnlijkheidsmassa weg van de pre-temperatuur top-90% plausibele set. De post-temperatuur massa die op de oorspronkelijke plausibele set blijft, daalt van ~0.982 ($T=0.8$) naar ~0.868 ($T=1.5$).
• Breedte-inflatie: De cumulatieve massa-breedte ($n_{95}(q)$) zwelt op van $\sim 1$ token naar $\sim 131$ tokens bij $T=1.5$.
• Uniformiteit: Deze verstoring is uniform over de gehele generatie-trace, niet beperkt tot geïsoleerde tokens.

3. Beperkingen van Per-Token Aggregaten

Hoewel de methode uitblinkt in het scheiden van incoherente generaties ($T=1.5$) van coherente generaties, falen per-token aggregaten in het onderscheiden van de twee coherente regimes ($T=0.8$ vs. $T=0.3$). De verdelingen $p$ en $q$ behouden vergelijkbare vormen in deze regimes, wat suggereert dat het "mid-vs-bland" onderscheid berust op sequentie-niveau kenmerken (inhoudelijke nieuwheid, traject) in plaats van single-step distributionele hervorming.

Betekenis en Claims

Het artikel claimt dat het "pre-vs-post temperatuur perspectief" een goedkope, single-pass en referentievrije metriek biedt die de structurele impact van de sampling temperatuur op de kwaliteit van generatie vastlegt.

• Efficiëntie: In tegenstelling tot methoden die meerdere samples vereisen (bijv. semantische entropie) of externe referenties, extraheert deze benadering signalen uit dezelfde forward pass die wordt gebruikt om de tekst te genereren.
• Interpreteerbaarheid: Het mechanisme is interpreteerbaar: hoge creativiteit (of in dit geval, incoherentie) correleert met een specifieke lekkage van massa uit de oorspronkelijke plausibele set van het model naar de tail.
• Benchmarking: De studie stelt vast dat de gemiddelde LLM-judge (gpt-4o/gemini-2.5-pro) een betrouwbare proxy is voor menselijke beoordeling in deze context, waarbij een correlatie van $\rho=0.832$ met menselijke beoordelaars wordt bereikt, wat de inter-menselijke overeenkomst-plafond van $\rho=0.771$ overtreft.

De auteurs concluderen dat hoewel per-token distributionele verschuivingen een krachtige indicator zijn van de incoherentie-grens, het onderscheiden tussen subtiele variaties in coherente creativiteit waarschijnlijk een hybride benadering vereist die deze distributionele kenmerken combineert met analyse op sequentieniveau.