Technische Samenvatting: Perplexity kan niet altijd het verschil tussen goed en fout zien

Probleemstelling

Perplexity is de standaardmetriek voor het evalueren van autoregressieve taalmodellen, waarbij het dient als zowel een verliesfunctie als een proxy voor modelkwaliteit. Het meet de "verrassing" van een model wanneer het met grondwaarheid-data wordt geconfronteerd. Hoewel het breed wordt gebruikt vanwege de computationele eenvoud, suggereren empirische observaties dat perplexity niet altijd correleert met de kwaliteit van samples of nauwkeurigheid. Specifiek kan een model met een lagere nauwkeurigheid maar een betere gekalibreerde (of overdreven) zelfverzekerdheid een lagere perplexity-score behalen dan een accurater maar aarzelend model.

Dit artikel behandelt de theoretische fundamenten van dit verband. Het onderzoekt of perplexity een betrouwbaar objectief is voor modelselectie, met name in de context van decoder-only Transformers. Het kernprobleem is dat perplexity zelfverzekerdheid verward met juistheid, wat modellen beloont die zelfverzekerd fout zijn, vooral in scenario's met lange contexten waar foutsignalen kunnen worden verdund.

Methodologie

De auteurs maken gebruik van een combinatie van rigoureuze theoretische bewijzen, analytische modellering en empirische validatie om de beperkingen van perplexity aan te tonen.

1. Theoretisch Kader (Continuïteit en Collaps):

   • Het artikel maakt gebruik van recente theoretische resultaten over de continuïteit van Transformer-representaties (Pasten et al., 2025).
   • Het richt zich op decoder-only Transformers met Compact Position Embeddings (CPE), een klasse die veelvoorkomende embeddings zoals RoPE omvat.
   • De auteurs analyseren de bitstring copy task, waarbij een model een reeks bits exact moet reproduceren. Deze taak is gekozen omdat er een duidelijke grondwaarheid is en bekend is dat het moeilijk is voor LLM's om dit robuust te leren.
   • Ze gebruiken greedy decoding (deterministische sampling) als baseline om robuuste claims te maken over nauwkeurigheid en perplexity, en breiden de analyse later uit naar stochastische sampling via temperatuur-scaling.

2. Analytische Modellering (Iso-Perplexity Curven):

   • De auteurs construeren een vereenvoudigd binair classificatiekader om iso-perplexity curven af te leiden.
   • Ze modelleren de relatie tussen nauwkeurigheid ($a$) en zelfverzekerdheid ($1-\gamma$) als scalaire variabelen.
   • Door op te lossen voor de "kritieke nauwkeurigheid" die nodig is om een toename in zelfverzekerdheid te rechtvaardigen zonder de perplexity te verhogen, brengen ze regio's in kaart in de confidence/nauwkeurigheidsruimte waar perplexity faalt in het selecteren van het nauwkeurigere model.

3. Empirische Validatie:

   • Copy Task Experimenten: De auteurs trainden een aangepaste CPE Transformer op de bitstring copy task en evalueerden een vooraf getraind Gemma 3 4B model. Ze vergeleken de prestaties van het model op een correcte sequentie ($\alpha_N$) versus een geperturbeerde sequentie ($\beta_N$) die het model niet kan kopiëren.
   • Parity Task Experimenten: Om de modelselectie in een complexere setting te bestuderen, trainden de auteurs een Transformer op de parity (XOR) taak. Ze volgden checkpoints gedurende de training en evalueerden deze op zowel in-distributie (IID) als out-of-distribution (OOD) data. Ze analyseerden de correlatie tussen log-perplexity, micro-F1 score en gemiddelde Shannon entropie (als proxy voor zelfverzekerdheid).

Belangrijkste Bijdragen

1. Bewijs van Perplexity Falen via Continuïteit:
   De auteurs bewijzen dat voor een compacte decoder-only Transformer, als het model een voldoende lange sequentie accuraat en zelfverzekerd voorspelt, er moet bestaan een andere sequentie waarbij het model faalt, terwijl de log-perplexity van die fout de nul nadert naarmate de sequentielengte toeneemt. Dit impliceert dat hoge zelfverzekerdheid op correcte inputs de existentie van "verwarrende" inputs noodzakelijk maakt waar het model zelfverzekerd fout is, maar de fout onzichtbaar is voor de perplexity-metriek door middel van middeling.

2. Verdwijnende Gradiënten op Incorrecte Samples:
   Het artikel demonstreert dat naarmate een model perfect verlies bereikt op een correcte sequentie, het gradiëntsignaal voor de bijbehorende "verwarrende" incorrecte sequentie verdwijnt. Bijgevolg verdwijnt het trainingssignaal voor deze incorrecte samples, waardoor het voor het model onmogelijk wordt om deze tegelijkertijd te corrigeren terwijl de hoge zelfverzekerdheid op de correcte samples behouden blijft.

3. Analytische Iso-Perplexity Curven:
   De auteurs leiden analytische expressies af voor iso-perplexity curven in de confidence-nauwkeurigheidsruimte. Ze identificeren "ongunstige regio's" waar:

   • Een model zelfverzekerder kan worden zonder de nauwkeurigheid te verbeteren, en toch de perplexity kan verlagen (een "onverdiende gratis lunch").
   • Omgekeerd kan een model de nauwkeurigheid verbeteren maar er niet in slagen de perplexity te verlagen als de toename in zelfverzekerdheid niet voldoende wordt gematcht door de winst in nauwkeurigheid.
   • Specifiek: voor een perfect zelfverzekerd model om door perplexity te worden geselecteerd, moet het perfect accuraat zijn; anders zal het worden afgewezen.

4. Empirisch Bewijs van Gevoeligheid voor Distributieverschuiving:
   Door de parity task experimenten laten de auteurs zien dat hoewel perplexity goed correleert met nauwkeurigheid op in-distributie data, deze relatie wegvalt op out-of-distribution (OOD) data. In OOD-regimes behalen modellen met een hoge zelfverzekerdheid (lage entropie) vaak de beste perplexity-scores, ondanks dat ze een lagere nauwkeurigheid hebben, waardoor ze effectief aan de "verkeerde kant" van de iso-perplexity curve terechtkomen.

Resultaten

• Theoretische Limieten: De bewijzen bevestigen dat de continuïteit van Transformer-representaties een scenario creëert waarin een model zeer zelfverzekerd kan zijn op een correcte sequentie $\alpha_N$ terwijl het faalt op een nabijgelegen sequentie $\beta_N$, waarbij de perplexity van $\beta_N$ convergeert naar nul als $N \to \infty$.
• Empirische Trends:
  • In de copy task experimenten stort de waarschijnlijkheid om de geperturbeerde sequentie $\beta_N$ correct te kopiëren in tot bijna nul, terwijl de log-perplexity tussen de correcte en incorrecte sequenties convergeerde, wat de theoretische voorspelling valideert.
  • In de parity task was de Pearson-correlatie tussen log-perplexity en nauwkeurigheid sterk en negatief ($r \approx -0,94$) voor in-distributie data, maar werd deze positief voor out-of-distribution data.
  • Checkpoints met de hoogste OOD-nauwkeurigheid hadden vaak de slechtste OOD-perplexity, en deze checkpoints werden gekenmerkt door lage entropie (hoge zelfverzekerdheid).

Betekenis en Claims

Het artikel betoogt dat perplexity niet louter een aggregatie-artefact is (zoals gesuggereerd door eerder werk dat zich richt op averaging bij lange contexten), maar inherent scheef is vanwege de wiskundige relatie tussen de log-likelihood doelstelling en zelfverzekerdheid.

• Risico bij Modelselectie: De auteurs beweren dat het uitsluitend vertrouwen op perplexity voor modelselectie kan leiden tot de selectie van modellen die "zelfverzekerd maar fout" zijn, met name in regimes die betrokken zijn bij distributieverschuivingen of lange contexten.
• Trainingsdynamiek: Het werk suggereert dat de drang om perplexity te minimaliseren modellen aanmoedigt om nauwkeurigheid in te ruilen voor zelfverzekerdheid, wat "ongunstige regio's" creëert waar een model zelfverzekerder wordt zonder nauwkeuriger te worden, maar toch zijn metriek-score verbetert.
• Waarschuwing: Het paper stelt geen nieuwe metriek voor om perplexity te vervangen. In plaats daarvan dient het als een diagnostische waarschuwing. Het suggereert dat beoefenaars gepaste zorg moeten betrachten bij het gebruik van perplexity als een proxy voor modelkwaliteit, vooral wanneer nauwkeurigheid niet direct gemeten kan worden, en benadrukt de noodzaak om rekening te houden met model-zelfverzekerdheid en distributieverschuivingen in modelselectieprotocollen.

Samenvattend biedt het artikel een rigoureus theoretisch en empirisch fundament dat aantoont dat perplexity niet altijd het verschil tussen goed en fout kan zien, aangezien het geminimaliseerd kan worden door modellen die zelfverzekerd incorrect zijn, waardoor het faalt als een betrouwbare selector voor generalisatieprestaties.