Technische Samenvatting: Fine-tuning verbetert de informatieoverdracht in taalmodellen

Probleemstelling

Bestaande literatuur stelt dat fine-tuning (inclusief instructie-tuning en alignment) de diversiteit en onzekerheid van Large Language Models (LLM's) vermindert, waardoor ze deterministischer worden. Echter, dit artikel identificeert een kritieke beperking in deze eerdere analyses: ze slagen er grotendeels niet in om te corrigeren voor outputlengte. Lengte is een belangrijke verwarrende factor (confounder) in diversiteitsmetingen; metrieken zoals de type-token ratio of n-gram diversiteit worden beïnvloed door tekstlengte, wat vaak kortere reacties kunstmatig diverser doet lijken. Bovendien behandelt eerder werk diversiteit als een statische eigenschap, waarbij gefaald wordt in het analyseren van hoe onzekerheid evolueert langs generatie-trajecten of hoe deze wordt verdeeld over verschillende outputlengtes. Bijgevolg blijft het onduidelijk of fine-tuning diversiteit simpelweg onderdrukt of dat het diversiteit herorganiseert om meer informatieve, semantisch betekenisvolle generaties te produceren.

Methodologie

Canopy Entropy ($CE^\star$)

Om deze hiaten aan te pakken, stellen de auteurs Canopy Entropy ($CE^\star$) voor, een informatie-theoretische maatstaf die taalgeneratie vanuit een boomperspectief bekijkt.

• Concept: De "canopy" (het bladerdak) vertegenwoordigt de verzameling van alle mogbare voltooide rollouts (bladeren) die beschikbaar zijn voor het model. $CE^\star$ kwantificeert het effectieve volume van deze generatieruimte door zowel lokale vertakkingsbreedte (token-niveau onzekerheid) als trajectdiepte (variabiliteit in de stoppertijd) gezamenlijk mee te wegen.
• Formele Definitie: $CE^\star$ wordt gedefinieerd als de verwachte som van lokale entropieën langs generatie-trajecten:
  $$CE^\star := \mathbb{E}\left[\sum_{t=1}^{N(x)} \tilde{H}(g_t | x)\right]$$
  waarbij $N(x)$ de willekeurige stoppertijd (lengte) is, $g_t$ de generatiegeschiedenis is, en $\tilde{H}$ de lokale entropie van de volgende token is (inclusief de EOS-token).
• Theoretische Equivalentie: De auteurs bewijzen dat $CE^\star$ exact gelijk is aan de totale Shannon-entropie van het generatieproces:
  $$CE^\star = H(N, Y_{1:N} | X)$$
  Dit deelt de totale onzekerheid op in lengte-onzekerheid $H(N|X)$ (voorspelbaarheid van de stoppertijd) en inhoud-onzekerheid $H(Y_{1:N}|N, X)$ (diversiteit van sequenties bij een vaste lengte).

Afgeleide Metrieken

Om $CE^\star$ interpreteerbaar te maken, worden twee genormaliseerde varianten geïntroduceerd:

1. Generation Perplexity (GenPPL): Een normalisatie op token-niveau van $CE^\star$, die de diversiteit van een typische token reflecteert.
2. Branching Factor (BF): Een normalisatie op traject-niveau (verwachting van de entropierate), die de diversiteit van een typisch traject reflecteert.

Lengte–Entropie Correlatie ($\rho(N, r_N)$)

Het artikel introduceert een nieuwe metriek om te bestuderen hoe onzekerheid evolueert met de generatielengte: de correlatie tussen outputlengte $N$ en de entropierate $r_N$ (per-token inhoudelijke onzekerheid).

• Definitie: $\rho(N, r_N)$ meet of langere generaties informatief blijven (positieve correlatie) of steeds redundant/voorspelbaarder worden (negatieve correlatie).
• Significantie: Deze metriek adresseert het verwarrende effect van lengte, door onderscheid te maken tussen echte informatieversterking en statistische artefacten in langere teksten.

Schatting

Omdat het berekenen van $CE^\star$ over de exponentiële ruimte van alle rollouts onhandelbaar is, ontwikkelen de auteurs Monte Carlo-schatters. Zij stellen de consistentie van deze schatters vast onder condities van afnemende truncatiebias (naarmate de maximale lengte $T_{max} \to \infty$) en een bescheiden truncatie-lengte. De foutmarges ontleden in Monte Carlo-steekproeffout en truncatiebias.

Belangrijkste Resultaten

De auteurs evalueerden drie modelfamilies (LLaMA-3.1-8B, Qwen3-8B, Gemma-3-12B) over vier taken (Wiskunde, Codering, Zin-aanvulling, Verhaalgeneratie), waarbij ze base-modellen vergeleken met instructie-getunede varianten.

1. Reductie in Genormaliseerde Onzekerheid:
   Fine-tuning vermindert consistent zowel de token-niveau (GenPPL) als de traject-niveau (BF) genormaliseerde onzekerheid in bijna alle modellen en taken. De omvang van de reductie varieert significant per taak (bijv. ~5% in Wiskunde voor Qwen versus ~80% in Zin-aanvulling), wat suggereert dat alignment de generatieruimte comprimeert, maar dit heterogeen doet afhankelijk van de taakstructuur.

2. Taakafhankelijke Effecten op Totale Onzekerheid ($CE^\star$):

   • In gestructureerde taken (Wiskunde, Codering, Zin-aanvulling) neemt $CE^\star$ aanzienlijk af na fine-tuning, omdat de geldige generatieruimte wordt teruggebracht tot een kleine set correcte trajecten.
   • In open-ended taken (Verhaalgeneratie) kan $CE^\star$ toenemen. Fine-tuned modellen genereren langere, meer uitgewerkte sequenties. Hoewel de lokale vertakkingsdiversiteit afneemt, kan de toename in trajectdiepte (stoppertijd-onzekerheid) de reductie in lokale entropie wiskundig gezien overtreffen, wat leidt tot een groter totaal volume van de generatieruimte.

3. Verschuiving in de Lengte–Entropie Correlatie:
   Een cruciale bevinding is dat fine-tuning de correlatie $\rho(N, r_N)$ systematisch verschuift van negatief naar positief.

   • Base-modellen: Vertonen een negatieve correlatie; langere outputs hebben de neiging een lagere entropierate te hebben, wat impliceert dat latere tokens redundant zijn.
   • Fine-tuned modellen: Vertonen een positieve correlatie; langere generaties behouden een hogere entropierate, wat aangeeft dat extra tokens informatief blijven in plaats van te vervallen in herhaling.

4. Efficiëntie in Semantische Diversiteit:
   Met behulp van een Beta mixed-effects regressiekader vonden de auteurs dat hoewel fine-tuning de basislijn semantische diversiteit bij een vaste entropierate vermindert, het de gevoeligheid van semantische diversiteit voor de entropierate bijna verdrievoudigt. Dit impliceert dat afgestemde modellen de token-niveau onzekerheid efficiënter benutten, door deze effectiever om te zetten in betekenisvolle semantische variatie dan base-modellen.

Betekenis en Claims

Het artikel claimt dat de heersende visie — dat fine-tuning slechts de diversiteit vermindert — incompleet is. In plaats daarvan laten de resultaten zien dat fine-tuning de onzekerheid fundamenteel herstructureert.

• Herstructurering, niet enkel Reductie: Fine-tuning verkleint niet simpelweg de generatieruimte; het herstructureert hoe onzekerheid over generatie-trajecten wordt verdeeld.
• Informatie-efficiëntie: Afgestemde modellen produceren outputs die meer georganiseerd en semantisch betekenisvol zijn. Ze handhaven de informatiedichtheid over langere trajecten, waardoor ze de "completion traps" en redundantie die vaak bij base-modellen worden gezien, vermijden.
• Methodologische Bijdrage: Door $CE^\star$ en de lengte–entropie correlatie te introduceren, biedt het artikel een principieel, lengte-bewust kader voor het evalueren van generatie-diversiteit dat de verwarrende effecten van outputlengte die inherent zijn aan eerdere metrieken overwint.

De auteurs concluderen dat fine-tuning de informatieoverdracht van taalmodellen verbetert, waardoor ze effectiever worden in het vertalen van onzekerheid naar semantisch diverse en taak-gepaste generaties.