Technische Samenvatting: Compute-Optimale Tokenisatie

Probleemstelling

Schaalwetten hebben traditioneel geleid bij het efficiënt ontwerpen van grote taalmodellen (LLMs) door de optimale balans tussen modelgrootte en trainingsdatavolume voor te schrijven. Echter, standaardbenaderingen drukken datavolume uit in tokens, een eenheid die inherent afhankelijk is van de specifieke tokenizer en diens compressiegraad (het gemiddelde aantal bytes per token). Deze afhankelijkheid negeert de informatiedichtheid van de dataeenheid zelf. Bijgevolg zijn bestaande schaalbevindingen gekoppeld aan specifieke tokenisatieschema's (bijv. BPE), wat de ware relatie tussen compute, data en modelparameters mogelijk verduistert. Het artikel adresseert de lacune in het begrijpen hoe de compressiegraad ($T$) invloed heeft op compute-optimale schaal trends en of de optimale data-tot-parameterverhouding uitgedrukt moet worden in tokens of bytes.

Methodologie

Om de rol van compressiegraad systematisch te onderzoeken zonder verstorende variabelen zoals vocabulairegrootte, pasten de auteurs de Byte Latent Transformer (BLT)-architectuur toe. BLT maakt nauwkeurige controle over de compressiegraad mogelijk door byte-niveau invoer te segmenteren in latente tokens op basis van een entropiedrempel, waardoor het trainen van modellen met variërende $T$ mogelijk is terwijl de vocabulairegrootte (en dus het aantal parameters) constant blijft.

Experimentele Opstelling:

• Modellen: De studie trainde 988 latent getokeniseerde modellen (BLT) en 320 subword-getokeniseerde modellen (met varianten zoals Character, BPE, SuperBPE en gemaskerde BPE).
• Schaal: Modellen varieerden van 50M tot 7B parameters.
• Compute-budgetten: Experimenten besloegen budgetten van $5 \times 10^{18}$ tot $2 \times 10^{21}$ FLOPs.
• Compressiegraden ($T$):
  • Latente Modellen: $T \in \{1, 2, 4, 6, 8, 12\}$ bytes/token.
  • Subword-modellen: $T \in \{1.01, 3.71, 4.16, 4.57, 6.16\}$ bytes/token.
• Data: Training vond voornamelijk plaats op het DCLM-corpus (plat Engels), met uitbreidingen naar vijf andere talen (Frans, Vietnamees, Russisch, Arabisch, Hindi) en een kunstmatig opgeblazen Engelse dataset.
• Evaluatie: Modellen werden geëvalueerd met Bits-Per-Byte (BPB) op de C4-validatiesplit, waarbij ervoor werd gezorgd dat contextlengte in bytes werd gemeten (bijv. 8192 bytes) in plaats van tokens om consistentie over verschillende compressiegraden te behouden.

Analyse-aanpak:
De auteurs pasten machtwetten toe in twee fasen:

1. Schaalwet I: Bepaalde de optimale trainingsdatagrootte ($B^\star$) en modelgrootte ($N^\star$) voor een gegeven compute-budget ($C$) en compressiegraad ($T$) door het minimum van IsoFLOP-curven (verlies versus data/parameters) te vinden.
2. Schaalwet II: Modelleerde de dynamiek van het optimale verlies ($L^\star$) als functie van $C$ en $T$, met name onderzoekend naar het bestaan van een optimale compressiegraad.

Belangrijkste Bijdragen en Resultaten

1. Schaalwet I: Bytes versus Tokens

De studie stelt vast dat in compute-optimale configuraties de optimale verhouding tussen trainingsdata-bytes en modelparameters ongeveer constant blijft, ongeacht de compressiegraad.

• Vinding: De optimale bytes-per-parameterverhouding ($\rho^\star$) ligt dicht bij 60 bytes per parameter voor Engelse data.
• Implicatie: De veel aangehaalde "Chinchilla"-regel van ongeveer 20 tokens per parameter is een artefact van de specifieke compressiegraad van BPE-tokenizers ($T \approx 4.57$). Bij het generaliseren van schaalrecepten over verschillende tokenizers moeten ontwikkelaars de verhouding van trainingsbytes tot parameters matchen, niet tokens tot parameters.
• Wiskundige Vorm: $B^\star(C, T) \approx B_0 C^\alpha T^\beta$ en $N^\star(C, T) \approx N_0 C^{1-\alpha} T^{1-\beta}$, waarbij $\alpha \approx 0.465$ en $\beta \approx 0.471$. Aangezien $\alpha$ en $\beta$ dicht bij 0.5 liggen, blijft de verhouding $\rho^\star = B^\star/N^\star$ bijna constant over variërende $C$ en $T$.

2. Schaalwet II: Optimale Compressiegraad

Het artikel ontdekt dat er een specifieke optimale compressiegraad ($T^\star$) bestaat die het verlies minimaliseert voor een vast compute-budget.

• Niet-monotonie: Verlies is niet-monotoon met betrekking tot compressie; afwijken van $T^\star$ in beide richtingen (te lage of te hoge compressie) verhoogt het verlies.
• Compute-afhankelijkheid: De optimale compressiegraad neemt af naarmate het compute-budget toeneemt. Bijvoorbeeld, bij $C=10^{20}$ FLOPs is $T^\star \approx 3.69$, terwijl bij $C=2 \times 10^{21}$ FLOPs $T^\star \approx 3.33$.
• Subword-validatie: Deze trend geldt ook voor subword-getokeniseerde modellen. Verrassend presteerden modellen met 90% van het BPE-vocabulaire gemaskerd (lagere effectieve compressie) beter dan standaard BPE-modellen op grote schaal, wat suggereert dat lagere compressie gunstig kan zijn voor zeer grote modellen.

3. Meertalige Generalisatie

De bevindingen strekken zich uit tot talen buiten het Engels, waarbij optimale waarden correleren met meertalige pariteit (de verhouding van de benodigde byte-lengte om dezelfde informatie in verschillende talen tot uitdrukking te brengen).

• Taal-specifiek: Talen met hogere pariteit (lagere informatiedichtheid per byte, bijv. Hindi, Russisch) vereisen een hogere optimale compressiegraad en een hogere optimale bytes-per-parameterverhouding.
• Huidige Tokenizers: Populaire meertalige tokenizers (bijv. Llama 3, Qwen 3) neigen tot overcompressie van hoog-resourcetalen (zoals Engels) en ondercompressie van laag-resourcetalen (zoals Hindi), afwijkend van de berekende optimale $T^\star$.

4. Inference Trade-offs

Hoewel lagere compressie (dichter bij de optimale $T^\star$ voor training) betere prestaties oplevert, verhoogt dit de inference compute-kost per byte. Het artikel wijst op een trade-off: hogere compressie verlaagt inferencekosten maar kan prestaties verslechteren als deze significant afwijkt van de trainings-optimale graad.

Betekenis en Claims

Het artikel claimt de eerste grondige studie te bieden van de impact van compressiegraad op de compute-efficiëntie van taalmodellen. De primaire betekenis ligt in:

1. Generaliseren van Schaalwetten: Het ontkoppelt schaalwetten van specifieke tokenizers door bytes als fundamentele eenheid voor dataschaling te vestigen, in plaats van tokens.
2. Optimale Tokenisatiestrategie: Het demonstreert dat de "optimale" compressiegraad niet statisch is, maar afhankelijk is van het trainingscompute-budget en het specifieke taalgebied.
3. Richtlijnen voor Ontwikkelaars: Het adviseert modelontwikkelaars om tokenisatieschema's te selecteren die aansluiten bij de compute-optimale bytes-per-parameterverhouding en om taal-specifieke compressiegraden in overweging te nemen, met name voor meertalige modellen waar standaard subword-tokenizers vaak falen om optimale compressie te bereiken.

De auteurs concluderen dat hoewel latent tokenisatie (BLT) nauwkeurige controle biedt om deze trends te ontdekken, de afgeleide schaalwetten consistent gelden voor subword-getokeniseerde modellen, en bruikbare richtlijnen bieden voor de selectie van tokenisatieschema's om compute-efficiëntie te maximaliseren.