Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression

Dit paper introduceert 'information capacity', een nieuwe metriek die de inferentie-efficiëntie van grote taalmodellen kwantificeert door tekstcompressieprestaties te relateren aan rekencomplexiteit en tokeniseer-efficiëntie, waardoor inzicht wordt verkregen in de schaalbaarheid en linguïstische bias van diverse modellen.

De kern

Stel je voor dat je een gigantische bibliotheek hebt vol met boeken, maar in plaats van ze één voor één te lezen, gebruik je een super-intelligente robot om ze samen te vatten. Hoe slim is die robot? En hoe snel kan hij werken zonder dat je hele energievoorraad leegraakt?

Dit is precies waar dit nieuwe onderzoek over gaat. De auteurs, van China Telecom, hebben een nieuwe manier bedacht om te meten hoe efficiënt een grote taalmodel (zoals de AI die je nu gebruikt) eigenlijk is. Ze noemen deze maatstaf "Informatiecapaciteit".

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Grote Honger" van AI

Tegenwoordig worden AI-modellen steeds slimmer, maar ze zijn ook extreem hongerig. Ze eten enorme hoeveelheden stroom en rekenkracht op. Het is alsof je een Ferrari bouwt die wel 1000 km/u kan rijden, maar voor elke kilometer een tank benzine nodig heeft. Dat is niet duurzaam.

De vraag is: Hoe slim is een model in verhouding tot hoeveel energie het verbruikt? Helaas hadden we tot nu toe geen goede meetlat om dit te zeggen, vooral omdat verschillende modellen verschillende "woordenboeken" gebruiken en verschillende bouwplannen hebben.

2. De Oplossing: De "Compressie-Test"

De auteurs zeggen: "Laten we kijken naar compressie."
Stel je voor dat je een zeer lange, rommelige tekst moet opslaan op een USB-stick.

• Een slim model begrijpt de tekst zo goed dat het de tekst kan "samenvatten" tot een heel klein bestandje zonder informatie te verliezen. Het voorspelt perfect wat er als volgende komt.
• Een dom model snapt de tekst niet goed, dus het bestand blijft groot.

In de wereld van AI is het voorspellen van het volgende woord (zoals een tekstverwerker die suggesties doet) precies hetzelfde als het comprimeren van data. Hoe beter het voorspellen, hoe kleiner het bestand.

De nieuwe maatstaf (Informatiecapaciteit) is dus:

Hoeveel ruimte bespaar je (slimheid) gedeeld door hoeveel energie het kost om die slimme voorspelling te doen?

3. De Verborgen Held: De "Vertaler" (Tokenizer)

Een van de grootste ontdekkingen in dit papier is dat de tokenizer (het deel van de AI dat tekst omzet in getallen) vaak wordt vergeten, maar enorm belangrijk is.

• Vergelijking: Stel je voor dat je een boek wilt vertalen naar een andere taal.
  • Tokenizer A schrijft elk woord als een apart woord. "Ik ga naar huis" = 4 woorden.
  • Tokenizer B is slim en weet dat "Ik ga naar huis" één concept is. "Ik ga naar huis" = 1 woord.
• Als je 1000 zinnen moet verwerken, moet Tokenizer A 4000 keer rekenen, terwijl Tokenizer B maar 1000 keer hoeft te rekenen. Tokenizer B is dus veel efficiënter, zelfs als de "hersenen" (het model) even slim zijn.
• Dit onderzoek laat zien dat een efficiënte tokenizer net zo belangrijk is voor de snelheid als de intelligentie van het model zelf.

4. Wat hebben ze ontdekt?

Ze hebben 56 verschillende modellen getest op verschillende soorten teksten (Engels, Chinees, computercode, PDF's).

• Gelijke familie, gelijke efficiëntie: Als je kijkt naar een familie van modellen (bijvoorbeeld de "Qwen" familie), dan is de efficiëntie (Informatiecapaciteit) vrijwel hetzelfde, of het nu een klein of een gigantisch model is. Het grote model is wel slimmer, maar het kost ook evenredig meer energie.
• Taal-bias: Modellen zijn vaak heel goed in het taalgebied waar ze voor zijn getraind. Een model dat goed is in Engels, kan soms heel slecht zijn in Chinees of computercode. Het is alsof een kok die meester is in Italiaans eten, maar de worstjes niet eens kan bakken.
• MoE (Mixture of Experts): Sommige modellen werken als een team van specialisten. Ze schakelen alleen de "experts" in die nodig zijn voor de vraag. Dit maakt ze veel efficiënter dan modellen die alles zelf moeten doen.

5. Waarom is dit belangrijk?

Voor de toekomst van AI is dit een game-changer:

1. Voorspellen: Als je weet hoe efficiënt een klein model is, kun je precies voorspellen hoe een groter model uit dezelfde familie zal presteren, zonder dat je die enorme, dure grotere modellen eerst hoeft te bouwen en te testen. Het is alsof je de snelheid van een raceauto kunt voorspellen door alleen de motor van de kleine versie te bekijken.
2. Beter bouwen: Het helpt ontwikkelaars om te zien waar ze moeten verbeteren. Moeten ze hun "woordenboek" (tokenizer) verbeteren? Of hun architectuur?
3. Duurzaamheid: Het helpt ons te kiezen voor modellen die niet alleen slim zijn, maar ook niet de hele planeet opwarmen door hun energieverbruik.

Kortom:
De auteurs hebben een nieuwe "brandstof-efficiëntie-keurmerk" voor AI-bedrijven bedacht. Het zegt niet alleen hoe snel de auto is, maar ook hoeveel benzine hij verbruikt per kilometer, rekening houdend met hoe goed de bestuurder (de tokenizer) de weg kent. Hierdoor kunnen we in de toekomst slimmere, maar ook schonere en goedkopere AI-modellen bouwen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression" in het Nederlands.

Probleemstelling

De snelle vooruitgang van Large Language Models (LLMs) heeft geleid tot een explosie in de vraag naar computationele resources. De wijdverbreide adoptie van "test-time scaling" (het verhogen van de rekenkracht tijdens inferentie voor betere redenering) verergert de spanning tussen modelcapaciteit en resource-verbruik.
Er ontbreekt echter een rigoureuze metriek om de inferentie-efficiëntie van LLMs nauwkeurig te evalueren over diverse tokenizers, parameteraantallen en modelarchitecturen heen. Bestaande metrics falen omdat ze:

1. Het verschil in netwerktopologie en tokenizer-ontwerp niet adequaat in ogenschouw nemen.
2. Vaak de efficiëntie van de tokenizer negeren, wat een grote invloed heeft op het aantal tokens (en dus de kosten) maar vaak wordt over het hoofd gezien.
3. Geen rechtvaardige vergelijking toelaten tussen modellen met verschillende groottes en architecturen (bijv. Dicht vs. Mixture-of-Experts).

Methodologie: Information Capacity

De auteurs introduceren Information Capacity (IC), een metriek die de efficiëntie van een LLM meet op basis van de prestaties bij tekstcompressie ten opzichte van de computationele complexiteit. De kernidee is gebaseerd op de correlatie tussen compressie en intelligentie: een model dat de volgende token beter kan voorspellen, kan data efficiënter comprimeren.

Definitie en Berekening:
De Information Capacity wordt gedefinieerd als de verhouding tussen "Model Intelligence" (besparing in data-grootte door compressie) en "Model Inference Complexity" (rekenkosten).

De praktische formule (na normalisatie per token en correctie voor een offset $b$) is:
$$IC = \frac{\frac{1}{L-1}(C - \sum_{i=2}^{L} -\log_2 p(x_i|x_{<i}; M)) + b}{\log_2(N_M / (L-1))}$$

Waarbij:

• $C$: De oorspronkelijke grootte van de tekst (in bits, gebaseerd op UTF-8).
• $-\log_2 p(x_i|x_{<i})$: De negatieve log-likelihood (NLL) van de voorspelde token, wat overeenkomt met de lengte van het gecodeerde symbool.
• $N_M$: Het aantal floating-point operations (FLOPs) voor inferentie.
• $b$: Een negatieve offset die ervoor zorgt dat modellen binnen dezelfde serie een constante IC hebben, ongeacht de grootte.

Belangrijke aspecten van de methode:

• Tokenizer-efficiëntie: De metric houdt expliciet rekening met het aantal bits per token. Een efficiëntere tokenizer reduceert het aantal tokens, wat de totale FLOPs verlaagt en de IC verhoogt.
• Datasetdiversiteit: De evaluatie vond plaats op 5 heterogene datasets: Mixed text, FinePDFs-en (Engels PDF), Ch-FineWeb-Edu (Chinees onderwijs), FineWeb-Edu (Engels web), en NextCoder (code).
• FLOPs-berekening: De auteurs berekenden FLOPs op basis van de specifieke architectuur (inclusief variaties zoals GQA, MLA, en MoE) om een eerlijke complexiteitsmeting te garanderen.

Belangrijkste Bijdragen

1. Introductie van Information Capacity: Een nieuwe, uniforme metriek voor inferentie-efficiëntie die tokenizer-efficiëntie, compressievermogen en rekenkosten integreert.
2. Ontdekking van consistentie binnen series: Modellen binnen dezelfde familie (bijv. verschillende groottes van Qwen of Llama) vertonen een consistente Information Capacity, ondanks grote verschillen in parameteraantal.
3. Aanpak van Tokenizer-bias: De paper benadrukt dat tokenizer-efficiëntie een dominante factor is in de totale efficiëntie, iets dat vaak wordt verwaarloosd in bestaande benchmarks.
4. Voorspellend vermogen: De metric maakt het mogelijk om de prestaties van grotere modellen nauwkeurig te voorspellen op basis van een enkel kleiner referentiemodel binnen dezelfde serie.

Resultaten

De auteurs evalueerden 56 open-source modellen en trokken de volgende conclusies:

• Consistentie binnen series: Modellen van dezelfde serie (bijv. Qwen3, Llama-3, GLM-4) hebben een bijna constante IC, wat betekent dat grotere modellen weliswaar meer rekenkracht kosten, maar ook evenredig betere compressie (intelligentie) leveren.
• Linguïstische bias: Er is een sterke bias in mainstream LLMs. Modellen presteren aanzienlijk slechter op niet-Engelse of specifieke domeindata (bijv. Chinees of code) vergeleken met hun prestaties op Engels webtekst. Bijvoorbeeld, Llama en Gemma scoorden laag op het Chinese dataset, terwijl Chinese modellen (Qwen, Hunyuan) daar beter presteerden.
• Invloed van factoren:
  • Tokenizer: Er is een sterke lineaire correlatie (>0.98) tussen IC en de gemiddelde tekstgrootte per token. Een efficiëntere tokenizer is cruciaal.
  • Pretraining-data: Meer data leidt tot lagere NLL en hogere IC, maar met afnemende meeropbrengst bij zeer grote datasets.
  • MoE-architectuur: Mixture-of-Experts (MoE) modellen bereiken een hogere IC dan dichte modellen met een vergelijkbaar aantal geactiveerde parameters, dankzij een lagere sparsiteitsratio (meer totale parameters bij dezelfde rekenkosten).
• Post-training effect: Post-training (SFT en RL) verbetert de bruikbaarheid voor instructies, maar verlaagt de IC omdat de kansverdeling voor pure tekstcompressie verslechtert.
• Voorspelling vs. Power Law: De IC-methode voorspelt de NLL van grotere modellen veel nauwkeuriger (foutmarge < 3-5%) dan traditionele "Power Law" schaalwetten, die vaak grote biases vertonen (fouten > 25%).
• Correlatie met benchmarks: Er is een sterke correlatie tussen IC en benchmark-scores (zoals MMLU, LiveCodeBench, C-Eval), mits de dataset voor IC-evaluatie overeenkomt met het domein van de benchmark.

Significantie

Deze paper biedt een fundamenteel nieuwe manier om LLM-efficiëntie te meten die relevanter is voor de huidige staat van de technologie:

1. Eerlijke Vergelijking: Het stelt onderzoekers en ontwikkelaars in staat om modellen met verschillende architecturen (Dicht vs. MoE) en verschillende tokenizers op één schaal te vergelijken.
2. Richting voor Schaling: De consistentie van IC binnen een serie suggereert dat het trainen van grotere modellen voorspelbaar leidt tot lineaire verbeteringen in intelligentie per rekenunit, wat helpt bij het plannen van toekomstige training.
3. Efficiëntie-optimalisatie: Door de focus op tokenizer-efficiëntie, biedt de paper inzicht in hoe architecturale keuzes (zoals het ontwerp van de tokenizer) een grotere impact kunnen hebben op de totale kosten dan alleen het vergroten van het model.
4. Duurzaamheid: In een tijdperk van enorme energieconsumptie door LLMs, biedt Information Capacity een meetlat om de "waarde per joule" van een model te kwantificeren, wat essentieel is voor duurzame AI-ontwikkeling.

Kortom, Information Capacity vult een kritieke leemte in de evaluatie van LLMs door de brug te slaan tussen compressietheorie, tokenizer-ontwerp en computationele kosten.