Real-Time Text Transmission via LLM-Based Entropy Coding over Fixed-Rate Channels

Technische Samenvatting: Real-time Teksttransmissie via LLM-gebaseerde Entropiecodering over Vaste-Rate Kanalen

Probleemstelling
Dit artikel onderzoekt de afweging tussen compressie en vertraging die inherent is aan real-time teksttransmissiesystemen die een "voorspel-then-codeer"-architectuur gebruiken. In dergelijke systemen voorspelt een causaal Groot Taalmodel (LLM) het volgende token in een sequentie, en converteert een entropiecoder deze waarschijnlijkheden naar een bitstream met variabele lengte. Deze bitstream wordt vervolgens over een kanaal met een vaste rate verzonden.

De kernuitdaging ontstaat uit de interactie tussen de variabele bitlengtes van tokens (bepaald door de voorspelbaarheid van de tekst) en de constante service-rate van het kanaal. Dit verschil creëert een wachtrij waarbij de vertraging per token afhangt van het gemiddelde en de variantie van de bitlengtes, de algoritmische latentie van de coder, en de kanaalcapaciteit. Waar eerdere literatuur zich heeft gericht op compressiesnelheden, blijven de vertragingseffecten van verschillende coderingsmethoden onder real-time constraints onderbelicht—specifiek het onderscheid tussen rekenvertraging (afhankelijk van hardware) en algoritmische vertraging (inherent aan de structuur van de coder).

Methodologie
De auteurs ontwikkelen een wachtrijmodel voor streaming teksttransmissie waarbij karakters met een vaste rate ($\lambda$) aankomen, worden getokeniseerd, voorspeld door een LLM, en worden gecodeerd naar bits. Deze bits komen terecht in een First-In-First-Out (FIFO)-wachtrij die wordt bediend door een kanaal met een constante capaciteit $C$.

De studie evalueert zes coderingsmethoden over twee schalen van LLM's (GPT-2 met 124M parameters en Llama 3.2 met 3B parameters) met behulp van vijf teksten uit het publieke domein:

1. Shannon-codering: Een geïdealiseerde benchmark die $-\log_2 q(x_n|x_{<n})$ bits per token toewijst. Het heeft geen algoritmische vertraging maar is niet praktisch realiseerbaar.
2. Huffman-codering: Een adaptieve, context-afhankelijke code die prefix-vrije codewoorden met geheeltallige lengte toewijst. Het biedt geen algoritmische vertraging maar veroorzaakt overhead van geheeltallige bits.
3. Aritmetische codering (AC): Een streaming-scheme dat de Shannon-grens benadert met hoge fideliteit, maar uitgestelde decodeerbaarheid introduceert. De decoder moet bits van toekomstige tokens accumuleren voordat de huidige token kan worden opgelost, wat een intrinsieke algoritmische vertraging creëert.
4. rANS (Asymmetric Numeral Systems): Geëvalueerd met verschillende blokgroottes ($K$). Het bufferd $K$ tokens voordat het codeert, waarbij compressie-efficiëntie (door amortisatie van state-overhead) wordt geruild voor verhoogde buffervertraging.
5. Gzip (DEFLATE): Gebruikt met per-token flushen ($Z\_SYNC\_FLUSH$) om directe decodeerbaarheid te garanderen. Het negeert de voorspellingen van de LLM en vertrouwt in plaats daarvan op zijn eigen woordenboek, wat resulteert in aanzienlijk hogere bitkosten.

De experimenten simuleren een bronrate van $\lambda = 20$ karakters per seconde (ongeveer 240 woorden per minuut). De kanaalrate $C$ wordt gevarieerd ten opzichte van de model-gebaseerde bronrate om de prestaties te analyseren in regimes met over-provisioning, nabij capaciteit, en onder capaciteit.

Belangrijkste Bijdragen

1. Wachtrijmodel: Ontwikkeling van een model dat algoritmische vertraging (inherent aan de coder) scheidt van rekenvertraging, en analyseert hoe codewoorden met variabele lengte interageren met kanalen met vaste rate in real-time.
2. Empirische Schaalanalyse: Beoordeling van de afweging tussen compressie en vertraging over een parameterbereik van 25-voud (GPT-2 versus Llama 3.2), waarbij wordt aangetoond hoe verbeterde modelkwaliteit de optimale coderingsstrategie verandert.
3. Identificatie van de Pareto-grens: In kaart brengen van de compressie-latentie-grens om operationele regimes te identificeren waar specifieke coderen (bijvoorbeeld Huffman versus Aritmetisch) de voorkeur hebben.

Resultaten

• Impact van Modelkwaliteit: Llama 3.2 verlaagde de cross-entropy met ongeveer 38% ten opzichte van GPT-2 (gemeten in bits per karakter). Deze vermindering "over-provisioneert" effectief het kanaal voor een vaste capaciteit, waardoor het systeem verschuift van een regime nabij capaciteit naar een over-provisioned regime.
• Prestaties van Coderen:
  • Aritmetische codering: Bereikte bijna optimale compressie (0% overhead) maar leed aan aanzienlijke algoritmische vertraging (ongeveer 2,5 seconden lookahead bij de geteste rates) vanwege uitgestelde decodeerbaarheid.
  • Huffman-codering: Bereikte bijna-Shannon compressie met geen algoritmische vertraging. Onder GPT-2 toonde het een lichte negatieve overhead (−1%) ten opzichte van Shannon door geheeltallige afrondingseffecten; onder Llama 3.2 was de overhead bescheiden (~5%).
  • rANS: Toonde een duidelijke afweging waarbij grotere blokgroottes ($K$) de compressie verbeterden maar de latentie lineair verhoogden. Echter, moderne tokenizers (BPE/SentencePiece) groeperen karakters al in eenheden van 3–4 karakters, waardoor de 1-bit overhead van Huffman voldoende wordt geamortiseerd om het compressievoordeel van rANS in veel regimes minder kritisch te maken.
  • Gzip: Presteerde slecht (10–12× Shannon-overhead) vanwege het onvermogen om het voorspellende vermogen van de LLM te benutten en de kosten van per-token flushen.
• Verschuivingen in Regimes: In over-provisioned kanalen (typisch wanneer wordt geprovisioned voor de snelste sprekers in een real-world systeem) bleek Huffman-codering de praktische keuze vanwege zijn eenvoud en gebrek aan algoritmische vertraging. Het compressievoordeel van aritmetische codering was alleen kritiek nabij de capaciteitsgrens.

Betekenis en Beweringen
Het artikel betoogt dat het landschap van real-time codering fundamenteel is verschoven door moderne tokenizers en krachtige LLM's.

• Tokenisatie als Oplossing: Door karakters te groeperen in tokens, verminderen moderne tokenizers de relatieve impact van de 1-bit geheeltallige overhead van Huffman, waardoor Huffman-codering een haalbaar, vertraging-vrij alternatief wordt voor complexere schema's zoals rANS of Aritmetische codering.
• Verschuiving in Ontwerpafwegingen: De primaire ontwerputdaging is niet langer het selecteren van de meest efficiënte coder (een algoritmische vraag) maar het selecteren van de juiste predictor (een AI-engineering vraag). Het verbeteren van de predictor (bijvoorbeeld van GPT-2 naar Llama 3.2) verlaagt de bronrate, wat het systeem kan verplaatsen naar een over-provisioned regime waar eenvoudigere, vertraging-vrije coderen optimaal worden.
• Praktische Aanbeveling: Voor real-time spraak/teksttransmissie, waar kanalen typisch worden geprovisioned voor piekrates (over-provisioning van het gemiddelde geval), is Huffman-codering gekoppeld aan een LLM-predictor de pragmatische keuze. Het biedt geen algoritmische vertraging, eenvoudige implementatie, en compressie-overhead die verwaarloosbaar is ten opzichte van de conditionele entropie van de tokens.

De auteurs concluderen dat, hoewel Aritmetische codering theoretisch bijna optimaal blijft, de intrinsieke vertraging ervan vaak ongerechtvaardigd is in praktische, over-provisioned scenario's. De focus moet verschuiven naar het optimaliseren van de kwaliteit en inferentiekosten van de predictor in plaats van de algoritmische complexiteit van de coder.