TreeWY: Speculative Verification for Gated DeltaNet Hybrids

In de wereld van moderne kunstmatige intelligentie fungeren large language models als krachtige motoren die tekst genereren, woord voor woord. Om dit te doen, moeten ze alles wat ze tot nu toe hebben geschreven onthouden om ervoor te zorgen dat het volgende woord past bij de context. Voor vele jaren was de meest gebruikelijke manier om dit geheugen te beheren het bijhouden van een groeiende lijst van elk eerder woord en de bijbehorende gegevens, een methode die goed werkt maar een enorme hoeveelheid computergeheugen vereist naarmate het gesprek langer wordt. Onlangs is er een nieuwe generatie modellen opgekomen die deze traditionele aanpak combineert met een andere, meer compacte methode. Deze hybride modellen gebruiken een speciaal type laag dat de volledige geschiedenis samenvat in een enkele, vaste snapshot, in plaats van een groeiende lijst. Dit maakt ze ongelooflijk efficiënt voor standaard lees- en schrijftaken, waardoor ze op kleinere computers kunnen draaien. Deze efficiëntie creëert echter een nieuw probleem wanneer men probeert het proces te versnellen met een techniek genaamd speculative decoding.

Speculative decoding is een strategie die wordt gebruikt om deze AI-modellen sneller te maken. In plaats van één woord per keer te genereren, raadt een kleiner, goedkoper "draft"-model (conceptmodel) meerdere woorden vooruit, waarna het hoofdmodel controleert of al deze gissingen correct waren. Als het hoofdmodel een lange reeks gissingen kan verifiëren, kan het meerdere woorden in één stap uitvoeren, wat de snelheid drastisch verhoogt. Het probleem ontstaat bij de eerder genoemde hybride modellen. Omdat hun geheugen een enkele, vaste snapshot is die niet gemakkelijk kan worden uitgesneden of gekopieerd, moet de huidige systemen een volledige kopie van deze snapshot maken voor elk woord dat het draft-model raadt. Als het draft-model een lange lijst met woorden raadt, moet het systeem voor elke gok een kopie van het geheugen opslaan. Dit vult het computergeheugen snel, waardoor het systeem stopt met het raden van lange lijsten en de snelheidswinst beperkt. Het is een bottleneck die voorkomt dat deze efficiënte modellen zo snel kunnen draaien als ze theoretisch zouden kunnen.

Onderzoekers bij Thomson Reuters, onder leiding van Sneha Murthy Ghantasala, hebben een nieuwe methode ontwikkeld genaamd TreeWY om deze specifieke geheugenbottleneck op te lossen. Hun werk richt zich op een familie van hybride modellen bekend als Qwen3.5, die zijn ontworpen om efficiënt te zijn maar worstelen met de geheugeneisen van speculative decoding. Het team realiseerde zich dat de manier waarop deze modellen hun geheugen bijwerken een specif씩 wiskundig patroon volgt dat herschikt kan worden. In plaats van voor elke gok een volledige kopie van de geheugentoestand op te slaan, vonden zij een manier om de resultaten van alle gachten tegelijkertijd te berekenen met behulp van een enkele, gestroomlijnde wiskundige operatie. Deze operatie behandelt de reeks gissingen niet als een reeks afzonderlijke snapshots, maar als een gestructureerde boom waarbij de noodzakelijke informatie wordt gedeeld en efficiënt wordt berekend.

De kern van hun ontdekking is dat ze de volledige geheugentoestand niet langer hoeven op te slaan voor elke draft-token. Bij de oude methode, als een model tien woorden raadde, moest het tien volledige versies van zijn geheugen opslaan, wat een enorme hoeveelheid ruimte in beslag nam. Met TreeWY slaat het systeem alleen een piepkleine, gecomprimeerde samenvatting op van de wijzigingen die tijdens de gaffase zijn aangebracht. Het voert een enkele berekening uit om alle gissingen gelijktijdig te verifiëren. Als een gok wordt geaccepteerd, reconstrueert het systeem de correcte geheugentoestand vanuit die kleine samenvatting. Als een gok wordt afgewezen, gooit het systeem de samenvatting simpelweg weg zonder ooit de volledige, zware geheugentoestand te hebben hoeven opslaan. Deze aanpak elimineert de noodzaak voor de enorme geheugenoverhead die voorheen lange gokketens onmogelijk maakte.

De onderzoekers testten deze methode op twee formaten van het Qwen3.5-model, een versie met 35 miljard parameters en een veel grotere versie met 397 miljard parameters, draaiend op high-end grafische kaarten. Ze vergeleken hun nieuwe TreeWY-methode met de standaardaanpak die wordt gebruikt in populaire AI-software. De resultaten lieten zien dat wanneer het computergeheugen onder zware druk stond, de nieuwe methode het systeem in staat stelde om aanzienlijk meer verzoeken tegelijkertijd af te handelen. In sommige gevallen nam de snelheid van tekstgeneratie met bijna vijftig procent toe, en de tijd die nodig was om een reactie te starten, daalde drastisch. Dit gebeurde omdat de vrijgekomen geheugenruimte het systeem in staat stelde om meer actieve gesprekken tegelijkertijd te draaien zonder vast te lopen of te vertragen.

Echter, de studie vond ook dat de voordelen sterk afhangen van hoeveel geheugen beschikbaar is. Wanneer de computer over voldoende overtollig geheugen beschikte, was de nieuwe methode iets langzamer dan de standaardaanpak, wat een paar procent aan snelheid kostte. Dit komt omdat de nieuwe berekening, hoewel het geheugen bespaart, net iets meer tijd kost om uit te voemen dan de eenvoudige methode van het kopiëren van gegevens. De onderzoekers merkten op dat de echte winst komt wanneer het systeem geheugenbeperkt is, wat een veelvoorkomende situatie is voor grote modellen. In deze scenario's weegt het vermogen om meer gesprekken tegelijkertijd te draaien veel zwaarder dan de kleine kosten van de berekening.

Het team onderzocht ook of deze methode zelfs ambitieuzere gokstrategieën zou kunnen ondersteunen, zoals een "boomstructuur" waarbij het model tegelijkertijd meerdere verschillende paden raadt, in plaats van slechts één enkele rij woorden. De nieuwe methode maakte dit mogelijk door het geheugengebruik vlak te houden, ongeacht hoe breed de boom van gissingen werd. Voorheen zou een brede boom van gissingen zoveel geheugen vereist hebben dat het onmogelijk was om uit te voeren. Nu kan het systeem er zelfs voor kiezen om tegelijkertijd veel verschillende paden te proberen. Hoewel dit niet direct leidde tot een enorme snelheidsboost voor de geteste modellen, bewees het dat de methode flexibel genoeg is om complexe, brede gokstructuren aan te kunnen die voorheen onbetaalbaar waren.

De onderzoekers benadrukten dat hun oplossing specifiek is voor de wiskundige regels die deze hybride modellen beheersen. Het rust niet op de specifieke details van het ontwerp van het model, maar op de fundamentele manier waarop het geheugen zichzelf bijwerkt. Dit betekent dat de aanpak potentieel kan worden toegepast op andere modellen die vergelijkbare geheugenstructuren gebruiken. Het werk is geïmplementeerd in een veelgebruikt softwareframework voor het draaien van AI-modellen, en de onderzoekers hebben geverifieerd dat de nieuwe methode resultaten produceert die wiskundig identiek zijn aan de standaardaanpak, wat garandeert dat de kwaliteit van de tekst ongewijzigd blijft.

Uiteindelijk toont dit onderzoek aan dat door de manier waarop het geheugen tijdens de gaffase wordt beheerd te heroverwegen, het mogelijk is om het volledige snelheidspotentieel van efficiënte hybride modellen te ontsluiten. De studie laat zien dat de beperking niet in de modellen zelf lag, maar in de manier waarop de software hun geheugen beheerde. Door over te schakelen van het opslaan van volledige snapshots naar het berekenen van een gedeelde samenvatting, hebben de onderzoekers een geheugenbottleneck veranderd in een pad naar hogere prestaties. Dit stelt deze efficiënte modellen in staat om sneller te draaien en meer gebruikers te bedienen, vooral in situaties waar het computergeheugen de strengste beperking vormt. De bevindingen suggereren dat toekomstige verbeteringen in AI-snelheid niet alleen voortkomen uit het bouwen van grotere modellen, maar uit slimmere manieren om de data die ze al bezitten te beheren.