De meeste mensen die vandaag de dag gebruikmaken van kunstmatige intelligentie, werken met systemen die draaien op krachtige, gespecialiseerde computerchips die zijn ontwor Leverd voor enorme datacentra. Deze systemen zijn gebouwd om duizenden verzoeken tegelijkertijd af te handelen, een proces dat hen in staat stelt om de kosten van hun zware berekeningen over vele gebruikers te spreiden. Maar voor een enkel persoon die een standaard laptop of desktopcomputer gebruikt, veranderen de regels van efficiëntie volledig. Op een persoonlijke machine kan de computer niet vertrouwen op massale parallelle verwerking; in plaats daarvan is hij beperkt door hoe snel hij gegevens van zijn geheugen naar zijn processor kan verplaatsen. Elke keer dat de computer een nieuw woord in een zin genereert, moet hij de volledige geschiedenis van dat gesprek opnieuw lezen om de context te begrijpen. Naarmals het gesprek langer wordt, vormt dit herlezen een zware belasting die het systeem aanzienlijk vertraagt. De uitdaging voor onderzoekers is om een model te bouwen dat taal goed begrijpt, maar niet bezwijkt onder deze groeiende geheugendruk wanneer het op gewone hardware draait.

Een onderzoeker pakte dit probleem aan door een nieuw soort taalmodel te ontwerpen, genaamd Daedalus-150M, specifiek voor individuele gebruikers op standaard computerprocessoren. In plaats van een groot, complex model te nemen en te proberen het te verkleinen, begon hij bij de beperkingen van de machine van de gebruiker en bouwde hij de architectuur vanaf de grond op om daarop aan te sluiten. Het resultaat is een systeem dat zich gedraagt als een hybride motor. Het combineert twee verschillende manieren van informatieverwerking: een traditionele methode die de volledige gesprekshistorie onthoudt, en een nieuwere, eenvoudigere methode die alleen de laatste paar momenten onthoudt. In dit ontwerp heeft het model achttien lagen van verwerking. Zes van deze lagen gebruiken de traditionele methode om een diep begrip van de langetermijncontext te behouden, terwijl de andere twaalf lagen een kortetermijngeheugentechniek gebruiken die slechts twee stappen terugkijkt. Dit betekent dat de computer voor twee derde van de tijd dat hij nadenkt, niet de hele gesprekshistorie opnieuw hoeft te lezen, maar alleen het onmiddellijke verleden.

De onderzoeker testte dit ontwerp tegen een bijna identiek model dat de traditionele, geheugenintensieve methode voor alle achttien lagen gebruikte. Beide modellen werden getraind op ongeveer dezelfde hoeveelheid data, circa zestig miljard woorden, en beide werden tot een kleine omvang gecomprimeerd om op een standaard computer te kunnen draaien. De vergelijking was strikt en vooraf gepland: de onderzoeker bepaalde precies wat als een overwinning zou tellen voordat de resultaten bekend waren. Het hybride model kwam qua vermogen om vragen te beantwoorden en taken te voltooien overeen met het traditionele model, maar presteerde aanzienlijk beter wat betreft snelheid. Wanneer het gesprek kort was, draaiden beide modellen met vergelijkbare snelheden. Echter, naarmate het gesprek langer werd, vertraagde het traditionele model aanzienlijk omdat het steeds meer geschiedenis opnieuw moest lezen. Het hybride model behield daarentegen een veel stabieler tempo. Bij een gesprek van tweeduizend woorden genereerde het hybride model tekst bijna twee keer zo snel als zijn traditionele tegenhanger.

Dit snelheidsvoordeel was niet slechts een theoretische berekening; het werd direct gemeten op een standaard computerprocessor. De onderzoeker ontdekte dat het vermogen van het hybride model om het opnieuw lezen van de volledige geschiedenis te vermijden, een enorme hoeveelheid datamobiliteit bespaarde, wat de primaire flessenhals is voor deze machines. Hoewel een eenvoudige berekening van de datagrootte suggereerde dat het hybride model slechts iets sneller zou zijn, was het werkelijke prestatieverschil veel groter. Dit komt omdat de traditionele methode complexe, stapsgewijze berekeningen omvat die afhankelijk zijn van de volledige geschiedenis, wat traag is om uit te voeren op een enkele processor. De hybride methode vermijdt deze trage stappen volledig door de meeste geheugenstatus klein en vast te houden. Het model was ook kleiner in bestandsgrootte en nam ongeveer zes procent minder ruimte in beslag op de harde schijf, wat een praktisch voordeel is voor gebruikers met beperkte opslagruimte.

Ondanks deze successen was de onderzoeker zorgvuldig in het rapporteren van wat niet perfect werkte. Ze ontdekten dat ongeveer de helft van de kanalen in de kortetermijngeheugensecties van het model niets deed, wat in feite betekende dat ze ongebruikt bleven. Ze vonden ook dat het model een vocabulaire van woorden gebruikt dat groter is dan nodig voor zijn omvang, wat wat van zijn capaciteit verspilt. Bovendien, toen ze probeerden het model specif om specifiek om te gaan met het gecomprimeerde dataformaat dat voor snelheid wordt gebruikt, faalde het proces, wat betekende dat het model na de training gecomprimeerd moest worden, wat de nauwkeurigheid enigszins verminderde. Dit zijn technische kwesties in plaats van fundamentele gebreken in het ontwerp, en de onderzoeker merkte op dat een toekomstige versie dit kan oplossen door aan te passen hoe het model start en hoe het wordt gecomprimeerd.

De definitieve resultaten toonden aan dat deze specifieke ontwerpkeuze — het mengen van langetermijngeheugen met kortetermijngeheugen — precies werkt zoals bedoeld voor de beoogde omgeving. Het model scoorde hoger op een reeks van vijf standaard taaltests dan andere modellen van vergelijkbare omvang die getraind waren op drie tot zes keer zoveel data. Het presteerde zelfs beter dan een model dat getraind was op een biljoen woorden, hoewel een veel groter model nog steeds een lichte voorsprong had in pure intelligentie. De belangrijkste les is dat voor een individuele gebruiker op een standaard computer de meest efficiënte manier om een taalmodel te bouwen niet is om het zo slim mogelijk te maken, maar om het zo licht mogelijk voor het geheugen te maken. Door te accepteren dat het model niet voor elke stap de hele conversie opnieuw hoeft te lezen, creëerde de onderzoeker een systeem dat responsief en snel aanvoelt, zelfs naarmate het gesprek langer wordt, waarmee bewezen wordt dat een andere architecturale aanpak de specifieke problemen van alledaagse computing kan oplossen.