Transformer Accelerator (TFA): A Macro-Op INT8 Hardware Chip for Transformer Inference and Machine Translation
Dit artikel presenteert de Transformer Accelerator (TFA), een synthetiseerbare INT8-hardwareengine die bit-exacte, end-to-end transformer-inferentie bereikt met 100% functionele verificatie en aanzienlijke geprojecteerde verbeteringen in energie en snelheid ten opzichte van CPU-baselines.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Moderne kunstmatige intelligentie heeft geleerd te spreken, te vertalen en te redeneren door gebruik te maken van een specifiek type neuraal netwerk dat een transformer wordt genoemd. Deze systemen zijn ongelooflijk krachtig, maar ze zijn ook hongerig. Om een enkel nieuw woord in een zin te genereren, moet een transformer door zijn volledige geheugen van geleerde feiten kijken, een proces dat het verplaatsen van enorme hoeveelheden data vereist. Voor apparaten die op batterijen werken, zoals smartphones of sensoren, vormt deze constante verplaatsing van informatie een flessenhals. De energie die nodig is om deze getallen uit het geheugen op te halen, overtreft vaak de energie die nodig is om er daadwerkelijk mee te rekenen. Dit creëert een fundamenteel probleem: hoe bouw je een machine die deze complexe taalmodellen efficiënt kan draaien op kleine, energiezuinige hardware zonder het vermogen te verliezen om nuances te begrijpen?
Een onderzoeker genaamd Shashank heeft een nieuw type hardwarechip ontworpen die specifiek bedoeld is om dit probleem op te lossen. In plaats van een algemeen doelcomputer te bouwen die probeert alles te doen, is deze chip een gespecialiseerd hulpmiddel dat alleen gebouwd is om de specifieke wiskunde te verwerken die nodig is voor taalvertaling. Het ontwerp, de Transformer Accelerator genoemd, behandelt het model niet als een programma dat geïnterpreteerd moet worden, maar als een stroom instructies die data direct van het geheugen naar een rekenmotor en weer terug verplaatst. Het doel was om een apparaat te creëren dat een vooraf getraind taalmodel volledig op silicium kon draaien en resultaten kon produceren die wiskundig identiek zijn aan de originele, hoog-precieze computerversie, maar met veel minder energie.
De kern van dit werk is een chip die werkt met gehele getallen in plaats van de complexe decimale breuken die gewoonlijk worden gebruikt in wetenschappelijke berekeningen. Door over te schakelen naar deze eenvoudigere gehele getallen, wordt de hoeveelheid data die verplaatst moet worden drastisch verminderd. Echter, deze overstap veroorzaakt meestal een verlies aan nauwkeurigheid omdat de minuscule verschillen in getallen worden afgerond. De onderzoeker ontdekte dat de standaard manier van afronden niet werkte voor dit specifieke type taalmodel, waardoor de vertaling onbegrijpelijk werd. De oplossing was niet om de chip te veranderen, maar om de manier waarop het model werd voorbereid voordat het op de hardware werd geladen, te veranderen. Door tijdens de voorbereidingsfase een precieze wiskundige rotatie toe te passen op de interne gewichten van het model, maakte de onderzoeker de lastige getallen vloeiender. Dit stelde de eenvoudige, energiezuinige chip in staat om resultaten te produceren die bit-voor-bit identiek waren aan de complexe originele versie, waardoor de moeilijkheid van de wiskunde effectief in de software in plaats van in de hardware werd verborgen.
Om te bewijzen dat dit werkte, nam de onderzoeker een volledig, vooraf getraind vertaalmodel dat in staat is Engels naar Frans, Duits en Roemeens te vertalen, en compileerde dit tot een reeks instructies voor de chip. De chip werd vervolgens door een rigoureuze simulatie gehaald die elke stap van het proces controleerde. De resultaten toonden aan dat de chip de volledige vertaalpijplijn kon uitvoeren, inclusief de complexe aandachtmechanismen (attention mechanisms) die het model in staat stellen zich op de juiste woorden te concentreren, met nul fouten. Wanneer de chip vertalingen genereerde voor tien moeilijke Engelse spreekwoorden, kwam de output exact overeen met de output van de originele computer wat betreft de onderliggende data. In de helft van de gevallen waren de uiteindelijke vertaalde woorden identiek aan de floating-point referentie; in de andere helft produceerde de chip andere maar even geldige vertalingen, zoals het gebruik van een ander woord voor hetzelfde concept of een ander leesteken. Dit bewees dat de hardware niet alleen snel, maar ook betrouwbaar was.
De prestatiewinst was aanzienlijk. Vergeleken met een standaard computerprocessor met vierentwintig threads, was het chipontwerp in staat om twintig keer sneller tokens te genereren in de kleinste configuratie, zelfs wanneer het draaide op een gesimuleerd geheugensysteem dat opzettelijk traag en moeilijk was. De onderzoekers voorspelden dat grotere versies van deze chip bijna tweehonderd keer sneller zouden kunnen zijn dan de computer baseline. Belangrijker nog, de energie-efficiëntie was verbazingwekkend. De chip werd geschat ongeveer drieduizend keer minder energie per gegenereerd woord te verbruiken dan de computerprocessor. Deze efficiëntie komt voort uit het vermogen van de chip om gewichten met maximale snelheid langs de rekeneenheden te streamen, met de snelheid van het geheugen als limiet, in plaats van te wachten tot de berekening voltooid is voordat de volgende stuk informatie wordt opgehaald.
Het werk stopte niet bij de simulatie. Om te waarborgen dat het ontwerp niet slechts een theoretische oefening was, nam de onderzoeker de digitale beschrijving van de chip en verwerkte deze door een volledig productieproces dat wordt gebruikt voor het maken van echte siliciumchips. Dit proces zette het ontwerp om in een fysieke lay-out die op een chip geprint kon worden. De resulterende lay-out voldeed aan alle strikte regels die vereist zijn voor productie, wat bevestigde dat het ontwerp fysiek realiseerbaar was. Hoewel de specifieke versie die getest werd, gebouwd was met oudere, grotere productietechnologie, bewees de succesvolle lay-out dat de architectuur solide is en kan worden verkleind naar moderne, hogesnelheidsprocessen. De fysieke chip, zodra deze gebouwd wordt met geavanceerde geheencomponenten, wordt naar verwachting nog kleiner en sneller zijn.
Dit project benadrukt een verschuiving in hoe we de toekomst van kunstmatige intelligentie kunnen bouwen. In plaats van te proberen algemene computers sneller te maken, richt de aanpak zich op het bouwen van kleine, gespecialiseerde motoren die één ding perfect doen. Door de moeilijke wiskunde van het omgaan met onnauwkeurige getallen te scheiden naar de softwarevoorbereidingsfase, kan de hardware zelf eenvoudig, snel en uiterst efficiënt blijven. Het succes van dit ontwerp suggereert dat we geavanceerde taalmodellen aan de 'edge' kunnen draaien, in apparaten die momenteel te klein zijn om ze te verwerken, zonder het nauwkeurigheidsverlies dat deze modellen nuttig maakt. De weg vooruit houdt in dat dit ontwerp wordt opgeschaald om grotere modellen en complexere taaltaken aan te kunnen, maar het fundament is gelegd: een kleine, geverifieerde en produceerbare chip die de wereldtalen kan vertalen met de precisie van een supercomputer en de efficiëntie van een batterijgestuurd apparaat.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.