Polarization-coupled complete operators in sliding ferroelectric semiconductors for native in-memory attention computing
Dit artikel presenteert een op glijdende ferro-elektrische halfgeleiders gebaseerde in-memory computing hardware die lineaire en niet-lineaire operatoren intrinsiek koppelt via polarisatie om volledige Transformer attention-primitieven, inclusief native Softmax, uit te voeren met ultra-lage latentie en energie voor real-time generatieve AI.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Moderne kunstmatige intelligentie, met name de systemen die verhalen schrijven, talen vertalen en afbeeldingen genereren, vertrouwt op een wiskundig proces dat 'attention' (aandacht) wordt genoemd. Dit proces stelt de machine in staat om te beslissen welke delen van een zin of een afbeelding op een gegeven moment het belangrijkst zijn om op te focussen. Om deze beslissingen te nemen, moet de computer twee verschillende soorten berekeningen tegelijkertijd uitvoeren: eenvoudige optelling en vermenigvuldiging, wat recht door en simpel is, en complexe, gebogen wiskundige functies die fungeren als een filter om de resultaten te normaliseren. Momenteel zijn computerchips gebouwd om de eenvoudige wiskunde erg goed aan te kunnen, maar ze hebben moeite met de complexe filtering. Ze moeten gegevens heen en weer verplaatsen tussen het geheugen, waar informatie wordt opgeslagen, en een aparte processor die de complexe wiskunde afhandelt. Dit constante heen en weer slepen van gegevens vertraagt het systeem en verbruikt enorme hoeveelheden energie, wat een flessenhals creëert die de snelheid en efficiëntie van deze intelligente systemen beperkt.
Een team onderzoekers aan de Nanjing Universiteit en andere instellingen heeft een nieuw type computerchip ontwikkeld dat dit probleem oplost door zowel de eenvoudige als de complexe berekeningen uit te voeren op precies dezelfde plek waar de gegevens worden opgeslagen. Ze creëerden een minuscuul apparaat gemaakt van een speciaal materiaal genaamd ReS2, een gelaagde halfgeleider die kan worden verschoven om de elektrische eigenschappen te veranderen. Binnen dit enkele apparaat integreerden ze twee verschillende paden waarlangs elektriciteit kan stromen. Eén pad verplaatst elektriciteit verticaal door het materiaal, terwijl het andere pad zijwaarts langs het oppervlak beweegt. Beide paden worden gecontroleerd door dezelfde interne schakelaar, bekend als ferro-elektrische polarisatie, die werkt als een permanente geheugeninstelling die met een kleine elektrische puls kan worden omgeklapt.
Wanneer de onderzoekers een spanning toepassen om deze interne schakelaar om te klappen, verandert dit hoe gemakkelijk elektriciteit door beide paden tegelijkertijd stroomt. Het verticale pad reageert in een rechte, voorspelbare lijn, waardoor het perfect is voor de eenvoudige optellings- en vermenigvuldigingstaken. Het zijwaartse pad reageert echter op een gebogen, exponentiële manier, waardoor het van nature de complexe filterwiskunde uitvoert die normaal gesproken een aparte processor vereist. Omdat beide paden door dezelfde interne schakelaar worden beheerst, kan het apparaat het volledige aandachtsproces in één enkele stap uitvoeren zonder gegevens te verplaatsen. De onderzoekers bouwden een klein rooster van deze apparaten, gerangschikt in een specifiek patroon, en demonstreerden dat het succesvol de kernlogica van een modern taalmodel kon draaien. Het systeem werkte met ongelooflijke snelheid, waarbij operaties werden voltooid in 600 picoseconden, wat minder is dan een miljardste van een seconde, en gebruikte een verbazingwekkend kleine hoeveelheid energie, gemeten op slechts 320 attojoules per operatie.
Het team stopte niet bij het bouwen van het apparaat; ze bewezen dat het kon leren en zich kon aanpassen. Door de fysieke grootte van de paden binnen het apparaat aan te passen, konden ze afstemmen hoe gevoelig de complexe wiskunde was, waardoor ze de chip konden ontwerpen voor verschillende soorten taken. Ze testten het systeem met een closed-loop opstelling waarbij de chip tekstinvoer ontving en een reactie genereerde in realtime. Wanneer de opdracht "I am hungry" (Ik heb honger) werd gegeven, berekende de hardware onmiddellijk de noodzakelijke aandachtsgewichten en genereerde de voortzetting "need pizza now" (heb nu pizza nodig). Dit toonde aan dat het apparaat de volledige cyclus van het begrijpen en genereren van taal kon afhandelen zonder externe hulp. Bovendien gebruikten de onderzoekers de gemeten prestaties van hun kleine apparaat om een veel groter systeem te simuleren. In deze simulaties vertaalde de chip elektrische signalen uit de hersenen van een muis, die verschillende emotionele toestanden zoals angst of opwinding vertegenwoordigden, naar geschreven taal. De simulatie toonde aan dat deze aanpak kon opschalen om complexe, real-world taken aan te kunnen die betrokken zijn bij zintuiglijke gegevens en taalgeneratie.
Dit werk vertegenwoordigt een fundamentele verschuiving in de manier waarop computerhardware voor kunstmatige intelligentie wordt ontworpen. In plaats van te proberen de bestaande lineaire wiskunde sneller te maken, hebben de onderzoekers de ontbrekende complexe wiskunde direct in het geheugenmateriaal zelf ingebed. Door dit te doen, hebben ze de noodzaak voor het energie-intensieve verplaatsen van gegevens geëlimineerd dat vorige generaties chips heeft gehinderd. Het apparaat behoudt zijn instellingen voor meer dan een jaar zonder stroom en kan miljoenen keren worden overschreven, wat bewijst dat het stabiel genoeg is voor praktisch gebruik. Het succes van dit experiment suggereert dat de toekomst van efficiënte kunstmatige intelligentie mogelijk niet komt van betere software of snellere processors, maar van materialen die in staat zijn om het volledige bereik aan wiskundige operaties die nodig zijn voor het denken, inherent uit te voeren, allemaal binnen één enkele, kleine eenheid van geheugen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.