Memory load amplifies quantization noise in transformers
Dit artikel toont aan dat naarmate transformers hun geheugencapaciteit naderen, de degradatie veroorzaakt door gewichtskwantisering wordt versterkt omdat krimpende marges voor opgeslagen feiten samenvallen met toegenomen kwantiseringsruis, die primair wordt gedreven door de downstream-laingains van het netwerk.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Moderne kunstmatige intelligentiesystemen, vaak taalmodellen genoemd, worden getraind door enorme hoeveelheden tekst te lezen om te leren hoe woorden bij elkaar passen. Hoe meer data ze consumeren, hoe beter ze meestal worden in het begrijpen en genereren van menselijke taal. Om deze massale systemen praktisch bruikbaar te maken voor dagelijks gebruik, comprimeren ingenieurs ze vaak door hun interne getallen af te ronden naar minder bits, een proces dat kwantisatie wordt genoemd. Dit vermindert het geheugen dat nodig is om het model te draaien, waardoor het op kleinere apparaten past. Er is echter een verwarrend patroon naar voren gekomen: modellen die getraind zijn op grotere hoeveelheden data breken vaak ernstiger af wanneer ze gecomprimeerd worden dan modellen die op minder data zijn getraind. Het lijkt tegenstrijdig dat meer leren een systeem kwetsbaarder maakt, maar dat is precies wat er gebeurt. De reden voor deze kwetsbaarheid bleef tot nu toe een mysterie.
Een onderzoeker heeft het verborgen mechanisme achter deze fragiliteit ontdekt door een vereenvoudigde versie van een taalmodel te bestuderen die ontworpen is om feiten te memoriseren. De onderzoeker creëerde een digitaal experiment waarbij een computermodel de biografieën van fictieve personen leerde, inclusief details zoals geboortedata, steden en werkgevers. Omdat de informatie in deze synthetische biografieën perfect gecontroleerd was, kon de onderzoeker exact meten hoeveel data het model opsloeg ten opzichte van de grootte ervan. Vervolgens testte de onderzoeker hoe goed het model deze feiten kon onthouden nadat de interne getallen werden afgerond naar verschillende niveaus van precisie. Hun werk onthult dat een model dat vol zit met informatie een dubbele straf ondergaat. Ten eerste, naarmate het model voller raakt met feiten, krimpt de veiligheidsmarge voor elke herinnering, waardoor er minder ruimte overblijft voor fouten. Maar de onderzoeker ontdekte een tweede, nog verrassender effect: het getrainde netwerk zelf leert de kleine fouten die door het afronden worden geïntroduceerd, te versterken. Deze versterking is geen fout in de compressiemethode, maar een eigenschap van de eigen structuur van het netwerk nadat het heeft geleerd.
Om dit te begrijpen, stel je het model voor als een reeks lagen waar informatie doorheen moet passannen. Wanneer de onderzoeker de getallen afrondde, werd de resulterende fout behandeld als willekeurige ruis. De onderzoeker volgde hoe deze ruis door het netwerk reisde naar het uiteindelijke antwoord. Ze ontdekten dat het netwerk werkt als een vergrootglas voor deze fouten. Naarmate het model meer feiten leert, past het zijn interne verbindingen aan op een manier die de uiteindelijke output veel gevoeliger maakt voor kleine verstoringen in de gewichten. In hun experimenten groeide de ruis veroorzaakt door het afronden met een factor tweeënhalf naarmate de hoeveelheid opgeslagen informatie toenam. Deze groei kwam niet door het feit dat het rooster van de afronding zelf grover werd, maar omdat de downstream-lagen van het netwerk de verstoring versterkten. De onderzoeker berekende dat deze versterking verantwoordelijk is voor ongeveer de helft van de extra precisie die nodig is om het model werkend te houden naarmate het zwaarder wordt belast met data.
De studie toonde ook aan dat deze versterking niet uniform is over het gehele systeem. De onderzoeker brak de ruisbijdrage laag voor laag af en vond dat de laatste laag van het netwerk, die het antwoord voor de output voorbereidt, verantwoordelijk was voor een aanzienlijk deel van de versterking. De middelste lagen speelden echter ook een groeiende rol naarmate het model meer beladen werd. Door de krimpende veiligheidsmarges te combineren met de groeiende versterking van fouten, kon de onderzoeker precies voorspellen hoeveel feiten het model na compressie zou verliezen. Hun wiskundige beschrijving, die enkel steunde op de volledige precisie-gewichten en de geometrie van het netwerk, voorspelde succesvol het fractie van de verloren feiten zonder de noodzaak om het model opnieuw te trainen of het op de gecomprimeerde versie te testen.
Deze bevinding daagt de algemene aanname uit dat de problemen van compressie uitsluitend gaan over de precisie van de gebruikte getallen. Terwijl huidige methoden zich richten op het verfijnen van het afrondingsproces om uitschieters of specifieke gewichtsgroepen te verwerken, suggereert dit onderzoek dat een groot deel van het probleem in het trainingsproces zelf besloten ligt. Het netwerk leert zijn eigen kennis te lezen op een manier die zeer gevoelig is voor verstoring. De auteur merkt op dat hun conclusies gebaseerd zijn op een specifiek, klein model dat getraind is op willekeurige associaties, en zij roepen op tot verdere tests om te zien of dit versterkingseffect ook standhoudt voor de enorme, echte modellen die vandaag de dag worden gebruikt. Als dat zo is, dan kan de "winst" van het netwerk — de mate waarin het fouten versterkt — een nieuwe diagnostische tool worden. Ingenieurs zouden potentieel een model met volledige precisie kunnen bekijken en exact kunnen voorspellen hoeveel precisie het zich kan veroorloven te verliezen voordat het begint te vergeten wat het heeft geleerd, wat een helderder pad biedt naar het bouwen van efficiënte en robuuste kunstmatige intelligentie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.