You Can Learn Tokenization End-to-End with Reinforcement Learning
Dit artikel stelt het end-to-end leren van tokenisatie voor met behulp van reinforcement learning met score function-schattingen en tijdverdiscontering om variantie te verminderen, waarbij wordt aangetoond dat deze aanpak eerdere straight-through methoden overtreft op de schaal van 100 miljoen parameters.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Moderne computers begrijpen menselijke taal niet van nature; ze begrijpen alleen getallen. Om deze kloof te overbruggen, moeten kunstmatige intelligentiesystemen die tekst verwerken eerst woorden en zinnen vertalen naar een stroom getallen die zij kunnen verwerken. Jarenlang was de standaardmethode om dit te doen een rigide, vooraf geprogrammeerde stap genaamd tokenisatie. Denk bij dit proces aan een bibliothecaris die, voordat een boek door een machine gelezen kan worden, de pagina's in specifieke, vooraf bepaalde stukjes moet snijden op basis van een vast regelboek. Dit regelboek bepaalt waar het ene woord eindigt en het volgende begint, waarbij vaak veelvoorkomende lettercombinaties worden gegroepeerd. Hoewel dit goed werkt, is het een handmatige, statische stap die buiten het brein van de kunstmatige intelligentie staat, gescheiden van het leerproces zelf. Naarmate deze digitale geesten groter en krachtiger worden, beginnen wetenschappers zich af te vragen of deze rigide, vooraf uitgesneden aanpak hen tegenhoudt, en of de machine zelf de tekst zou kunnen leren snijden op een manier die meer zin maakt voor zijn eigen interne logica.
Een team onderzoekers aan de ETH Zürich heeft een belangrijke stap gezet richting het beantwoorden van die vraag door een kunstmatige intelligentie te leren hoe het zijn eigen tekst vanaf nul kan snijden, zonder vooraf geschreven regels. In hun nieuwe werk hebben zij aangetoond dat een computermodel getraind kan worden om precies te beslissen waar de grenzen tussen tekstfragmenten moeten liggen, simpelweg door te proberen zijn fouten te minimaliseren terwijl het leert. In plaats van een vast handboek te volgen of een slimme gok te wagen op basis van spaties en leestekens, gebruikt het model een trial-and-error-aanpak die vergelijkbaar is met hoe een dier leert navigeren door een doolhof. Het model gokt stochastisch waar een snede moet komen, ziet hoe goed het het volgende deel van de tekst voorspelt, en past vervolgens zijn strategie aan. Als een gok leidt tot een betere voorspelling, versterkt het model die beslissing; als het leidt tot verwarring, probeert het iets anders. Na verloop van tijd ontdekt het model zijn eigen optimale manier om taal op te breken, waardoor het zichzelf effectief de regels van tokenisatie aanleert terwijl het de taal leert.
De onderzoekers ontdekten dat wanneer ze het model op deze manier lieten leren, het vanzelf begon zijn snedes te plaatsen op dezelfde plaatsen als mensen dat doen, zoals bij de spaties tussen woorden of aan het einde van zinnen, ook al heeft niemand dat aan het model verteld. Dit gebeurde zonder dat het model specifieke instructies kreeg over grammatica of de structuur van taal. In tests met een dataset van meer dan honderd miljoen parameters bleek deze zelfgeleerde aanpak effectiever dan eerdere methoden die probeerden grenzen te leren via een andere, minder directe wiskundige techniek. De nieuwe methode leverde niet alleen betere resultaten op, maar kwam ook overeen met de prestaties van systemen die vertrouwen op de traditionele, handgemaakte regelboeken, ondanks het feit dat het model geen voorafgaande kennis had van die regels.
Een van de meest opmerkelijke aspecten van deze ontdekking is dat het model leerde efficiënt te zijn. Het ontdekte hoe het bytes aan data in stukken kon groeperen die zin maakten voor zijn specifieke taak, of dat nu het lezen van algemene tekst was of het begrijpen van computercode. Wanneer de onderzoekers het model testten op Python-code, leerde het nieuwe fragmenten te starten bij het begin van functienamen en bepaalde veelvoorkomende zinsdelen bij elkaar te houden, wat wijst op een intuïtief begrip van de structuur van de gelezen code. Dit suggereert dat het model niet alleen patronen memoriseert, maar ook actief een strategie ontwikkelt die aansluit bij de betekenis van de tekst die het verwerkt.
De studie behandelde ook een grote hindernis die dit soort leren voorheen moeilijk had gemaakt: de ruis in het leersignaal. Omdat de beslissing om tekst te snijden een binaire keuze is — je snijdt hier wel of hier niet — is het wiskundig moeilijk om het model precies te vertellen hoe het kan verbeteren. De onderzoekers losten dit op door technieken te lenen uit reinforcement learning, een vakgebied waar agenten leren door middel van beloningen en straffen. Ze introduceerden een methode die de ruis afvlakt, waardoor het model kan zien welke specifieke beslissingen verantwoordelijk waren voor zijn successen of mislukkingen over een langer stuk tekst. Dit stelde het model in staat om effectief te leren zonder dat er een onmogelijk grote hoeveelheid rekenkracht nodig was.
Hoewel de huidige experimenten werden uitgevoerd op modellen van een specifieke omvang, bieden de resultaten een overtuigende visie op de toekomst van kunstmatige intelligentie. Door de noodzaak van een aparte, vooraf geprogrammeerde stap om tekst voor te bereiden weg te nemen, hebben de onderzoekers aangetoond dat taalverwerking een volledig geïntegreerd, end-to-end leerproces kan worden. Het model leert niet alleen spreken; het leert ook te luisteren en de wereld om zich heen te analyseren op de meest efficiënte manier mogelijk. Deze aanpak zou uiteindelijk kunnen leiden tot systemen die talen en datatypen verwerken waarvoor geen menselijk ontworpen regelboek bestaat, waardoor kunstmatige intelligentie adaptiever en inclusiever wordt. Het werk suggereert dat het rigide, ambachtelijke ontwerp van hoe wij data aan machines voeden, binnenkort vervangen kan worden door een meer vloeiende, zelf ontdekte methode, waarbij de machine zelf leert op de meest efficiënte manier de wereld te lezen op haar eigen voorwaarden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.