Data Mixing as Mixture Experiment: Response Surface Methodology and Optimal Design for Large Language Model Pretraining
Dit artikel herformuleert het mixen van data voor grote taalmodellen als een klassiek mengexperiment, waarbij het gebruik van ijle Scheffé-responsoppervlakmodellen en model-robuuste optimale ontwerpen wordt voorgesteld om efficiënt optimale data-allocaties te identificeren door zowel additieve als interactie-effecten tussen domeinen expliciet te vatten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De prestaties van een modern kunstmatige intelligentie-systeem hangen sterk af van het dieet dat het ontvangt tijdens de initiële training. Net zoals een menselijk kind anders leert afhankelijk van of het voornamelijk wordt blootgesteld aan verhalen, technische handleidingen of informele gesprekken, leert een groot taalmodel zijn capaciteiten van de specifieke mix van tekst die het gevoerd krijgt. Onderzoekers weten al lang dat de verhouding van verschillende soorten gegevens ertoe doet; een model meer code geven kan het beter maken in programmeren, terwijl meer wetenschappelijke artikelen het redeneren kunnen verbeteren. Echter, de totale hoeveelheid gegevens die een model kan verwerken, wordt beperkt door een vast budget aan rekenkracht. Dit creëert een moeilijk puzzelstuk: als je een bepaalde hoeveelheid tijd hebt om te trainen, hoe beslis je dan precies hoeveel van die tijd je aan welk type tekst besteedt? Het vergroten van het aandeel van één onderwerp betekent onvermijdelijk het verminderen van het aandeel van een ander, en het verkeerd krijgen van deze balans verspilt dure computerbronnen en resulteert in een minder capabel machine.
Onlangs hebben wetenschappers geprobeerd dit op te lossen door kleine, goedkope versies van deze modellen te trainen op verschillende datamixes om te zien welke combinaties het beste werken, in de hoop die resultaten te gebruiken om de training van veel grotere, krachtigere systemen te sturen. Een nieuwe studie door onderzoekers van de University of Calgary en de University of Virginia suggereert dat dit hele proces niet alleen een kwestie is van gokken of willekeurige steekproeven nemen, maar eigenlijk een klassiek type statistisch experiment is dat bekend staat als een mengproef (mixture experiment). In dit visie zijn de verschillende databronnen als ingrediënten in een recept, en is het doel om de perfecte blend te vinden. De onderzoekers pasten een specifiek wiskundig kader toe, dat oorspronkelijk is ontwikkeld voor het formuleren van chemische producten of voedselrecepten, op het probleem van het trainen van kunstmatige intelligentie. Door de datamix te behandelen als een gestructureerd experiment in plaats van een willekeurige gok, waren zij in staat om verborgen relaties tussen verschillende soorten tekst te ontdekken en te laten zien dat de manier waarop onderzoekers hun testmixen kiezen, aanzienlijk efficiënter gemaakt kan worden.
Het team gebruikte een publiek beschikbare dataset uit een eerdere studie genaamd RegMix, die het trainen van 512 kleine modellen op 17 verschillende soorten data omvatte, variërend van Wikipedia-artikelen en juridische documenten tot broncode en chatlogs. In plaats van complexe, 'black-box' machine learning-tools te gebruiken die simpelweg de beste uitkomst voorspellen zonder uit te leggen waarom, pasten de onderzoekers een methode toe die de resultaten opdeelt in twee delen: de individuele waarde van elk type data en de speciale waarde die alleen verschijnt wanneer twee specifieke typen gecombineerd worden. Ze ontdekten dat de waarde van een databron niet vaststaat; deze verandert afhankelijk van waarmee het gemengd wordt. Zo werden sommige domeinen die zwak of onnut leken wanneer ze afzonderlijk werden beschouwd, zeer waardevol wanneer ze werden gekoppeld aan web-afgeleide tekst. De analyse onthulde dat de krachtigste combinaties niet alleen gingen over het toevoegen van goede ingrediënten, maar over hoe specifieke paren ingrediënten met elkaar interacteerden om de fouten van het model meer te verlagen dan verwacht.
Deze aanpak stelde de onderzoekers ook in staat om te zien dat de relaties die zij ontdekten in de kleine modellen standhielden, zelfs toen zij naar veel grotere modellen keken. De methode voorspelde succesvol welke datamixes het best zouden presteren over verschillende schalen, waarbij de nauwkeurigheid werd geëvenaard van flexibelere maar minder interpreteerbare machine learning-modellen. Cruciaal was dat de studie aantoonde dat de manier waarop onderzoekers momenteel hun testmixen selecteren, verbeterd kan worden. In de oorspronkelijke RegMix-studie werden de testmixen willekeurig gekozen, zoals het trekken van nummers uit een hoed. Het nieuwe onderzoek toonde aan dat door een specifieke ontwerpstrategie te gebruiken om te bepalen waar deze testpunten geplaatst moesten worden, wetenschappers dezelfde mate van begrip konden bereiken met ongeveer 25 procent minder trainingsruns. Dit betekent dat het dure proces van het testen van datamixen veel goedkoper en sneller gemaakt kan worden zonder het vermogen te verliezen om het beste trainingsrecept te vinden.
De bevindingen suggereren dat het vakgebied van kunstmatige intelligentie-training de datamixing niet alleen moet behandelen als een voorspellingsprobleem, maar als een doelbewust experimenteel ontwerp-probleem. Door te erkennen dat de keuze van de testmixen er net zo toe doet als de analyse van de resultaten, kunnen onderzoekers aanzienlijke hoeveelheden rekenkracht besparen. De studie bevestigt dat de beste datamixen vaak worden gedefinieerd door hoe verschillende bronnen elkaar aanvullen, in plaats van door de kwaliteit van een enkele bron in isolatie. Hoewel de specifieke resultaten zijn afgeleid van een bepaalde set data en modellen, biedt het kader een duidelijke, gestructureerde manier om na te denken over hoe men kunstmatige intelligentie moet voeden, waardoor een complex allocatieprobleem wordt omgezet in een oplosbaar experiment dat de ontwikkeling van slimmere, efficiëntere taalmodellen kan sturen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.