Evaluating Federated Pre-Training: On the Reliability of Downstream Fine-Tuning and Intrinsic Evaluation
Dit artikel toont aan dat downstream fine-tuning een onbetrouwbare metriek is voor het evalueren van de kwaliteit van federated pre-training omdat het er niet in slaagt de oorspronkelijke modelrangschikkingen te behouden, terwijl intrinsieke next-token voorspelling een getrouwer beeld geeft van de pre-training prestaties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een meesterkok bent die probeert de beste soep ter wereld te maken. In de oude dagen zou je elk ingrediënt van elke boerderij in het hele land verzamelen, alles in één gigantische, centrale pot gooien en roeren tot de smaak perfect was. Maar wat als sommige boeren te verlegen zijn om hun geheime recepten te delen, of de overheid zegt dat ze hun groenten niet uit hun eigen schuren mogen verplaatsen? Je hebt een nieuwe manier van koken nodig. Dit is waar "Federated Learning" om de hoek komt kijken. In plaats van de ingrediënten naar de pot te brengen, stuur je je chef naar elke boerderij. De chef proeft de lokale groenten daar ter plekke, leert wat ze bijzonder maakt, en stuurt alleen de lessen terug naar de hoofdkeuiken, zonder ooit de eigenlijke groenten aan te raken. Dit laat je toe om een "Foundation Model" te trainen—een superintelligent AI-brein dat veel weet over de wereld—zonder ooit privédata te zien.
Maar hier zit de lastige kant aan: hoe weet je of je chef ook echt iets goeds heeft geleerd? Normaal gesproken, om een chef te testen, vraag je hem om een specif Kind gerecht te maken, zoals een lasagne, en kijk je hoe het smaakt. In de wereld van AI wordt dit "downstream fine-tuning" genoemd. Je neemt het slimme brein en leert het een specifieke taak, zoals het beantwoorden van grammatica vragen of het begrijpen van emoties. Echter, deze paper stelt een vragende vraag: als je probeert te beoordelen hoe goed de chef de basis van het koken heeft geleerd (de pre-training), is het vragen om een lasagne te maken dan wel de juiste test? Misschien smaakt de lasagne wel goed omdat de chef goed is in het volgen van een recept, en niet omdat hij de ingrediënten echt begreep. Deze paper duikt in de vraag of onze huidige manieren om deze AI-hersenen te testen ons eigenlijk de waarheid vertellen over hoe goed ze in de basis hebben geleerd.
De onderzoekers in deze studie besloten een spel van "smaaktesten" te spelen met een specifiek type AI-brein, een transformer-model. Ze creëerden een gecontroleerde keuken waarin ze verschillende modellen trainden: sommige op de traditionele manier (alle data op één plek) en sommige met de federated methode (data blijft lokaal). Ze gebruikten een relatief klein model met 16 miljoen parameters, getraind op een specifieke subset van tekstdata, om ervoor te zorgen dat de vergelijking eerlijk was. Hun doel was simpel: ze wilden zien of verschillende testmethoden de modellen correct konden rangschikken van "beste leerling" naar "slechtste leerling" op basis van hun prestaties op de oorspronkelijke trainings-test.
Het team probeerde twee belangrijke manieren om de modellen te beoordelen. De eerste was de standaardbenadering: Downstream Fine-Tuning. Dit is alsof je de AI dwingt om voor een specifiek examen te studeren (de GLUE benchmark, die zaken test zoals grammatica en sentiment). Ze probeerden dit op drie manieren: de AI alles vanaf nul leren (full fine-tuning), alleen het antwoordmodel leren terwijl het brein bevroren blijft (head-only), en zelfs met heel weinig studiemateriaal (reduced data). De tweede benadering was Intrinsic Evaluation. Dit was meer als vragen aan de AI om simpelweg een zin te lezen en het volgende woord te raden, precies zoals het deed tijdens de oorspronkelijke training. Ze deden dit zonder het iets nieuws te leren (zero-shot) en ook nadat ze de examenvragen als extra oefening hadden gelezen (continued pre-training).
De resultaten waren een beetje een schok voor de gebruikelijke manier van doen. Toen de onderzoekers naar de "downstream fine-tuning" resultaten keken, ontdekten ze dat de rangschikking van de modellen alle kanten op ging. Een model dat duidelijk de beste was in de oorspronkelijke trainingstest (met een test-perplexity van ongeveer 89) won de specifieke examens niet noodzakelijkerwijs. Sterker nog, de modellen die erg verschillend waren in hun oorspronkelijke leervermogen, eindigden met bijna identieke scores op de examens. De correlatie tussen de oorspronkelijke leerkwaliteit en de examenscores was zwak, soms zelfs negatief. Het is alsof de beste chef en de slechtste chef allebei een redelijke lasagne maakten omdat het recept zo simpel was dat het hun werkelijke vaardigheden verborg. Zelfs toen ze de modellen minder studiemateriaal gaven voor het examen, verbeterde de rangschikking niet veel.
Echter, wanneer ze de Intrinsic Evaluation gebruikten—de AI simpelweg vragen het volgende woord te voorspellen op de examentekst zonder extra training—veranderde het verhaal volledig. De modellen die beter waren in de oorspronkelijke trainingstest, waren ook beter in het raden van het volgende woord in de nieuwe tekst. Er was een zeer sterke, duidelijke verbinding. De paper suggereert dat deze "zero-shot" methode, die dicht bij het oorspronkelijke doel van de AI blijft, een veel eerlijkere spiegel is van hoe goed de federated pre-training eigenlijk heeft gewerkt.
De auteurs merken er voorzichtig bij op dat dit een simulatie was met een kleiner model (16 miljoen parameters) en een specifieke dataset, dus we kunnen niet met zekerheid zeggen dat dit ook geldt voor de enorme, biljoenen parameters tellende modellen die in de echte wereld worden gebruikt vandaag de dag. Maar de bevindingen suggereren dat als we willen weten of een nieuwe federated learning strategie de AI-hersenen daadwerkelijk slimmer maakt, we niet alleen moeten vertrouwen op hoe goed ze specifieke tests halen na een beetje extra training. In plaats daarvan moeten we kijken naar hoe goed ze uit zichzelf het volgende woord kunnen voorspellen, want die test lijkt de waarheid te vertellen over hun fundament.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.