Cross-Stack Validation of Language-Model Training: A Clinical Fine-Tuning Case Study
Dit artikel toont aan dat onafhankelijk geïmplementeerde trainingsstacks, specifiek PyTorch en een op Zig gebaseerd framework genaamd numbat, effectieve differentiële orakels kunnen dienen om de fine-tuning van grootschalige klinische taalmodellen te valideren, waarbij ze succesvol 17 eerder gemiste fouten ontdekten — inclusief kritieke mismatches in de gegevensweergave en taalspecifieke geheugenbeheerproblemen — die door ontwikkeling met een enkele stack over het hoofd waren gezien.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van moderne kunstmatige intelligentie leren machines door miljarden kleine interne knoppen aan te passen via een proces dat training wordt genoemd. Dit proces is een lange, complexe keten van wiskundige stappen waarbij de machine data leest, een gokje waagt, controleert hoe fout het zat, en zichzelf vervolgens bijstuurt om het de volgende keer beter te doen. Jarenlang hebben wetenschappers zich zorgen gemaakt dat deze keten in stilte zou kunnen breken. Een computerprogramma zou een fout kunnen maken in zijn berekeningen, terwijl de machine nog steeds lijkt te leren, de foutmarge nog steeds daalt en het eindresultaat eruitziet als een werkend model. Omdat bijna iedereen dezelfde set hulpmiddelen gebruikt om deze programma's te bouwen, is er zelden een tweede, onafhankelijke manier om te controleren of de wiskunde daadwerkelijk correct wordt uitgevoerd. Het is als proberen een lange berekening te verifiëren wanneer je geen rekenmachine hebt, behalve de rekenmachine die je gebruikt om het werk zelf te doen.
Deze onzekerheid is van groot belang omdat een model dat het verkeerde heeft geleerd, nog steeds vloeiend en zelfverzekerd kan klinken. Als de software onder het model iets anders berekent dan wat de onderzoekers beoogden, is het resultaat geen crash of een overduidelijke fout, maar een iets minder goede versie van intelligentie waarvan niemand weet dat deze defect is. Om dit op te lossen, zijn onderzoekers begonnen met het stellen van een simpele vraag: wat gebeurt er als we het volledige trainingsproces twee keer opbouwen, met volledig verschillende hulpmiddelen en talen, en deze vervolgens vergelijken? Als beide versies exact dezelfde instructies volgen, zouden ze hetzelfde leertraject moeten produceren. Als ze uiteenlopen, betekent dit dat een van de twee een fout verbergt.
Een team van onderzoekers bij CloudKites AI Lab en Monash University besloot dit idee te testen op een realistische, cruciale taak: een computer leren om medische vragen te begrijmen. Ze namen een klein taalmodel en trainden dit op bijna 170.000 paren klinische vragen en antwoorden. Om een eerlijke test te garanderen, schreven ze twee volledig gescheiden trainingssystemen. Het ene systeem gebruikte de standaard softwaretools die de meeste wetenschappers vandaag de dag gebruiken. Het andere systeem werd vanaf nul opgebouwd door een ander team, met een andere programmeertaal en een andere reeks wiskundige engines, zonder gedeelde code tussen beide. Ze voerden beide systemen exact dezelfde instructies, dezelfde data en hetzelfde startpunt, en lieten ze vervolgens een volledige leercyclus doorlopen.
De twee systemen kwamen opmerkelijk goed overeen. Gedurende de training, die meer dan 10.000 stappen omvatte, was het verschil in hun prestaties minimaal, gemiddeld minder dan twee tienden van een procent. Deze nauwe overeenstemming bewees dat het nieuwe, onafhankelijke systeem als een betrouwbare controle op het standaard systeem kon dienen. Maar de echte waarde van het experiment lag niet in de overeenstemming; het lag in de onenigheid. Door de twee systemen te vergelijken, vonden de onderzoekers zeventien verborgen fouten die geen van beide teams had opgemerkt tijdens het werk alleen. Dit waren niet de soorten fouten die ervoor zorgen dat een programma stopt met werken; het waren subtiele fouten die de kwaliteit van het uiteindelijke model stilletjes zouden verslechteren.
De meest verrassende ontdekking was dat de grootste fout helemaal niet in de wiskunde zat. De onderzoekers ontdekten dat één systeem de medische tekst iets anders formatteerde dan de andere, waarbij een generieke lay-out werd gebruikt in plaats van de specifieke stijl die het model bedoeld was te leren. Dit kleine verschil in de voorbereiding van de tekst zorgde ervoor dat de prestaties van het model aanzienlijk meer afnamen dan de numerieke rekenfouten gecombineerd. Sterker nog, het oplossen van dit tekstformatteringsprobleem verbeterde het leertraject van het model ongeveer vijfhonderd keer meer dan het oplossen van de werkelijke wiskundige fouten deed. Dit onthulde dat de gevaarlijkste bugs vaak verborgen zitten in de manier waarop data wordt voorbereid, lang voordat de complexe berekeningen zelfs maar beginnen.
De studie toonde ook aan dat de programmeertaal er toe doet. Vier van de verborgen fouten konden alleen worden gevonden wanneer het systeem werd aangestuurd door een taal die het computergeheugen anders beheert dan de anderen. Bijvoorbeeld, één taal verplaatste taken tussen verschillende processorthreads op een manier die de interne staat van het systeem in verwarring bracht, terwijl de geheugenbeheerder van een andere taal niet zag dat de computer bijna zonder ruimte op de grafische kaart zat. Deze fouten waren onzichtbaar voor de standaardtools omdat zij vertrouwden op aannames over hoe de computer het geheugen afhandelt die waar waren voor het eerste systeem, maar onwaar voor het tweede.
De onderzoekers maten hoe lang dit controleproces duurde en stelden vast dat het betaalbaar was. Het draaien van het tweede, onafhankelijke systeem kostte niet significant meer tijd of vereiste niet meer apparatuur dan het draaien van het eerste systeem. Dit suggereert dat de praktijk van het bouwen van een tweede, onafhankelijke versie van een trainingspipeline niet alleen een theoretisch vangnet is, maar een praktische stap die teams vandaag de dag kunnen nemen. Het werk beweert niet alle problemen in kunstmatige intelligentie te hebben opgelost, noch garandeert het dat het medische model dat zij trainden veilig is voor echte patiënten. In plaats daarvan biedt het een duidelijke methode om stille fouten te detecteren. Het laat zien dat om een machine learning-systeem echt te vertrouwen, we verder moeten kijken dan het eindresultaat en het hele traject moeten verifiëren, waarbij we niet alleen de wiskunde controleren, maar ook de data, de code en de taal die wordt gebruikt om deze te schrijven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.