Interactive Training 2: Auditable Control Plane for Live Model Training
Dit artikel introduceert Interactive Training 2, een open-source control plane die auditeerbare, realtime sturing van live modeltraining mogelijk maakt via een gedeeld protocol en een aangepaste Aim-workspace, waardoor zowel mensen als geautomatiseerde agenten veilig trainingsparameters kunnen wijzigen binnen diverse workflows.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je naar een meesterkok kijkt die een complex gerecht bereidt. Je ziet de pan borrelen, ruikt de specerijen en merkt dat de saus te dik wordt. In de oude dagen, als je de kok wilde vertellen het vuur lager te zetten of een snufje zout toe te voegen, moest je de keuken in rennen, een specifiek hulpmiddel pakken en instructies fluisteren die alleen die ene kok begreep. Als je met een andere kok wilde praten die een ander gerecht kookte, had je een compleet nieuwe set gereedschappen en een nieuwe taal nodig. Dit is hoe het trainen van kunstmatige intelligentie-modellen vroeger werkte: onderzoekers konden het "kookproces" observeren, maar het aanpassen van het recept terwijl het bezig was, was rommelig, vereiste aangepaste code voor elk afzonderlijk experiment en was moeilijk bij te houden.
Stel je nu voor dat elk keuken beschikte over een universeel, magisch intercomsysteem. Je zou erheen kunnen lopen en zeggen: "voeg meer zout toe" of "zet het vuur lager", en de kok zou je horen, controleren of het op dit moment veilig is om dat te doen, en de verandering dan doorvoeren op het exacte moment dat de pan er klaar voor is. Het beste eraan? Het systeem zou precies opschrijven wie wat vroeg, wanneer ze dat vroegen en of de kok het heeft uitgevoerd. Dit is de wereld van "Interactieve Training", een vakgebied waar onderzoekers proberen AI-modellen te sturen terwijl ze aan het leren zijn, in plaats van er alleen maar naar te kijken. De grote vraag is: hoe maken we dit sturen eenvoudig, veilig en registreerbaar voor elke AI-kok, niet alleen voor degenen die een specifiek merk fornuis gebruiken?
Dit artikel introduceert Interactive Training 2, een nieuwe "control plane" die fungeert als die universele intercom voor AI-training. De auteurs hebben een open-source systeem gebouwd waarmee mensen, computerscripts of zelfs AI-agenten (zoals slimme robots) met een trainingsmodel kunnen communiceren via één enkele, gedeelde taal. In plaats van voor elk experiment nieuwe code te schrijven, vertelt een onderzoeker het systeem simpelweg: "Dit zijn de knoppen waar ik aan kan draaien (zoals de leersnelheid) en dit zijn de knoppen die ik kan indrukken (zoals het opslaan van een checkpoint)."
Dit is hoe het in de praktijk werkt: Een onderzoeker (of een slimme AI-agent) kijkt naar een live dashboard dat laat zien hoe het met het model gaat. Als het model moeite heeft, kunnen ze een verzoek via het systeem sturen, zoals "verlaag de leersnelheid naar 0.00002". Het trainingsmodel verandert niet direct; in plaats daarvan wacht het tot een veilig moment in het kookproces — wat de auteurs een "control point" noemen — om de verandering door te voeren. Het controleert vervolgens of het verzoek geldig is, past het toe en schrijft het hele verhaal op in een digitaal dagboek. Dit dagboek koppelt het verzoek aan het resultaat, de nieuwe score en de opgeslagen versie van het model, waardoor er een duidelijke, controleerbare sporen van ontstaat van wie wat deed en wanneer.
Het team heeft dit systeem getest op vijf verschillende soorten AI-taken, waaronder het leren van modellen om menselijke emoties te begrijpen (sentimentanalyse) en het spelen van spellen (reinforcement learning). Ze lieten zien dat hetzelfde systeem alles kon afhandelen, van eenvoudige aanpassingen in de leersnelheid tot complexe wijzigingen in de manier waarop het model gegevens verwerkt. In deze tests gebruikten ze een AI-agent om als de "assistent van de chef" te fungeren, die naar de resultaten keek, besliste wat de volgende stap zou zijn en het verzoek verstuurde. Het systeem legde elke stap succesvol vast, van het initiële plan tot het uiteindelijke resultaat, waarmee werd bewezen dat je een live AI-model kunt sturen zonder de code te breken of de geschiedenis kwijt te raken.
Het artikel beweert niet dat het alle AI-trainingsproblemen heeft opgelost of een wondermiddel is dat gegarandeerd perfecte resultaten oplevert. In plaats daarvan biedt het een herbruikbare basis. Het suggereert dat door het "sturen" te scheiden van het "koken", we training flexibeler en gemakkelijker te bestuderen kunnen maken. De auteurs laten zien dat deze aanpak werkt over verschillende frameworks heen en dat het zowel mensen als geautomatiseerde agenten in staat stelt om in realtime samen te werken aan het verbeteren van AI-modellen, terwijl er tegelijkertheid een perfect verslag van de hele reis wordt bijgehouden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.