A New Evolutionary Strategy: Learn From the Best
Dit artikel introduceert Learn From the Best Evolution Strategy (LFB-ES), een nieuwe black-box optimizer die het trainen van hoogdimensionele neurale netwerken verbetert door de populatie iteratief te begeleiden om te leren van elite-individuen, waardoor een superieure convergentie en nauwkeurigheid wordt bereikt in vergelijking met klassieke methoden zoals OpenAI-ES en CMA-ES.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het uitgestrekte landschap van kunstmatige intelligentie is er een specifiek soort puzzel die zelfs de meest geavanceerde leersystemen in verwarring brengt. Stel je voor dat je een robot probeert te leren lopen, of een computerprogramma probeert een complex weerpatroon te voorspellen, maar dat het je verboden is om onderweg enige hints te geven. Je kunt niet zeggen: "je linker voet is te hoog" of "je voorspelling voor dinsdag zat er net naast." Je kunt alleen wachten tot het einde van de taak en het systeem één enkel getal overhandigen: een score. Dit staat bekend als een black-box optimalisatieprobleem met ijle beloningen (sparse rewards). Het systeem moet uitzoeken hoe het zijn interne instellingen kan verbeteren op basis van uitsluitend dat uiteindelijke cijfer, zonder stapsgewijze feedback. Dit scenario komt veel voor in de echte wereld van engineering, van het afstemmen van de parameters van een nieuwe motor tot het aanpassen van wiskundige curven aan ruisgevoelige data, maar het blijft een van de moeilijkste uitdagingen omdat het pad naar verbetering onzichtbaar is.
Jarenlang hebben wetenschappers vertrouwd op evolutionaire strategieën om deze puzzels op te lossen. Deze methoden bootsen natuurlijke selectie na: ze creëren een populatie van digitale agenten, elk met licht verschillende interne instellingen, laten hen de taak uitvoeren, en behouden degenen die de beste scores behalen. De twee bekendste van deze methoden, OpenAI-ES en CMA-ES, zijn de standaardinstrumenten voor dit werk geweest. Echter, zij worstelen wanneer de taken zeer complex worden en het aantal af te stemmen instellingen groot wordt. Ze blijven vaak hangen in lokale lussen, bewegen traag en slagen er niet in de fijne details van het probleem te vatten, vergelijkbaar met een wandelaar die door een dicht bos dwaalt en steeds rondjes blijft lopen op dezelfde kleine open plek in plaats van de bergtop te vinden.
Een team van onderzoekers van Lenovo heeft een nieuwe weg vooruit voorgesteld genaamd "Learn From the Best Evolution Strategy", of LFB-ES. In plaats van te vertrouwen op toeval om betere oplossingen te vinden, introduceert deze nieuwe methode een gestructureerde vorm van leren binnen de populatie. In elke generatie van het experiment wordt de best presterende agent gekozen als leraar. De rest van de groep, die optreedt als studenten, bestudeert vervolgens het gedrag van de leraar. Ze kopiëren niet alleen de uiteindelijke score van de leraar; ze proberen de specifieke reeks acties en outputs na te bootsen die de leraar tijdens de taak produceerde. Door een wiskundig proces te gebruiken om het verschil tussen hun eigen outputs en die van de leraar te minimaliseren, passen de studenten hun interne instellingen snel aan om meer op de winnaar te lijken. Dit creëert een cyclus waarin de populatie collectief naar een betere oplossing klimt, geleid door de huidige kampioen in plaats van blind rond te dwalen.
De onderzoekers testten deze aanpak op een uitdagende curve-fitting uitdaging. Ze vroegen de algoritmen om een zeer complex, snel oscillerend golfpatroon te voorspellen, een taak die vereist om duizenden kleine pieken en dalen te vangen. De enige informatie die de algoritmen ontvingen, was de totale fout van hun gehele voorspelling aan het einde van de run. De resultaten waren opmerkelijk. De nieuwe LFB-ES methode convergeerde veel sneller op het juiste antwoord dan de traditionele methoden en bereikte een niveau van precisie dat de anderen niet konden halen. Terwijl de oudere algoritmen vlakke, onnauwkeurige lijnen produceerden die de complexe details van de golf misten, reproduceerde de nieuwe methode het complexe patroon met opmerkelijke nauwkeurigheid, waarbij de echte data bijna perfect werd nagebootst.
Een cruciaal onderdeel van dit succes was de keuze van de interne "schakelaars" die de computer gebruikt om informatie te verwerken, ook wel activatiefuncties genoemd. De onderzoekers ontdekten dat een specifiek type schakelaar dat in een cyclus herhaalt, vergelijkbaar met de manier waarop een sinusgolf stijgt en daalt, veel beter werkte dan de standaard schakelaars die in de meeste moderne AI worden gebruikt. Wanneer ze de standaard schakelaars vervingen door dit herhalende, periodieke type binnen hun nieuwe leerframework, verbeterde het vermogen van het systeem om te verkennen en de beste oplossing te vinden drastisch. Ze ontdekten echter ook dat dit voordeel niet universeel was. Toen ze dezelfde methode toepasten op een ander type probleem dat discrete keuzes betreft, zoals het spelen van een videogame waarbij de agent moet kiezen tussen naar links of naar rechts bewegen, vertoonde de nieuwe methode niet dezelfde overweldigende superioriteit. Het presteerde iets beter dan de oude willekeurige methoden, maar domineerde niet op de manier waarop het dat deed bij de continue curve-fitting taak.
De studie onderzocht ook de kosten van deze nieuwe aanpak. Omdat de methode vereist dat de student-agenten leren van de leraar via een reeks berekeningen, kost het meer tijd om uit te voeren dan de eenvoudigste willekeurige methoden. De onderzoekers toonden echter aan dat deze extra tijd beheersbaar is en redelijk goed schaalt, zelfs naarmate het aantal af te stemmen instellingen toeneemt. In contrast hiermee werd een van de oudere, complexere methoden onmogelijk om uit te voeren op grote problemen omdat het het computergeheugen te boven ging. De nieuwe strategie biedt een middenweg: het is computationeel veeleisender dan de eenvoudigste willekeurige zoekopdrachten, maar veel efficiënter en krachtiger dan de zware, geheugenverslindende alternatieven, wat het een praktisch hulpmiddel maakt voor het oplossen van hoog-dimensionale problemen waarbij alleen een eindscore beschikbaar is.
Uiteindelijk demonstreert dit werk dat zelfs in een volledig gesloten omgeving waar geen tussenliggende begeleiding wordt gegeven, een populatie van agenten snel kan leren verbeteren als ze in staat zijn te leren van hun beste presteerders. Door deze sociale leerdynamiek te combineren met de juiste wiskundige instrumenten, hebben de onderzoekers een systeem gecreëerd dat met veel meer helderheid en snelheid door de mist van black-box optimalisatie navigeert dan voorheen. Hoewel de methode geen magische oplossing is voor elk type probleem, biedt het een krachtig nieuw instrument voor ingenieurs en wetenschappers die complexe systemen moeten afstemmen zonder de interne regels van het spel te kennen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.