Towards Code-Oriented LM Embeddings for Surrogate-Assisted Neural Architecture Search
Dit artikel stelt Code-Oriented LM Embeddings (COLE) voor, een kostenefficiënte strategie die kant-en-klare taalmodellen benut om neurale architecturen te representeren als PyTorch-code, waardoor concurrerende surrogate-ondersteunde Neural Architecture Search mogelijk wordt zonder gespecialiseerde fine-tuning en de evaluatiebudgetten die nodig zijn om optimale modellen te vinden aanzienlijk worden verlaagd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Probleem: Het Vinden van het Beste Recept is Duur
Stel je voor dat je een chef bent die probeert het absoluut beste recept voor een taart te vinden. Je hebt een enorme kookboek met miljoenen mogelijke combinaties van ingrediënten (bloem, suiker, eieren, kruiden) en methoden (baktijd, temperatuur).
In de wereld van Kunstmatige Intelligentie heet dit Neural Architecture Search (NAS). De "recepten" zijn ontwerpen van neurale netwerken, en de "proeverij" is het trainen van de AI om te zien hoe goed het werkt. Het probleem is dat het "proeven" van elk enkel recept eeuwig duurt en een fortuin kost aan rekenkracht. Je kunt niet gewoon elke taart in het boek bakken.
Om dit op te lossen, gebruiken wetenschappers een Surrogaat (of een "proefvoorspeller"). Dit is als een foodcriticus die naar een recept op papier kijkt en raadt hoe goed de taart zal smaken, zodat je niet echt hoeft te bakken. Het doel is een criticus te vinden die snel, goedkoop en zeer accuraat is.
De Oude Manier: Recepten Vertalen naar een Buitenlandse Taal
Voorheen moesten wetenschappers, om een criticus een recept te laten begrijpen, de complexe code van het neurale netwerk vertalen naar een vreemd, vereenvoudigd tekstformaat (zoals het omzetten van een recept in een lijst met chemische formules of een vreemd diagram).
Denk hierbij aan het volgende: Je hebt een meesterchef (een Groot Taalmodel, of LM) die weet hoe hij moet koken omdat hij miljoenen echte kookboeken en recepten heeft gelezen. Maar in plaats van hem het echte recept te tonen, geef je hem een vertaling in een taal die hij nog nooit heeft gezien (zoals "ONNX-naar-tekst" of "afleidingsbomen").
Om de chef deze nieuwe taal te laten begrijpen, moet je wekenlang fine-tuning aanbrengen – in feite hem vanaf nul opnieuw opleiden. Dit is traag, duur en doet afbreuk aan het doel van het hebben van een snelle "proefvoorspeller".
Het Nieuwe Idee: Laat Ze Gewoon het Echte Recept Zien
De auteurs van dit artikel, Pranav Somu en zijn team, hadden een simpele inzicht: Neurale netwerken zijn al geschreven in code. Ze zien eruit als Python-programmeringsscripts.
Omdat de "meesterchefs" (Grote Taalmodellen zoals CodeLlama) al getraind waren op biljoenen regels echte computercode, weten ze al hoe ze deze recepten perfect moeten lezen. Ze hoeven niet opnieuw opgeleid te worden.
De Oplossing (COLE):
In plaats van het recept naar een vreemd formaat te vertalen, voeren ze de ruwe Python-code direct in bij de voorgeprogrammeerde AI.
- Geen Fine-Tuning: Ze gebruiken de AI "zoals hij is" (bevroren). Het is alsof je een chef huurt die al weet hoe hij je specifieke kookboek moet lezen zonder dat er een trainingseminar nodig is.
- De Embedding: De AI leest de code en zet het om in een wiskundig "vingerafdruk" (een embedding) dat de essentie van het recept vastlegt.
- De Voorspeller: Een kleine, eenvoudige rekenmachine (een regressie-head) kijkt naar die vingerafdruk en voorspelt hoe goed het architectuur zal presteren.
Wat Ze Vonden
Het team testte dit idee met twee verschillende "kookboeken" (zoekruimtes) en kwam tot enkele verrassende resultaten:
- Ruwe Code Wint: Toen ze de AI de echte Python-code gaven, voorspelde deze de prestaties veel beter dan toen ze de AI de vreemde, vertaalde tekstformaten gaven. Het is alsof de chef zegt: "Ik begrijp het echte recept; je hoeft het niet voor mij te vertalen naar chemische formules."
- Geen Training Nodig: Ze bewezen dat je niet wekenlang hoeft te investeren in het fine-tunen van de AI. De "kant-en-klare" modellen werkten direct uitstekend.
- Snellere Zoektocht: Toen ze deze methode gebruikten om te zoeken naar de beste AI-architectuur (met een algoritme genaamd BANANAS), vonden ze de beste ontwerpen veel sneller.
- Voor één taak (CIFAR-100) bereikten ze de top 1% van de best mogelijke ontwerpen met 34% minder computerbeoordelingen dan de oude methode. Het is alsof je het beste taartrecept vindt door slechts 66 taarten te proeven in plaats van 100.
Waarom Dit Belangrijk Is
Deze aanpak is alsof je een universele vertaler geeft aan een zoekmachine. Omdat elk neuraal netwerk als code kan worden geschreven, en code een universele taal is die deze AI-modellen al vloeiend spreken, werkt deze methode voor bijna elk type architectuur zonder dat er maatwerk-engineering nodig is.
Kortom: In plaats van een slimme AI te dwingen een nieuwe, vreemde taal te leren om neurale netwerken te begrijpen, spraken de auteurs gewoon de taal die het al kent: Code. Dit bespaart tijd, geld en levert betere resultaten op.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.