Training Skills Like Parameters via Self-Supervised Semantic Diffusion
Dit artikel stelt een nieuw, ongesuperviseerd zelfevoluerend agent-framework voor dat een externe bibliotheek van tekstuele vaardigheden traint via een zelfgesuperviseerd semantisch diffusieproces, waardoor LLM's autonoom complexe, gespecialiseerde domeinen zoals scenarioschrijven kunnen beheersen zonder toegang tot gewichten of externe menselijke supervisie te vereisen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een briljante maar onervaren leerling probeert te leren hoe je een meeslepend filmscript schrijft. Je hebt een bibliotheek met duizenden bekroonde scripts, maar je kunt niet simpelweg het brein van de leerling herschrijven om ze allemaal te laten memoriseren. In de wereld van Kunstmatige Intelligentie zijn deze "leerlingen" Large Language Models (LLM's)—superintelligente computers die kunnen chatten, schrijven en problemen kunnen oplossen. Maar wanneer het gaat om zeer gespecialiseerde, creatieve taken zoals het schrijven van korte drama's, klinken ze vaak wat generiek vergeleken met menselijke experts. Meestal proberen we dit op te lossen door het model te "fine-tunen", wat lijkt op het uitvoeren van een openhartoperatie op zijn brein om de interne bedrading te veranderen. Maar dit is duur, vereist toegang tot de geheime code van het model (die veel topbedrijven niet geven), en zodra de operatie is voltooid, zit het model voor altijd vast aan die specifieke versie. Als er volgend jaar een beter model uitkomegaat, moet je weer helemaal opnieuw beginnen.
Dus hebben wetenschappers naar een andere manier gezocht: in plaats van het brein te veranderen, waarom geef je de leerling dan niet een set "spiekbriefjes" of een "regelboek" dat hij kan raadplegen wanneer hij hulp nodig heeft? Dit wordt extern geleerd (externalized learning) genoemd. Het probleem is dat het schrijven van deze spiekbriefjes meestal een menselijke expert vereist die gaat zitten om zijn geheime trucs uit te leggen, wat traag en duur is, en experts willen hun geheimen vaak niet delen omdat ze vrezen dat ze gekopieerd worden. Dit artikel stelt een gedurfde vraag: Kan een AI zichzelf leren deze spiekbriefjes te schrijven, met behulp van de bestaande films en scripts, zonder dat er een mens nodig is om het huiswerk te nakijken of de regels uit te leggen?
De onderzoekers achter deze studie, werkend met scenario's voor korte drama's, zeggen van wel. Ze bouwden een systeem waarbij een AI-agent leert schrijven als een professional door een spel van "corruptie en reconstructie" te spelen. Denk er bijvoorbeeld zo over: stel dat je een perfect, gedetailleerd filmscript neemt en het door een papierversnipperaar haalt totdat je alleen nog een rommelige, eenzinsige samenvatting van het plot overhoudt. Neem vervolgens die samenvatting en geef die aan de AI en zeg: "Bouw het volledige filmscript weer op vanuit deze samenvatting." Maar hier komt de twist: de AI is niet alleen aan het gokken; hij heeft een "geheugenbank" van regelkaarten waar hij naar kan raadplegen. Nadat de AI heeft geprobeerd het script te reconstrueren, vergelijkt het systeem de rommelige reconstructie met het originele, perfecte menselijke script. In plaats van dat een menselijke leraar zegt "goed gedaan" of "slecht gedaan", ziet het systeem automatisch de verschillen—zoals waar de dialoog te lang was of waar een personage te weinig bewoog—en schrijft het een rapport over wat er misging.
Dit rapport wordt vervolgens gebruikt om de geheugenbank van de AI bij te werken. Als de AI een regel volgde die leidde tot een slecht script, wordt die regel aangepast of weggegooid. Als de AI een regel miste die het script beter had gemaakt, wordt er een nieuwe regelkaart aangemaakt. Dit gebeurt steeds opnieuw, als een zelfcorrigerende lus. De AI verandert niet zijn eigen brein; hij blijft alleen zijn externe bibliotheek van "hoe-te"-kaarten verfijnen. De onderzoekers testten dit op een enorme collectie professionele korte drama's. Ze ontdekten dat de scripts van de AI na de training veel dichter bij de menselijke kwaliteit kwamen te liggen. Specifiek leerde de AI om realistischere actiescènes te schrijven (in plaats van dingen te beschrijven die een camera niet kan zien), meer spannende cliffhangers te creëren en gebruik te maken van rekwisieten in het verhaal, in plaats van alleen maar personages te laten staren naar objecten.
Wat dit echt cool maakt, is dat de "spiekbriefjes" die de AI heeft geleerd, niet gebonden zijn aan één specifiek computermodel. De onderzoekers namen de geheugenbank die getraind was op één type AI en gaven deze aan een compleet ander AI-model, en het werkte net zo goed. Het is alsolijk of je een perfecte handleiding voor het schrijven van films hebt geschreven, en die helpt twee verschillende studenten met totaal andere breinen om beiden geweldige schrijvers te worden. De studie suggereert dat deze methode AI in staat stelt om complexe vaardigheden uit zichzelf te leren van hoogwaardige menselijke voorbeelden, zonder dure menselijke leraren nodig te hebben of de kerncode van de AI te veranderen. Hoewel het systeem nog niet perfect is—het heeft soms moeite om te onthouden om de juiste regel op het juiste moment te lezen—toont het een veelbelovend pad voor AI om zichzelf te blijven onderwijzen en verbeteren door het beste menselijke werk te bestuderen, helemaal op eigen houtje.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.