Mitigating Exploration Bias in RL for Multi-Instruction Following
Dit artikel behandelt de exploratiebias naar eenvoudige instructies in op RL gebaseerd multi-instructie volgen door een tweestaps raamwerk voor te stellen dat gedragsmatige bootstrapping combineert om harde instructies te activeren en schaarste-bewuste beloningen om deze te prioriteren, wat de prestaties van het model aanzienlijk verbetert over verifieerbare benchmarks.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Grote taalmodellen zijn de motoren achter de chatbots en schrijfassistenten die deel uitmaken van het dagelijks leven. In de kern zijn deze systemen ontworpen om instructies op te volgen, waarbij ze een verzoek van een gebruiker omzetten in een nuttig antwoord. Jarenlang hebben onderzoekers een trainingsmethode gebruikt genaamd reinforcement learning om deze modellen te leren hoe ze beter in deze taak kunnen worden. In deze aanpak probeert het model een probleem op te lossen, ontvangt een score gebaseerd op hoe goed het presteerde, en gebruikt die feedback om de volgende poging te verbeteren. Het is een krachtige manier om gedrag te verfijnen, vergelijkbaar met het trainen van een dier met beloningen, maar dan toegepast op complexe digitale redenering. Echter, een nieuwe studie suggereert dat wanneer deze modellen worden geconfronteerd met een enkel verzoek dat meerdere verschillende regels of beperkingen bevat, de standaard trainingsmethode hen vaak in de steek laat. In plaats van te leren om elk onderdeel van het verzoek te voldoen, heeft het model de neiging om de moeilijke delen te negeren en zich alleen te concentreren op de gemakkelijke onderdelen, waardoor de gebruiker een reactie krijgt die slechts gedeeltelijk correct is.
De onderzoekers achter deze studie, werkend met teams aan universiteiten in Texas en Californië, wilden begrijpen waarom dit gebeurt en hoe het opgelost kan worden. Ze ontdekten dat het probleem voortkomt uit twee belangrijke kwesties. Ten eerste is het model, wanneer het de training start, vaak te zwak om de moeilijkste delen van een complex verzoek op te lossen. Omdat het niet kan slagen bij deze moeilijke taken, krijgt het nooit de positieve feedback die nodig is om ervan te leren, waardoor het simpelweg stopt met proberen. Ten tweede behandelt het scoresysteem dat tijdens de training wordt gebruikt elke instructie als gelijkwaardig. Als een model één gemakkelijke regel en één moeilijke regel vervult, krijgt het dezelfde totale score als wanneer het twee gemakkelijke regels zou vervullen. Dit moedigt het model aan om de gemakkelijke successen na te jagen om de score snel te verhogen, in plaats van te worstelen met de moeilijke beperkingen die meer inspanning vereisen. Het resultaat is een model dat bevooroordeeld is naar het gemakkelijke pad, waardoor de moeilijkere uitdagingen onverkend blijven.
Om dit op te lossen, stelde het team een tweestaps raamwerk voor dat is ontworpen om het model te dwingen aandacht te besteden aan de moeilijke instructies. De eerste stap is een voorbereidingsfase die zij behavioral bootstrapping noemen. Voordat de hoofdtraining begint, identificeren de onderzoekers de specifieke soorten instructies die het model momenteel niet goed kan opvolgen. Vervolgens genereren ze een kleine, gerichte set voorbeelden waarbij het model wordt begeleid om succesvol te zijn bij deze specifie toegepaste moeilijke taken. Door voor een korte tijd op deze gecureerde data te trainen, "ontwaakt" het model zijn vermogen om deze moeilijke beperkingen aan te pakken. Het gaat er niet om het model alles vanaf nul te leren, maar eerder om het een kleine duw te geven om ervoor te zorgen dat het een kans heeft om te slagen voordat de hoofdtraining begint. Deze stap zorgt ervoor dat het model niet onmiddellijk opgeeft bij de moeilijke delen wanneer de echte training begint.
De tweede stap houdt in dat de manier waarop het model tijdens de hoofdtrainingsfase wordt beloond, wordt gewijzigd. In plaats van elke instructie hetzelfde gewicht te geven, introduceerden de onderzoekers een nieuwe scoringsmethode die aandacht besteedt aan hoe zeldzaam of moeilijk een specifieke instructie is. Als het model een instructie succesvol opvolgt die het zelden goed krijgt, ontvangt het een grotere beloning. Als het een instructie volgt die het al gemakkelijk beheerst, is de beloning kleiner. Dit creëert een sterke prikkel voor het model om het moeilijke gebied te verkennen dat het voorheen vermeed. De onderzoekers voegden ook een bonus toe voor het succesvol combineren van instructies. Als een model erin slaagt om twee regels tegelijkertijd te vervullen, vooral wanneer die regels moeilijk samen uit te voeren zijn, krijgt het extra punten. Dit moedigt het model aan om naar oplossingen te zoeken die de volledige set beperkingen vervullen, in plaats van alleen de gemakkelijkste te kiezen.
Het team testte deze ideeën met behulp van twee verschillende versies van een taalmodel, één met 1,7 miljard parameters en een andere met 7 miljard. Ze trainden deze modellen op een dataset met prompts die elk drie tot vijf instructies bevatten. De resultaten waren opmerkelijk. De modellen die getraind zijn met de nieuwe tweestapsmethode presteerden aanzienlijk beter dan die getraind met de standaardaanpak. Op een primaire testset die ontworpen is om het opvolgen van instructies te controleren, verbeterde het beste model de nauwkeurigheid met meer dan negen punten vergeleken met de standaardmethode. Deze verbetering was zo substantieel dat het kleinere 1,7 miljard model, getraind met deze nieuwe methode, even goed presteerde als veel grotere commerciële modellen die over vele malen meer rekenkracht beschikken. De onderzoekers maten ook de balans in de prestaties van het model en vonden dat de nieuwe methode erin slaagde de kloof tussen hoe goed het model gemakkelijke versus moeilijke instructies afhandelde, te verkleinen.
De studie keek ook naar wat er tijdens de training binnen het model gebeurt. Ze observeerden dat de standaard trainingsmethode ervoor zorgde dat het model zijn vermogen verloor om verschillende mogelijkheden te verkennen, een fenomeen bekend als entropie-instorting (entropy collapse), waarbij het model vast komt te zitten in een nauwe lus van veilige, gemakkelijke antwoorden. In contrast hiermee hield de nieuwe methode de exploratie van het model levend, waardoor het kon blijven zoeken naar complexe oplossingen. De onderzoekers merkten op dat de aanpak het beste werkt wanneer de trainingsdata zorgvuldig in balans is; te veel data in de initiële voorbereidingsfase zou de flexibiliteit van het model later kunnen schaden. Hoewel de methode werd getest op instructies die door een computerprogramma gecontroleerd kunnen worden, erkennen de onderzoekers dat het toepassen ervan op meer open eind vragen, zoals die die gaan over stijl of toon, verdere arbeid vereist. Desalniettemin bieden de bevindingen een duidelijke weg vooruit om kunstmatige intelligentie betrouwbaarder te maken wanneer deze wordt geconfronteerd met complexe, veelzijdige verzoeken. Door de bias naar het gemakkelijke pad aan te pakken, helpt dit werk ervoor te zorgen dat deze krachtige hulpmiddelen werkelijk de volledige reikwijdte van de intentie van een gebruiker kunnen volgen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.