What is Missing from AI Post-Training AI: An Empirical Analysis
Dit artikel betoogt dat hoewel AI-agenten effectief vooraf gedefinieerde trainingsstrategieën kunnen uitvoeren, zij niet de inherente capaciteit bezitten om hun hoogwaardige strategieën spontaan te herevalueren en te herzien tijdens het post-training proces, een beperking die voortduurt ondanks verbeteringen in ervaring, menselijke begeleiding en aanvullende redeneercapaciteit.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie is een nieuw soort werker opgekomen: de AI-agent. Dit zijn niet alleen programma's die vragen beantwoorden of tekst schrijven; het zijn systemen die in staat zijn om complexe taken over een langere periode te plannen en uit te voeren. Ze kunnen computercode schrijven, experimenten opzetten en zelfs andere modellen voor kunstmatige intelligentie trainen. Deze capaciteit heeft een visie ontketend van "AI voor AI", waarbij intelligente systemen zichzelf verbeteren in een continue lus, wat potentieel leidt tot machines die betere machines ontwerpen zonder menselijke tussenkomst. Om deze visie te testen, hebben onderzoekers een specifieke uitdaging opgezet waarbij een AI-agent een basis taalmodel moet verfijnen om beter te presteren op moeilijke taken, zoals het oplossen van wiskundeproblemen of het schrijven van code. De hoop is dat de agent zal optreden als een bekwame wetenschapper, die een plan voorstelt, een experiment uitvoert, ziet wat er misging, en vervolgens zijn aanpak fundamenteel verandert om iets nieuws te proberen.
Een team van onderzoekers van de Tsinghua Universiteit, de Renmin Universiteit van China en de University of Electronic Science and Technology of China heeft onlangs onderzocht of deze AI-agenten werkelijk over deze wetenschappelijke flexibiliteit beschikken. Ze onderzochten duizenden opgenomen sessies waarin verschillende AI-agenten probeerden taalmodellen te verbeteren over zeven verschillende benchmarks, variërend van basisschoolwiskunde tot wetenschappelijk redeneren op universitair niveau. De onderzoekers maakten onderscheid tussen twee soorten werk die een agent kan doen. De eerste is uitvoering: het vermogen om een gekozen plan uit te voeren, zoals het oplossen van een bug in de code, het aanpassen van de leersnelheid of het opschonen van de data. De tweede is strategie: het vermogen om naar de resultaten te kijken en te besluiten dat het hele plan fout is, om vervolgens over te schakelen op een compleet andere methode. De studie vond dat de agenten uitzonderlijk goed waren in het eerste type werk, maar bijna volledig onbekwaam waren in het tweede.
De onderzoekers analyseerden meer dan 1.300 van deze trainingssessies, die werden opgenomen in een publieke dataset genaamd PostTrainBench. Ze ontdekten een opvallend patroon: in bijna elk geval besliste de AI-agent over zijn hoogwaardige aanpak binnen de eerste paar minuten van de sessie en hield hij zich daar de gehele duur van tien uur aan. Als een agent begon door het model te onderwijzen met een methode die full-parameter fine-tuning wordt genoemd, zou hij urenlang met die methode doorgaan, zelfs als de resultaten slecht waren. Hij zou zijn tijd besteden aan het maken van kleine aanpassingen, zoals het veranderen van de leersnelheid of het herformatteren van de data, maar hij zou nooit overwegen om volledig over te stappen op een andere trainingsmethode. Omgekeerd, als een agent begon met een andere methode genaamd parameter-efficient fine-tuning, zou hij ook aan die aanpak blijven vasthouden. De keuze van de strategie hing meer af van de specifieke AI-agent die werd gebruikt dan van de taak die het probeerde op te lossen. Deze "vastlegging" betekende dat de agenten effectief in cirkels liepen door een enkele aanpak te verfijnen lang nadat deze niet meer nuttig was geworden.
Om te begrijpen waarom dit gebeurde, testten de onderzoekers drie mogelijke verklaringen, waarbij ze hun interventies opschraalden om te zien of ze de agenten uit deze lus konden breken. Eerst vroegen ze zich af of de agenten simpelweg een gebrek aan ervaring hadden. Ze gaven de agenten een digitaal dagboek om hun observaties bij te houden, een bibliotheek van vaardigheden gedestilleerd uit open-source projecten, en een aparte evaluator-agent om diagnoses en suggesties te geven. Deze opstelling verbeterde het vermogen van de agenten om hun taken uit te voeren aanzienlijk, wat hun prestaties op wiskunde- en code-benchmarks een boost gaf. Echter, zelfs met deze extra hulp en duidelijk bewijs dat hun huidige aanpak faalde, weigerden de agenten nog steeds hun hoogwaardige strategie te veranderen. Ze zouden het advies van de evaluator volgen om een instelling aan te passen, maar zouden suggesties om volledig van methode te wisselen negeren.
Vervolgens testten de onderzoekers of de agenten betere begeleiding nodig hadden. Ze introduceerden een menselijke beoordelaar die naar het initiële plan van de agent zou kijken voordat de training begon en hem expliciet zou vertellen een andere strategie te kiezen. Dit werkte perfect aan het begin; de agenten begrepen de nieuwe instructies en implementeerden een ander plan. Echter, zodra de training daadwerkelijk begon, vervielen de agenten snel in hun oude gewoonten. Ze begonnen lokale aanpassingen te maken en stopten met het overwegen van de bredere strategie, waardoor ze de menselijke begeleiding effectief negeerden zodra het werk begon. Ten slotte testten de onderzoekers of de agenten simpelweg meer tijd nodig hadden om na te denken. Ze gaven de agenten aanzienlijk meer rekenkracht om over hun beslissingen te delibereren. Bij eenvoudigere taken hielp deze extra denktijd de resultaten te verbeteren. Maar bij de moeilijkste taken leverde de extra kracht bijna geen voordeel op. De agenten gebruikten de extra tijd simpelweg om de vastgelegde strategie nog verder te verfijnen, in plaats van te beseffen dat ze van koers moesten veranderen.
De studie concludeert dat het ontbrekende ingrediënt in geautomatiseerd AI-onderzoek niet een gebrek aan ervaring, begeleiding of ruwe rekenkracht is. De agenten hebben duidelijk het vermogen om een nieuwe strategie te begrijpen en deze te implementeren wanneer hen dat wordt gevraagd. Wat ze missen is de spontaniteit om te herkennen wanneer hun huidige pad faalt en om vrijwillig te besluiten van richting te veranderen. De lus van een hypothese voorstellen, een experiment uitvoeren en de aanpak herzien sluit zich alleen op het niveau van kleine, lokale aanpassingen. Op het niveau van de algemene strategie blijft de lus open. Het plafond voor deze geautomatiseerde systemen wordt bepaald door de kwaliteit van de allereerste beslissing die ze nemen, en niet door hoe lang ze werken of hoeveel ze nadenken. Totdat AI-agenten spontaan die strategische keuze kunnen heropenen tijdens de uitvoering, zullen ze competente werkers blijven die niet in staat zijn om als echte wetenschappers op te treden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.