TraceML: An Empirical Analysis of Human-Agent Planning in Machine Learning Development
Dit artikel introduceert TraceML, een uitgebreide dataset en schema dat menselijke en agent-trajecten koppelt over 134 machine learning-competities, wat onthult dat huidige agents er niet in slagen de menselijke prestaties te evenaren, niet vanwege programmeerfouten, maar omdat ze de strategische planning en iteratieve exploratiegedragingen missen die door menselijke experts worden vertoond.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie is er een duidelijk verschil tussen het schrijven van een enkele correcte zin en het bouwen van een complexe machine die leert van data. Large language models, de krachtige computerprogramma's die e-mails kunnen opstellen of code kunnen schrijven voor geïsoleerde taken, zijn bijzonder vaardig geworden in het eerste. Echter, wanneer ze de opdracht krijgen om te fungeren als autonome ingenieurs — het laden van rommelige data, het kiezen van het juiste wiskundige model, het trainen ervan, en vervolgens urenlang hun aanpak verfijnen op basis van wat de resultaten hen vertellen — gaan ze vaak de mist in. Ze kunnen een eindantwoord produceren, maar ze worstelen met het navigeren door de lange, kronkelende weg van ontdekking die daarheen leidt. Deze kloof gaat niet alleen over het krijgen van het verkeerde getal aan het einde; het gaat over hoe het werk wordt uitgevoerd. Terwijl menselijke experts misschien een dozijn verschillende strategieën proberen, degenen die falen weggooien en terugkeren naar oude ideeën die veelbelovend leken, blijven deze geautomatiseerde agenten vaak steken in nauwe lussen, waarbij ze steeds dezelfde kleine aanpassingen maken zonder ooit echt van richting te veranderen.
Onderzoekers aan de Carnegie Mellon University zetten zich in om precies te begrijpen waar en waarom deze breuk optreedt. Ze creëerden een nieuwe manier om naar het werk van zowel menselijke experts als kunstmatige agenten te kijken, waarbij ze het gehele ontwikkelingsproces beschouwden als één enkel, continu verhaal in plaats van alleen een eindscore. Ze verzamelden duizenden records van hoe mensen machine learning-competities oplosten, waarbij ze elke keer vastlegden dat ze een nieuwe versie van hun code opsloegen, elke keer dat ze een model veranderden en elke keer dat ze hun data aanpasten. Ze koppelden dit vervolgens aan het werk van twee verschillende soorten geautomatiseerde agenten die aan dezelfde problemen werkten. Door deze geschiedenissen naast elkaar te leggen, konden ze niet alleen zien wie er won, maar ook hoe elke partij dacht, bewoog en reageerde op falen gedurende de loop van een competitie.
Wat ze vonden, was een duidelijke kloof in hoe de twee groepen het probleem benaderden. De menselijke experts bewogen met een vloeiend, aanpasbaar ritme. Ze besteedden tijd aan het opschonen van data, schakelden dan over naar het testen van een nieuw model, namen vervolgens even afstand om hun resultaten te verifiëren, en soms, wanneer ze tegen een muur aanliepen, gingen ze terug naar een idee dat ze dagen eerder hadden verworpen. Ze beschouwden het proces als een reeks experimenten en waren bereid om volledig van koers te veranderen wanneer het bewijs suggereerde dat een nieuw pad nodig was. De geautomatiseerde agenten gedroegen zich daarentegen alsof ze gevangen zaten in één enkele kamer. Eén type agent, dat vertrouwde op een standaard command-line interface, besteedde bijna al zijn tijd aan het maken van kleine, repetitieve aanpassingen aan een enkele oplossing die hij al had gevonden, zoals het constant opnieuw afwegen van dezelfde ingrediënten zonder ooit een nieuw recept te proberen. Het andere type agent, dat een zoekmethode gebruikte om tegelijkertijd veel variaties uit te proberen, veranderde constant zijn model, maar slaagde er niet in om die veranderingen te consolideren tot een coherente strategie. Het sprong zo frequent van de ene naar de andere gedachte dat het nooit echte grond won, en het keerde bijna nooit terug naar een eerdere aanpak om te zien of deze verbeterd kon worden.
De onderzoekers ontdekten dat de agenten niet alleen langzamer waren; ze misten een cruciale menselijke capaciteit: het vermogen om te onthouden en te herbezoeken. Wanneer een menselijke expert besefte dat een huidig pad een doodlopende weg was, kon hij terugkijken op zijn geschiedenis, een veelbelovende doodlopende weg van eerder die dag vinden en proberen die te repareren. De agenten leken echter geen geheugen te hebben van hun eigen geschiedenis. Ze konden herstellen van een slechte score door het huidige model te verfijnen, maar ze konden geen lijn van werk die zij opzij hadden gezet, opnieuw openen. Dit gebrek aan geheugen betekende dat ze constant het wiel opnieuw uitvonden of in dezelfde sporen bleven hangen, niet in staat om voort te bouwen op de lessen van hun eigen eerdere pogingen. De studie toonde aan dat hoewel de agenten in sommige gevallen sneller van tegenslagen konden herstellen dan mensen, ze de strategische geduld misten om een falende strategie op te geven en later terug te keren naar een betere.
Om te testen of dit gedrag simpelweg een kwestie was van de agenten betere instructies geven, probeerden de onderzoekers een nieuwe aanpak. Ze creëerden een reeks richtlijnen gebaseerd op hoe de menselijke experts daadwerkelijk werkten, waarbij ze de agenten instrueerden om te schakelen tussen verschillende soorten taken, om te stoppen met het steeds opnieuw aanpassen van hetzelfde ding, en om vaker nieuwe modellen te proberen. Wanneer ze deze instructies aan de agenten gaven, veranderde het gedrag wel, maar slechts op specifieke manieren. De agenten begonnen de regels te volgen over wanneer ze van taak moesten wisselen en hoe ze een team van modellen moesten opbouwen, en hun scores verbeterden in verschillende competities. Echter, het onderliggende ritme van hun werk bleef onveranderd. Ze keerden nog steeds niet terug naar oude ideeën en bezaten nog steeds niet het diepe, flexibele geheugen dat mensen in staat stelt om door de lange uren van ontwikkeling te navigeren. De instructies konden de agenten vertellen wat ze moesten doen, maar ze konden hen niet leren hoe ze over hun eigen geschiedenis moesten nadenken.
De studie concludeert dat de kloof tussen menselijke en kunstmatige intelligentie op dit gebied niet alleen gaat over ruwe rekenkracht of het vermogen om code te schrijven. Het gaat over de architectuur van de zoektocht zelf. De agenten missen het vermogen om hun eigen verleden te behandelen als een bron die kan worden geëxploiteerd, in plaats van slechts een lijst met stappen die moeten worden uitgevoerd. Hoewel een eenvoudige set instructies enkele oppervlakkige gedragingen kan oplossen, vereist het diepere probleem een fundamentele verandering in hoe deze systemen worden ontworpen. Ze hebben een manier nodig om hun reis te onthouden, te herkennen wanneer ze in een lus vastzitten, en het vertrouwen te hebben om terug te gaan en een ander pad te proberen. Tot die tijd zullen ze krachtige instrumenten blijven die een kaart kunnen volgen, maar zullen ze moeite hebben om de ontdekkingsreizigers te zijn die de kaart zelf tekenen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.