SkillAlchemy: Open-World Agent Skill Creation
SkillAlchemy is een nieuw framework dat de creatie van open-world agent-vaardigheden automatiseert door impliciete vereisten te identificeren via contrastief bewijs en bron-gegronde procedures te compileren, waarbij het prestaties bereikt die vergelijkbaar zijn met door mensen gecureerde vaardigheden en bestaande baselines op de SkillsBench significant overtreft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie is er een groeiend onderscheid tussen wat een computermodel weet en wat het daadwerkelijk kan doen. Large language models worden getraind op enorme bibliotheken van tekst, wat hen een breed, algemeen begrip van de wereld geeft. Echter, wanneer ze gevraagd wordt om een specifieke, meerstaps taak uit te voeren — zoals het analyseren van een complexe dataset of het navigeren door een gespecialiseerde softwareomgeving — struikelen ze vaak omdat ze de precieze, stapsgewijze instructies missen die nodig zijn voor die specifieke baan. Om deze kloof te overbruggen, hebben onderzoekers het concept van "vaardigheden" (skills) ontwikkeld. Beschouw een vaardigheid niet als een nieuwe stuk kennis, maar als een herbruikbare tool of een vooraf geschreven handleiding die een agent kan laden om een specifieke workflow af te handelen. Deze vaardigheden stellen een AI in staat om verder te gaan dan zijn algemene training en gespecialiseerde procedures uit te voeren, vergelijkbaar met een timmerman die een specifieke beitel oppakt voor een delicate snede, in plaats van te proberen een spijker in te slaan met een schroevendraaier. Om deze tools nuttig te laten zijn, moeten ze betrouwbaar, nauwkeurig en toepasbaar zijn op een breed scala aan situaties, en niet alleen op de enkele voorbeelden waarop ze zijn gebouwd.
De uitdaging is echter geweest hoe men deze vaardigheden creëert wanneer de taak onbekend is. Traditioneel vereiste het creëren van een vaardigheid dat een menselijke expert de handleiding vanaf nul schreef, of dat de AI leerde van een verslag van eerdere succesvolle pogingen. Maar wat gebeurt er wanneer de taak nieuw is, er geen menselijke expert beschikbaar is, en er geen eerdere pogingen bestaan om te bestuderen? In dergelijke gevallen is de benodigde informatie vaak verspreid over het open internet in de vorm van documentatie, code-repositories en forumdiscussies. Het probleem is dat deze informatie rommelig is. Het is vaak geschreven voor een specifiek persoon, voor een specifiek moment, of voor een specifieke computeropstelling. Het bevat verborgen aannames en lokale details die niet van toepassing zijn op de algemene taak die voorhanden is. Als een AI deze instructies simpelweg kopieert, creëert het vaak een tool die te rigide is, waardoor het faalt zodra de situatie licht verandert.
Een team van onderzoekers heeft een nieuwe aanpak voorgesteld om dit probleem op te lossen, genaamd SkillAlchemy. In plaats van het internet te behandelen als een bibliotheek van kant-en-klare antwoorden, behandelen zij het als een bron van ruwe bewijslast die zorgvuldig onderzocht en getest moet worden voordat het een bruikbare tool kan worden. Hun methode begint met een eenvoudige, vaak vage vraag naar een vaardigheid, zoals "een reis plannen" of "een model kalibreren". In plaats van onmiddellijk naar een oplossing te zoeken, vraagt het systeem eerst wat er ontbreekt aan die aanvraag. Het identificeert de verborgen vereisten die de menselijke prompt niet heeft vermeld, zoals de noodzaak om budgetlimieten te controleren of te verifiëren of een specifiek bestandsformaat compatibel is met de gebruikte software. Door deze ontbrekende stukken om te zetten in specifieke vragen, weet het systeem precies waar het naar moet zoeken in de enorme oceaan van online informatie.
Zodra het systeem weet waar het naar moet zoeken, verzamelt het informatie uit diverse bronnen, maar het accepteert niet alles wat het vindt. De onderzoekers hebben een rigoureus proces ontworpen om te beslissen welke stukken informatie betrouwbaar genoeg zijn om opgenomen te worden in de uiteindelijke vaardigheid. Het systeem zoekt naar bewijs dat een procedure ondersteunt in verschillende situaties. Als een methode alleen werkt voor één specifiek type computer of één specifieke set gegevens, herkent het systeem dit als een lokaal voorbeeld en houdt het apart van de hoofdinstructies. Het promoot een procedure pas tot een algemene regel als het bewijs aantoont dat het betrouwbaar werkt in meerdere contexten. Dit proces fungeert als een filter, dat de universele principes scheidt van de tijdelijke details. Het systeem compileert vervolgens de goedgekeurde instructies in een gestructureerd pakket, compleet met duidelijke stappen, veiligheidscontroles en verwijzingen naar het bewijs dat elke beslissing ondersteunt.
De onderzoekers testten deze methode op 87 verschillende taken, variërend van software engineering en kantoorwerk tot financiële analyse en wetenschappelijke computing. Ze vergeleken hun systeem met verschillende andere methoden, waaronder die die vertrouwen op door mensen geschreven vaardigheden en die die geautomatiseerde tools gebruiken om direct instructies uit het internet te genereren. De resultaten toonden aan dat de nieuwe methode de geautomatiseerde baselines aanzienlijk overtrof. Wanneer de agents de door dit systeem gecreëerde vaardigheden gebruikten, voltooiden ze taken bijna 20 procentpunten vaker dan wanneer ze geen vaardigheden hadden. Belangrijker nog, het systeem presteerde vergelijkbaar met de door mensen gecureerde vaardigheden, die worden beschouwd als de gouden standaard. In het totaal bereikte het geautomatiseerde systeem een succespercentage dat 1,5 procentpunt hoger lag dan de door mensen gecureerde vaardigheden, hoewel statistische analyse aangeeft dat deze resultaten nauw met elkaar overeenstemmen. Daarnaast behaalde het systeem de hoogste algehele prestaties in drie van de vier geteste agent-model configuraties.
De studie onthulde ook waarom eerdere pogingen vaak faalden. Wanneer systemen simpelweg informatie van het web pakten zonder de reikwijdte te controleren, bevatten ze vaak instructies die te specifiek waren of gebaseerd waren op tegenstrijdig bewijs. Bijvoorbeeld, een vaardigheid zou een regel kunnen bevatten die alleen werkt op een specifieke versie van een softwareprogramma, waardoor de agent faalt wanneer die versie niet beschikbaar is. De nieuwe methode vermeed deze valkuilen succesvol door expliciet te controleren of een procedure werd ondersteund door bewijs in verschillende scenario's. Het bleek ook robuust te zijn bij het worden geconfronteerd met verwarrende of misleidende informatie. Wanneer de onderzoekers tegenstrijdige of irrelevante documenten in de zoekopdracht introduceerden, negeerde het systeem deze correct, terwijl andere methoden vaak het slechte advies in hun definitieve vaardigheden incorporeerden.
Dit werk suggereert een fundamentele verschuiving in hoe we intelligente agents kunnen bouwen. In plaats van te hopen dat een AI magisch leert hoe het een nieuwe baan moet uitvoeren, of te vertrouwen op mensen om elke handleiding te schrijven, kunnen we de AI leren om te handelen als een zorgvuldige onderzoeker. Het leert de juiste vragen te stellen, bewijs te verzamelen en te onderscheiden tussen een algemene regel en een lokaal uitzondering. Door de creatie van vaardigheden te funderen in geverifieerd bewijs in plaats van directe kopieeracties, produceert het systeem tools die zowel flexibel als betrouwbaar zijn. De onderzoekers vonden dat deze aanpak agents in staat stelt om onbekende taken met een niveau van competentie aan te pakken dat voorheen alleen mogelijk was met menselijke tussenkomst. Hoewel het systeem niet perfect is en nog steeds worstelt met sommige zeer gespecialiseerde mediataak, tonen de resultaten aan dat betrouwbare vaardigheidscréatie mogelijk is, zelfs wanneer de startinformatie incompleet is en de bronnen rommelig zijn. De sleutel ligt niet in het direct vinden van het perfecte antwoord, maar in het gedisciplineerde proces van verifiëren wat waar is en wat slechts een lokaal detail is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.