In de wereld van kunstmatige intelligentie hebben onderzoekers lang de kunst beheerst om computers te leren problemen op te lossen met duidelijke, goed-of-fout antwoorden. Als een machine wordt gevraagd een wiskundige vergelijking op te lossen of een regel code te schrijven, kan dit direct worden getest; het antwoord is ofwel correct, of het is dat niet. Deze helderheid heeft modellen in staat gesteld om snel te leren, waarbij ze hun vaardigheden verfijnen door eindeloze cycli van vallen en opstaan. Echter, de meest betekenisvolle interacties tussen mensen en machines vinden vaak plaats op gebieden waar geen enkel juist antwoord bestaat. Wanneer een computer optreedt als een tutor, een counselor of een creatieve partner, hangt de kwaliteit van zijn reactie af van context, emotie en culturele waarden. Is een stukje advies empathisch? Is een verhaalidee zowel origineel als gepast? Deze vragen zijn "zwak verifieerbaar", wat betekent dat ze niet gecontroleerd kunnen worden door een eenvoudige formule. Ze vereisen menselijk oordeel, wat traag, duur en moeilijk schaalbaar is. Zonder een betrouwbare manier om kwaliteit te verifiëren, is het aanleren van een kunstmatige intelligentie om uit te blinken in deze mensgerichte taken een hardnekkige flessenhals gebleven.

Een team van onderzoekers van de East China Normal University en de Hong Kong University of Science and Technology heeft een nieuwe manier voorgesteld om door deze onzekerheid te navigeren. Zij ontwikkelden een framework genaamd Agentic Data Evolution, of ADE, dat de creatie van trainingsdata niet behandelt als een eenmalige gebeurtenis, maar als een continu, levend proces. In plaats van een enorme lijst met antwoorden te genereren en te hopen dat de beste overleven, organiseert het systeem data in "snapshots" die in de loop van de tijd evolueren. Het gebruikt een team van gespecialiseerde kunstmatige intelligentie-agenten om een huidig antwoord te observeren, variaties voor te stellen en vervolgens alleen die wijzigingen streng te selecteren die een werkelijke verbetering vertegenwoordigen. Dit proces is ontworpen om te fungeren als een veiligheidsklep, om te voorkomen dat het systeem per ongeluk naar een slechtere prestatie afdrijft terwijl het probeert beter te worden. Door deze methode toe te passen op educatieve scenario's — specifiek gericht op hoe een tutor de waarden, emoties en creativiteit van een student kan ondersteunen — ontdekten de onderzoekers dat zij de kwaliteit van de reacties van de AI gestaag konden verhogen zonder dat een mens elke stap hoefde te controleren.

De kernuitdaging die het team aanpakte, is wat er gebeurt wanneer je probeert het gedrag van een AI te verbeteren bij taken waarbij je succes niet gemakkelijk kunt meten. In traditionele methoden genereren onderzoekers misschien veel variaties van een antwoord en kiezen de beste op basis van een snelle controle. Maar wanneer de criteria complex zijn, zoals "emotionele steun" of "creatieve innovatie", kan een snelle controle misleidend zijn. Een antwoord kan vloeiender of zelfverzekerder klinken, maar in werkelijkheid minder nuttige begeleiding bieden. De onderzoekers ontdekten dat zonder een zorgvuldig selectieproces, iteratieve verbeteringen kunnen leiden tot "stille regressies", waarbij het model in de loop van de tijd slechter wordt zonder dat iemand het merkt, omdat de veranderingen oppervlakkig positief lijken. Om dit op te lossen, bouwden zij een closed-loop systeem dat een gestage, voorzichtige evolutie nabootst.

Het proces begint met een set initiële vragen en antwoorden, die dienen als het startpunt. Het systeem gaat vervolgens een cyclus van observatie, variatie en selectie binnen. Eerst observeert een agent een specifieke vraag en het huidige antwoord, waarbij precies wordt geïdentificeerd waar de reactie tekortschiet op basis van specifieke doelen, zoals of het de gevoelens van een student respecteert of creatief denken aanmoedigt. Vervolgens genereert het systeem nieuwe versies van het antwoord. Dit doet het op twee manieren: één agent maakt kleine, zorgvuldige aanpassingen om directe zwakheden te herstellen zonder de algehele structuur te veranderen, terwijl een andere agent grotere risico's neemt en de reactie herstructureert om diepere problemen op te lossen. Dit creëert een kleine pool van kandidaten: het originele antwoord, een conservatieve revisie en een agressieve revisie.

Het meest cruciale deel van het systeem is de selectiefase, die fungeert als een strikte poortwachter. Voordat een nieuwe versie wordt geaccepteerd, wordt deze direct vergeleken met het origineel. Het systeem stelt een eenvoudige maar rigoureuze vraag: is deze nieuwe versie duidelijk beter? Als het bewijs dubbelzinnig is, of als de nieuwe versie slechts een klein beetje anders is maar niet definitief superieur, wijst het systeem de wijziging af en behoudt het het originele antwoord. Deze "steady-state" regel zorgt ervoor dat de data alleen vooruitgaat wanneer er bewijs is van verbetering, wat effectief werkt als een ratel die voorkomt dat de kwaliteit achteruitgaat. De afgewezen pogingen worden niet volledig weggegooid; de redenen voor hun falen worden vastgelegd en gebruikt om de volgende ronde van pogingen te sturen, wat het systeem helpt te leren wat het niet moet doen.

Om te testen of deze methode daadwerkelijk werkte, pasten de onderzoekers het toe op een dataset van 10.000 educatieve vragen en antwoorden, waarbij de focus lag op drie mensgerichte doelen: het helpen van studenten bij morele keuzes, het bieden van emotionele steun en het stimuleren van creatieve innovatie. Ze lieten het systeem door meerdere rondes van evolutie gaan, waardoor ze een reeks verbeterde datasets creëerden. Vervolgens maten ze de resultaten op drie verschillende manieren. Eerst keken ze naar de intrinsieke kwaliteit van de antwoorden door de geëvolueerde versies te vergelijken met de originelen. Ze ontdekten dat de antwoorden met elke ronde van evolutie aanzienlijk beter werden, waarbij het winpercentage van de verbeterde antwoorden steeg van 50 procent in de initiële set naar bijna 76 procent na enkele rondes.

Ten tweede testten ze of deze verbeteringen de AI-modellen daadwerkelijk hielpen wanneer ze aan het werk werden gezet. Ze trainden een taalmodel op de geëvolueerde data en testten dit op een aparte set van 300 vragen die het model nog nooit had gezien. De resultaten toonden een duidelijke transfer van vaardigheid: het model dat getraind was op de geëvolueerde data won 68,86 procent van de vergelijkingen tegen een model dat getraind was op de originele data. Dit bewees dat de verbeteringen niet slechts oppervlakkige veranderingen waren waar het systeem van hield, maar genuanteerde verbeteringen in hoe het model complexe educatieve taken afhandelde. Ten slotte, om er zeker van te zijn dat het systeem zichzelf niet voor de gek hield, lieten ze menselijke experts de antwoorden blind beoordelen. De experts gaven de voorkeur aan de geëvolueerde antwoorden in 66,11 procent van de gevallen, wat bevestigde dat het geautomatiseerde proces was afgestemd op het menselijk oordeel.

De studie onderzocht ook of deze winsten specifiek waren voor de educatieve taken of dat ze het model ook op andere gebieden hielpen. Ze testten het verbeterde model op wiskundeproblemen en de detectie van toxische taal, beide gebieden met duidelijke, objectieve antwoorden. Zelfs in deze ongerelateerde velden presteerde het op de geëvolueerde data getrainde model beter, wat een kleine maar consistente toename in nauwkeurigheid liet zien. Dit suggereert dat het proces van het zorgvuldig evolueren van data voor mensgerichte doelen de algehele redeneerkracht van het model versterkt en het beter laat aansluiten bij menselijke waarden, in plaats van het enkel te leren een specifieke tutoreerstijl na te bootsen.

De onderzoekers erkennen dat hun methode meer rekenkracht vereist dan simpelere benaderingen, omdat het meerdere agenten bevat die in een loop werken. Ze argumenteren echter dat deze kosten noodzakelijk zijn om het risico te vermijden dat het model afdrijft naar slechte prestaties. Door data te behandelen als iets dat kan evolueren en verfijnd kan worden over een langere periode, in plaats van een statische bron die eenmalig wordt gegenereerd, hebben zij een praktisch pad aangetoond voor het aanleren van de subtiele, contextafhankelijke vaardigheden die menselijke interactie definiëren aan kunstmatige intelligentie. Het werk suggereert dat voor de moeilijkste en belangrijkste taken de sleutel tot vooruitgang niet ligt in het genereren van meer data, maar in het evolueren van de data die we al hebben met geduld en precisie.