How to Realize Recursively Self-Improving Agents and Personal Singularity: A Goal-, Scope-, Tool-, and Benchmark-Driven Multi-Agent Architecture
Dit positionerings- en systeemontwerppapier stelt een beheerde multi-agent architectuur voor voor recursief zelfverbeterende agenten die een "persoonlijke singulariteit" bereikt — een begrensd doel van mens-AI co-ontwikkeling — door het formaliseren van doelcontracten, gesubjectiveerd instrumentgebruik en veiligheidsinvarianten om de capaciteiten van een gebruiker uit te breiden zonder controle of veiligheid in gevaar te brengen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente digitale assistent hebt die niet alleen opdrachten opvolgt, maar ook daadwerkelijk leert hoe hij beter kan leren. Dat klinkt als een sciencefictionfilm waarin de robot de macht overneemt, toch? Nou, dit paper is een blauwdruk voor het bouwen van die assistent, maar met een zeer strikte, zeer belangrijke draai: het is ontworpen zodat de menselijke baas nooit de controle verliest.
De auteur, Chengshuai Yang, zegt niet: "We hebben een robot gebouwd die zichzelf heeft gerepareerd en nu slimmer is dan wij." In plaats daarvan stelt hij een beheerde, multi-agent-system voor waarbij de computer de mens helpt om zijn eigen vaardigheden te ontwikkelen, in plaats van het werk simpelweg voor hem te doen. Ze noemen dit doel "Personal Singularity" (Persoonlijke Singulariteit), maar niet de soort waarbij iedereen versmelt tot één gigantisch brein. Denk er eerder aan als een persoonlijke sportschool voor je brein, waarbij de AI de trainer is die je helpt om zwaardere gewichten (jouw capaciteiten) te tillen, zonder de gewichten ooit van je af te pakken.
Het Grote Idee: Een Team, Geen Monarch
Het paper betoogt dat we niet één gigantische, almachtige "Main Agent" moeten bouien die alles doet. Dat is te riskant. In plaats daarvan stellen ze een specialistisch team voor van kleinere agents, elk met een specifieke taak, een specifieke set tools en een strikt regelboek.
Stel je een luxe keuken voor. Je hebt niet één chef die probeert groenten te snijden, biefstuk te grillen, een taart te bakken en de afwas te doen, terwijl hij ook nog eens het receptenboek herschrijft. Je hebt een Sous-Chef voor het snijden, een Patissier voor de taarten en een Sous-Chef voor het grillen. Elke eenheid heeft een specifiek "Scope Contract" (Bereikcontract). Als de Patissier wordt gevraagd om een biefstuk te grillen, raadt hij niet maar zegt hij: "Dat is niet mijn taak," en geeft hij de taak door aan de Grill-Chef. Dit voorkomt dat de keuken afbrandt omdat iemand iets probeerde te doen waarvoor hij niet getraind was.
Het "Twee-Snelheden"-Brein
Het systeem werkt op twee verschillende snelheden, zoals een auto met een snelle motor en een trage, voorzichtige monteur.
- De Snelle Loop (De Bestuurder): Dit is de agent die het eigenlijke werk doet. Hij plant, gebruikt tools en probeert een taak te voltooien (zoals een rapport schrijven of een programma coderen). Hij is snel en efficiënt.
- De Langzame Loop (De Monteur): Dit is het deel dat naar wat de bestuurder heeft gedaan kijkt en vraagt: "Hoe kunnen we dit de volgende keer beter doen?" Dit is waar de Recursive Self-Improvement (Recursieve Zelfverbetering) plaatsvindt. Maar hier zit de crux: de agent kan niet zijn eigen motor aanpassen terwijl hij rijdt. Hij moet een wijziging voorstellen, deze vastleggen in een sandbox (een veilige testomgeving), de wijziging door een batterij aan tests halen en een handtekening van een mens krijgen voordat hij toestemming krijgt om te upgraden.
Het paper suggereert dat deze "langzame loop" de manier is waarop de agent leert om te leren. Het is als een student die niet alleen antwoorden uit het hoofd leert, maar ook betere studiegewoonten ontdekt. De auteurs zijn echter duidelijk: dit is een voorstel, geen afgewerkt product. Ze hebben nog niet bewezen dat dit in de echte wereld werkt; ze ontwerpen de regels voor hoe het zou moeten werken om veilig te zijn.
De "Personal Singularity" Sportschool
De term "Personal Singularity" kan eng klinken, alsof er een robotopstand aan de gang is. Maar in dit paper betekent het iets veel meer nuchters: een mens helpen om zijn eigen persoonlijke limiet van wat hij kan te bereiken.
Stel je voor dat jouw "capability frontier" (capaciteitsgrens) een berg is die je wilt beklimmen. De AI is niet de helikopter die je naar de top vliegt. De AI is een klimpartner die het touw vasthoudt, de beste handgrepen aanwijst en je leert hoe je knopen legt. Het doel is dat jij sterker wordt. Als de AI het klimwerk voor je doet, ben je niet verbeterd; je bent dan simpelweg afhankelijk geworden. Het paper argumenteert expliciet tegen systemen die gebruikers lui of afhankelijk maken. De succesfactor is niet alleen "Is de taak voltooid?", maar "Kan de mens dit de volgende keer zelfstandig?"
De Veiligheidshekjes (De "Niet-Toegestane Zones")
Het paper is zeer strikt over wat de AI NIET mag doen. Het is als een videogame met een "God Mode" die permanent uit staat voor het speelkarakter.
- Geen Zelf-Redactie van de Regels: De agent kan zijn eigen veiligheidsregels, zijn permissies of zijn "kill switch" niet aanpassen. Hij kan niet besluiten: "Ik denk dat ik nu toegang tot het internet mag hebben," en dat dan gewoon doen.
- Geen Verborgen Replicatie: De agent kan niet stiekem kopieën van zichzelf maken om zich te verspreiden. Als hij een nieuwe "kind-agent" wil creëren, moet hij eerst toestemming vragen aan de menselijke eigenaar, en dat kind begint met een nieuwe identiteit en zonder toegang tot de geheimen van de ouder.
- Geen "Main" Agent Dictatuur: Er is geen enkele "baas"-agent die iedereen anders controleert. Elke agent is verantwoording schuldig aan de menselijke eigenaar.
De auteurs zijn zeer voorzichtig in hun bewering dat zij niet beweren dat de huidige AI veilig haar eigen code kan herschrijven of dat we het probleem van AI-veiligheid hebben opgelost. Ze suggereren een framework om deze experimenten testbaar en veilig te maken. Ze stellen dat het proberen te bouwen van een zelfverbeterende AI zonder deze strikte regels, hetzelfde is als een peuter leren hoe hij een bom moet ontmantelen.
Hoe het Werkelijk Werkt (De Blauwdruk)
Het paper legt een stapsgewijs plan voor, zoals een bouwplanning:
- Begin Klein: Bouw eerst een "Daily Working Agent" die saaie taken kan uitvoeren, zoals het organiseren van bestanden of het schrijven van e-mails, maar met strikte beperkingen op wat hij mag aanraken.
- Voeg Tools Toe: Geef hem een gereedschapskist, maar test elke tool eerst in een sandbox voordat hij deze op echte bestanden mag gebruiken.
- Voeg Leren Toe: Introduceer een "Learning Agent" die toekijkt hoe het werk wordt uitgevoerd en dit aan de mens uitlegt, zodat de mens het proces leert.
- Voeg Verbetering Toe: Pas nadat de eerste drie stappen robuust zijn, mag het systeem kleine verbeteringen voorstellen aan zijn eigen "brein" (zoals betere prompts of planningsstrategieën), maar alleen nadat deze strikte tests hebben doorstaan.
- Het Einddoel: Verbind uiteindelijk al deze onderdelen tot een "Personal Singularity OS" die een mens helpt bij het beheren van zijn werk, gezondheid en leren, waarbij de mens altijd aan het stuur zit.
De Kernboodschap
Dit paper is een ontwerpdocument, geen overwinningstocht. De auteur zegt: "Hier is een manier om een zelfverbeterende AI te bouwen die niet per ongeluk de wereld vernietigt of ons nutteloos maakt." Ze suggereren dat we, door de AI op te delen in kleine, gespecialiseerde teams, de mens in de loop te houden voor grote beslissingen, en te focussen op het slimmer maken van de mens in plaats van alleen het sneller maken van de machine, de voordelen van geavanceerde AI kunnen krijgen zonder de nachtmerries.
Ze beweren niet alles opgelost te hebben. Sterker nog, ze geven toe dat het meten van menselijke "groei" moeilijk is en dat we niet weten of dit in de echte wereld perfect zal werken. Maar ze bieden een routekaart om het uit te zoeken, één veilige stap tegelijk. Het is een oproep om AI te bouwen die ons helpt onze eigen bergen te beklimmen, in plaats van ons naar de top te dragen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.