JANUS: Foreseeing Latent Risk for Long-Horizon Agent Safety
Het artikel introduceert Janus, een op vooruitziendheid gericht framework dat een bewakingsmodel genaamd Vanguard traint om onveilige acties van agenten over een lange horizon te anticiperen en te blokkeren door gezamenlijk toekomstige risicovoorspelling en veiligheidsbeoordeling te optimaliseren, waarbij significante verbeteringen worden bereikt in zowel veiligheidsbescherming als veilige taakvoltooiing over meerdere benchmarks.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je kijkt naar een zeer slimme, zeer enthousiaste robotassistent die probeert je computer te repareren. Je vraagt de assistent om "je bestanden te organiseren" en het begint dingen te verplaatsen. In de wereld van kunstmatige intelligentie wordt dit een "agent" genoemd. Lange tijd hebben we ons zorgen gemaakt over deze agenten die onaardige dingen zeggen of slechte ideeën genereren. Maar nu krijgen deze agenten de kracht om daadwerkelijk dingen te doen—zoals bestanden verwijderen, e-mails sturen of instellingen wijzigen—is het gevaar niet alleen wat ze zeggen, maar wat ze doen. Het probleem is dat de slechte actie niet meteen plaatsvindt. Een agent kan tien stappen lang onschadelijke dingen doen, om pas op stap elf een kleine fout te maken die je hele harde schijf wist. Als je de veiligheid van de agent pas controleert nadat hij op "verwijderen" heeft gedrukt, is het te laat. Je hebt een manier nodig om de ramp te zien aankomen voordat de robot zelfs maar naar de knop reikt. Dit is de uitdaging van "long-horizon safety": het opsporen van het gevaar in de vroege stappen van een lang plan, voordat de schade daadwerkelijk plaatsvindt.
Maak kennis met Janus, een nieuw framework dat is ontworpen om een "glazen bol" te zijn voor AI-veiligheid. Denk aan Janus niet als een beveiligingsbeambte die je pas tegenhoudt nadat je al een koekje hebt geprobeerd te stelen, maar als een wijze mentor die naar je plan kijkt en zegt: "Hé, als je zo doorgaat, zul je over drie minuten de koekjespot omstoten. Laten we nu van koers veranderen." De onderzoekers achter Janus realiseerden zich dat om langetermijnrampen te stoppen, een AI-bewaker twee dingen tegelijk moet doen: kijken naar wat de agent nu doet, en zich voorstellen wat de agent waarschijnlijk daarna gaat doen.
Om deze glazen bol te leren de toekomst te zien, wachtte het team niet simpelweg af tot echte robots fouten zouden maken (wat riskant zou zijn). In plaats daarvan bouwden ze een enorme, gesimuleerde speeltuin waar ze duizenden "wat als"-scenario's konden creëren. Ze gebruikten een team van AI-agenten om verschillende rollen te spelen: de één speelde de gebruiker, een ander de omgeving, en een derde speelde de agent zelf. Ze genereerden meer dan 75.000 trainingsvoorbeelden, variërend van onschadelijke taken tot complexe, meerstapsplannen die langzaam in de problemen liepen. Sommige risico's kwamen voort uit verraderlijke instructies van de gebruiker, sommige uit verborgen data in bestanden, en sommige doordat de agent simpelweg in de war raaktede en uit zichzelf een slecht plan maakte.
De magie gebeurt in de trainingsmethode, die de auteurs CoAA-RL noemen. Stel je een student voor die leert schaken. Meestal leren ze alleen om te winnen of te verliezen. Maar met Janus heeft de student twee taken. Eerst moeten ze de volgende zetten van het spel anticiperen (de "Anticipation"-taak). Ten tweede moeten ze beoordelen of het spel veilig of gevaarlijk is op basis van die voorspelde zetten (de "Adjudication"-taak). Het slimme is dat deze twee taken aan elkaar gekoppeld zijn. De student krijgt alleen een goede score als hun voorspelling van de toekomst daadwerkelijk helpt om het juiste veiligheidsoordeel te vellen. Als ze een toekomst voorspellen die fout of nutteloos is, worden ze niet beloond. Dit dwingt de AI om alleen de toekomstdetails te voorspellen die relevant zijn voor veiligheid.
Het resultaat van deze training is een model genaamd Vanguard. Wanneer Vanguard een agent aan het werk ziet, wacht het niet simpelweg tot de agent iets slechts doet. In plaats daarvan pauzeert het, kijkt naar de geschiedenis van de agent en simuleert snel een paar stappen in de toekomst. Het vraagt zich af: "Als de agent op deze manier doorgaat, wat gebeurt er dan hierna?" Als de simulatie een ramp laat zien die in de lijn ligt, grijpt Vanguard in en stopt de agent voordat de slechte actie plaatsvindt.
De onderzoekers hebben Vanguard getest op vier verschillende veiligheidsbenchmarks, die fungeren als gestandaardiseerde examens voor AI-veiligheid. De resultaten waren veelbelovend. Vanguard slaagde er veel beter in om onveilige acties te blokkeren dan eerdere veiligheidsbewakers. Specifiek verbeterde het het gemiddelde beschermingspercentage met 15,9 procentpunt vergeleken met andere methoden. Nog beter is dat het de goede werkzaamheden niet in de weg zat; het hielp agenten zelfs om veilige, nuttige taken 5,1 procentpunt vaker te voltooien dan de baseline-bewakers. Dit suggereert dat door vooruit te kijken, Vanguard de sluipende, vertraagde risico's kan vangen die andere bewakers missen, terwijl het de robot wel zijn werk kan laten doen wanneer het veilig is.
De auteurs merken echter voorzichtig op dat dit een door simulatie gebaseerde doorbraak is. De trainingsdata werd gecreëerd in een gecontroleerde, gesimuleerde omgeving, niet door naar echte robots in de echte wereld te kijken. Hoewel de resultaten sterk zijn, suggereren ze dat deze aanpak zeer goed werkt voor de specifieke soorten risico's die zij hebben getest, maar we weten nog niet hoe het zal omgaan met elke mogelijke nieuwe truc die een agent in de echte wereld tegenkomt. Toch biedt Janus een krachtige nieuwe manier om over veiligheid na te denken: niet alleen reageren op fouten, maar ze voorzien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.