Distance Is Not Enough: Forget-Retain Alignment Gap Predicts LLM Relearning Robustness

In het digitale tijdperk worden modellen voor kunstmatige intelligentie getraind op enorme oceanen van data, waarbij ze leren schrijven, redeneren en creëren door patronen te absorberen uit alles wat ze lezen. Soms is er echter een noodzaak om deze modellen specifieke informatie te laten vergeten, of dat nu is om de privacy te beschermen, auteursrechtelijk beschermd materiaal te verwijderen of schadelijke vooroordelen te corrigeren. Dit proces, bekend als machine unlearning, heeft als doel om de invloed van bepaalde data chirurgisch te verwijderen, terwijl de algemene kennis en vaardigheden van het model intact blijven. De uitdaging ligt in het feit dat deze modellen ongelooflijk veerkrachtig zijn; zelfs nadat onderzoekers denken dat ze een stuk informatie succesvol hebben gewist, kan het model het vaak zeer snel opnieuw aanleren als het wordt blootgesteld aan een kleine hoeveelheid nieuwe trainingsdata. Deze kwetsbaarheid roept een kritische vraag op: hoe kunnen we bepalen of een model echt iets vergeten is, of dat het alleen maar doet alsof totdat het een kans krijgt om het te herstellen?

Een team onderzoekers van KAIST en de Universiteit van Tokio heeft een nieuwe manier voorgesteld om dit probleem te begrijpen, door te suggereren dat de gebruikelijke methode om succes te meten fundamenteel gebrekkig is. Voor een tijdje was de standaardbenadering om te beoordelen of een model succesvol had geleerd vergeten, het meten van hoe ver de interne instellingen waren verschoven ten opzichte van hun oorspronkelijke staat. De logica was simpel: als het model aanzienlijk was veranderd, moest het de data vergeten zijn. Echter, de onderzoekers ontdekten dat deze maatstaf voor afstand misleidend kan zijn. Een model zou massale, chaotische veranderingen kunnen ondergaan die het vermogen om correct te functioneren vernietigen, en toch lijken te zijn bewogen over een grote afstand vanaf het startpunt. In dergelijke gevallen zou het model er robuust uit kunnen zien omdat het veranderd is, maar het is in werkelijkheid ingestort, waarbij het nuttige kennis samen met de ongewenste data heeft verloren.

De onderzoekers stellen dat echte robuustheid niet voortkomt uit hoe ver een model beweegt, maar uit waar het naartoe beweegt. Ze ontdekten dat voor een model om het aanleren opnieuw te weerstaan, de wijzigingen die aan het model worden aangebracht zeer selectief moeten zijn. Het model moet de specifieke delen van zijn brein aanpassen die verantwoordelijk zijn voor de informatie die vergeten moet worden, terwijl de delen die de informatie die het moet behouden verwerken, zorgvuldig intact worden gelaten. Als de veranderingen willekeurig verspreid zijn of de nuttige delen van het model beschadigen, kan de vergeten informatie gemakkelijk terugkeren. Om dit idee te testen zonder daadwerkelijk te proberen het model opnieuw te trainen, ontwikkelde het team een nieuw instrument genaamd de Forget-Retain Alignment Gap. Dit instrument werkt als een diagnostische controle die naar de structuur van de wijzigingen kijert die aan het model zijn aangebracht. Het scoort of de aanpassingen gericht waren op de juiste doelen, wat effectief voorspelt of het model stand zal houden tegen een aanval die ontworpen is om het weer te laten herinneren aan de vergeten data.

Met dit nieuwe perspectief hebben de onderzoekers een methode ontwikkeld genaamd Forget-Retain Pruning. In plaats van brede, alomvattende veranderingen aan het model aan te brengen, identificeert deze methode zorgvuldig en verwijdert zij alleen de verbindingen die cruciaal zijn voor de ongewenste informatie, waardoor de rest van het model onaangetast blijft. Wanneer zij deze aanpak van selectieve pruning testten, vonden zij dat modellen die met deze methode waren behandeld, veel moeilijker te misleiden waren om de vergeten data opnieuw aan te leren. In experimenten met standaard benchmarks behielden deze modellen hun vermogen om te vergeten, terwijl ze hun algemene prestaties stabiel hielden. De resultaten toonden aan dat de nieuwe methode bestaande technieken overtrof, die vaak vertrouwden op het gebrekkige idee om het model zo ver mogelijk van zijn oorspronkelijke staat weg te bewegen.

De studie suggereert dat de sleutel tot het laten vergeten door kunstmatige intelligentie niet gaat over hoeveel je het verandert, maar over hoe precies je het verandert. Door te focussen op de specifieke paden die de ongewenste informatie dragen en de rest te sparen, kunnen onderzoekers modellen creëren die werkelijk veiliger zijn tegen het opnieuw aanleren. Deze bevinding verschuift de focus van een eenvoudige meting van afstand naar een meer genuanceerd begrip van hoe informatie wordt opgeslagen en geraadpleegd binnen deze complexe systemen. De onderzoekers hebben hun tools en code publiekelijk beschikbaar gesteld, zodat anderen deze bevindingen kunnen verifiëren en deze selectieve aanpak kunnen toepassen op toekomstige uitdagingen op het gebied van AI-veiligheid en privacy.