ForgetBench: Benchmarking Forgetting Dynamics of Long-Term Parametric Memory in Language Models
Dit artikel introduceert ForgetBench, een nieuwe benchmark die is ontworpen om de langetermijnvergetingsdynamiek en de retentiestabiliteit van grote taalmodellen onder continue kennisbewerking systematisch te evalueren, waarbij wordt onthuld dat huidige methoden moeite hebben met het balanceren van effectieve kennisupdates met het behoud van eerder verworven informatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin je brein elke seconde een nieuw feit zou kunnen leren, maar dat je telkens wanneer je iets nieuws leert, per ongeluk een oude herinnering wist. Dit is niet alleen een sciencefictionnachtmerrie; het is een groeiende zorg voor de kunstmatige intelligenties die we Large Language Models (LLM's) noemen. Deze digitale breinen zijn ongelooflijk goed in het lezen van boeken en het voeren van gesprekken, maar ze worstelen met iets wat mensen van nature doen: het veilig bewaren van oude herinneringen terwijl er ruimte wordt gemaakt voor nieuwe. Wetenschappers bestuderen al lang hoe het menselijk geheugen werkt, waarbij ze een onderscheid maken tussen het "werkgeheugen" (waar je op dit moment aan denkt) en het "langetermijngeheugen" (feiten die je jarenlang hebt opgeslagen). Hoewel we weten hoe we deze AI-modellen nieuwe trucjes kunnen aanleren, begrijpen we niet volledig hoe ze omgaan met de rommelige zaak van het bijwerken van hun interne kennis in de loop van de tijd zonder alles te verliezen wat ze gisteren wisten. Als we willen dat AI een behulpzame levenslang metgezel is in plaats van een vergeetachtig vriendje dat constante herinneringen nodig heeft, moeten we uitzoeken hoe we hun geheugens kunnen laten blijven plakken.
Maak kennis met ForgetBench, een nieuwe "stress test" ontworpen door onderzoekers om precies te zien hoe en waarom AI-modellen dingen vergeten wanneer ze constant worden bijgewerkt. Zie ForgetBench niet als een simpele quiz, maar als een time-lapse camera voor het brein van een AI. In plaats van alleen te controleren of een AI een feit op dit moment kent, creëerden de onderzoekers een scenario waarin de AI een stroom van nieuwe informatie moet leren, één na de andere, zoals een student die een maand lang elke dag een nieuwe geschiedenistoets maakt. De grote vraag die ze stelden was: "Als we deze AI vandaag een nieuw feit leren, zal hij zich dan nog de feit herinneren die we hem een week geleden hebben geleerd, of zal de nieuwe les de oude hebben overschreven?"
Om dit te beantwoorden, bouwde het team twee verschillende soorten geheugenuitdagingen. De eerste, genaamd Concept-based QA, is als een spel met flashcards met geïsoleerde feiten. Stel je voor dat je tegen de AI zegt: "Donald Rodriguez is 22 jaar oud," en later: "Eigenlijk is Donald 79." De onderzoekers wilden zien of de AI de leeftijd kon aanpassen zonder in de war te raken of de leeftijden van andere mensen te vergeten. De tweede uitdaging, Scenario-based QA, lijkt veel meer op een complex rollenspel. Hier moet de AI relaties tussen personages bijhouden, zoals: "Wie volgde Bill Gates en retweette een bericht over ruimteverkenning?" Dit test of de AI een web van verbonden verhalen kan vasthouden of dat de nieuwe updates ervoor zorgen dat het hele verhaal instort.
De onderzoekers voerden deze tests uit op verschillende AI-modellen met diverse methoden om hun kennis bij te werken. Wat ze vonden, was een beetje een teleurstelling voor de huidige staat van AI: bestaande methoden zijn erg slecht in het vinden van de balans tussen de twee. Wanneer de modellen nieuwe feiten leerden, vergaten ze vaak de oude, of raakten ze zo in de war dat ze onzin begonnen te verzinnen. De studie mat dit met iets dat een "vergetelheidscurve" wordt genoemd, die bijhoudt hoe snel een herinnering vervaagt naarmate er meer nieuwe informatie wordt toegevoegd. Ze ontdekten dat voor de meeste huidige modellen de "halveringstijd" van een herinnering (de tijd die het kost voordat de AI de helft van wat hij leerde is vergeten) erg kort is. Met andere woorden: de AI is geweldig in leren nu, maar is slecht in het onthouden later.
Het artikel suggereert dat hoewel we heel goed zijn geworden in het aanleren van nieuwe dingen aan AI tijdens een enkele sessie, we het probleem nog niet hebben opgelost van hoe we die herinneringen over een lange periode van constante updates veilig kunnen houden. De onderzoekers hebben niet alleen een probleem gevonden; ze hebben een nieuwe manier geboden om het te meten, waarbij ze laten zien dat de huidige instrumenten voor het bijwerken van AI-kennis lijken op het proberen te schrijven van een nieuw hoofdstuk in een boek door de vorige pagina's uit te wissen. Totdat we betere "geheugenmechanismen" kunnen bouwen die AI in staat stellen om te groeien zonder het verleden te verliezen, zullen deze digitale breinen briljant maar ongelooflijk vergeetachtig blijven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.