Representational change under post-hoc edits mostly reflects relocation rather than destruction of information
Dit artikel toont aan dat de representatieve veranderingen veroorzaakt door post-hoc bewerkingen primair een verplaatsing van informatie naar nieuwe coördinaten weerspiegelen in plaats van de permanente vernietiging ervan, aangezien nieuwe sondes vaak factoren kunnen herstellen die verloren lijken te zijn voor de oorspronkelijke uitlettings, waarbij totaal informatieverlies pas optreedt onder extreme omstandigheden zoals representatieve instorting.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie leren computers door interne kaarten van de wereld op te bouwen. Wanneer een systeem wordt getraind om een kat of een getal te herkennen, creëert het een complexe, meerdimensionale representatie van dat object, waarbij de details worden opgeslagen in een specifieke arrangement van getallen. Wetenschappers maken zich al lang zorgen dat wanneer deze systemen gevraagd wordt iets nieuws te leren, of wanneer onderzoekers proberen hun geheugens te bewerken om een specifieke feit of vooroordeel te verwijderen, de oude informatie versnipperd kan raken. De heersende angst is geweest dat als de interne kaart aanzienlijk verschuift, de oorspronkelijke data wordt vernietigd, voor altijd verloren in de chaos van de update. Deze angst drijft veel onderzoek naar "machine unlearning" en "continual learning", velden die zich richten op het helpen van AI om te adapteren zonder het verleden te vergeten of om het schoon te schrapen van schadelijke associaties. De centrale vraag is altijd geweest: wanneer de kaart beweegt, is de schat er dan nog steeds, of is hij begraven?
Een recente studie door Sajib Hossain aan de North South University daagt deze aanname uit met een zorgvuldig, gecontroleerd onderzoek. De onderzoeker zette zich in om te testen of een grote verandering in de interne kaart van een computer daadwerkelijk betekent dat informatie is vernietigd, of dat het simpelweg naar een nieuwe locatie is verplaatst. Om het antwoord te vinden, gebruikte het team een reeks digitale testbedden waar de grondwaarheid bekend was. Ze begonnen met een model dat getraind was op een dataset van eenvoudige, gegenereerde vormen, waarbij elke variabele zoals grootte, positie en vorm perfect gedefinieerd was. Vervolgens pasten ze twee verschillende soorten bewerkingen toe: één die het model dwong een onjuiste overtuiging te herzien die het koesterde, en een andere die probeerde een specifiek concept volledig te wissen. In beide gevallen observeerden de onderzoekers wat er met de informatie gebeurde met behulp van een slim diagnostisch hulpmiddel. Ze vergeleken de prestaties van een "bevroren" readout — een test die getraind was op de oude kaart en ongewijzigd bleef — tegen een "verse" readout, die vanaf nul opnieuw was getraind op de nieuwe, verschoven kaart.
De resultaten onthulden een patroon dat de algemene intuïtie tegenspreekt dat grote veranderingen gelijkstaan aan grote verliezen. In de overgrote meerderheid van de gevallen faalde de bevroren readout, wat suggereerde dat de informatie weg was. Echter, de verse readout, getraind op de nieuwe coördinaten, herstelde de informatie bijna perfect. De data was niet vernietigd; het was verplaatst. De interne kaart was verschoven, waardoor de informatie naar een andere set getallen was verplaatst, maar de informatie zelf bleef intact en volledig toegankelijk. Dit fenomeen hield stand, zelfs toen de onderzoekers het concept testten op complexere, real-world afbeeldingen, zoals handgeschreven cijfers en foto's van objecten. In deze moeilijkere tests bewoog de interne kaart nog verder, en de oude readout brak ernstiger af, maar een verse readout slaagde er nog steeds in de oorspronkelijke nauwkeurigheid te herstellen. De informatie overleefde de reis, zelfs als het pad om haar te vinden was veranderd.
De studie identificeerde echter ook de precieze condities waaronder informatie daadwerkelijk verloren gaat. De onderzoekers ontdekten dat totale vernietiging niet simpelweg gebeurt omdat de kaart beweegt of omdat het systeem gevraagd wordt om veel tegenstrijdigheden te leren. In plaats daarvan gaat informatie alleen verloren wanneer de interne kaart zelf instort. Deze instorting vindt plaats wanneer het systeem wordt gepusht met een excessieve leersnelheid, waardoor de variëteit en spreiding van zijn interne getallen krimpt tot ze verdwijnen. In deze specifieke, hoogwaardige scenario's verdwijnt de informatie werkelijk. Maar zolang de interne structuur gezond en gevarieerd blijft, is de informatie veilig, slechts wachtend om gevonden te worden op zijn nieuwe locatie.
De studie onthulde ook een nuance met betrekking tot hoe informatie wordt gewist. Wanneer onderzoekers een wiskundige techniek gebruikten om een specifiek concept te verwijderen, ontdekten zij dat hoewel het concept onmogelijk detecteerbaar werd met een eenvoudige, lineaire test, het vaak wel herstelbaar bleef door een complexere, niet-lineaire test. Dit suggereert dat de informatie niet werd gewist, maar eerder verborgen in een meer ingewikkelde arrangement. Interessant genoeg was dit gedeeltelijke verlies niet uniform; het hing sterk af van het specifieke type informatie dat werd doelwit gesteld. Zo was de informatie over de grootte van een object bijvoorbeeld kwetsbaarder voor dit gedeeltelijke verlies dan de informatie over de vorm of positie van het object. De onderzoekers ontdekten ook dat de omvang van de verandering in de kaart een slechte indicator is voor hoeveel informatie verloren is gegaan. Een massale verschuiving kon de informatie perfect intact laten, terwijl een kleine verschuiving soms gepaard kon gaan met een totale instorting, afhankelijk van de gezondheid van de interne structuur van het systeem.
Deze bevindingen bieden een nieuwe manier om te begrijpen hoe kunstmatige intelligentiesystemen evolueren en hoe zij bewerkt kunnen worden. De studie suggereert dat wanneer de interne representatie van een systeem verandert, men niet moet aannemen dat de oude kennis weg is. In plaats daarvan moet de focus verschuiven naar het controleren van de gezondheid van de interne structuur van het systeem en het testen of de informatie kan worden hersteld met een frisse blik. Het onderzoek impliceert dat veel angsten over "catastrofaal vergeten" of de moeilijkheid van unlearning overdreven kunnen zijn, mits het systeem niet tot het punt van instorting wordt gepusht. Het dient ook als een waarschuwing voor degenen die proberen gevoelige data uit AI-modellen te verwijderen: alleen omdat een eenvoudige test een concept niet langer kan vinden, betekent dit niet dat het is verwijderd. De informatie kan er nog steeds zijn, verplaatst en wachtend om herontdekt te worden door een meer geavanceerde sonde. Uiteindelijk verheldert het werk dat beweging niet hetzelfde is als verlies, en dat de stabiliteit van het geheugen van een AI minder afhangt van hoeveel het verandert en meer van de vraag of de interne fundering solide blijft.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.