Deep Learning Models Also Recall Features

Deep learning-modellen, de krachtige motoren achter moderne kunstmatige intelligentie, worden vaak beschreven als uitgestrekte netwerken die leren door eenvoudige patronen op te stapelen tot complexe ideeën. Jarenlang hebben wetenschappers deze systemen begrepen door een specifieke lens: het idee van kenmerkcombinatie (feature combination). In dit perspectief werkt een neuraal netwerk als een bouwploeg die basisbouwstenen neemt—zoals randen in een afbeelding of eenvoudige klanken in een zin—en deze hiërarchisch assembleert tot hogere concepten zoals een gezicht of een woord. Dit kader is ongelooflijk nuttig geweest voor het verklaren van hoe machines patronen herkennen, vergelijkbaar met hoe een kind leert een kat te identificeren door eerst oren, dan vacht en uiteindelijk het hele dier op te merken. Deze visie worstelt echter met het verklaren van momenten waarop een model niet alleen een patroon herkent, maar ook een specifiek, gedetailleerd feit uit het niets lijkt te trekken. Wanneer een groot taalmodel wordt gevraagd een biografie van een beroemd persoon te schrijven, zit het antwoord niet verborgen in de vraag wachtend om geassembleerd te worden; het lijkt erop dat het model een opgeslagen geheugen ophaalt. Een nieuw artikel van Pierre Beckmann betoogt dat deze ophaalactie geen uitzondering is op de regel van patroonassemblage, maar een fundamentele, afzonderlijke operatie die over het hoofd is gezien. Beckmann stelt een nieuw concept voor genaamd "kenmerkherinnering" (feature recall), waarmee hij suggereert dat deep learning-modellen meer doen dan alleen inputs combineren; ze fungeren ook als bibliotheken die informatie ophalen op basis van een enkele trigger.

Het artikel begint met het onderzoeken van hoe deze modellen met feiten omgaan, een fenomeen dat al is waargenomen in recent onderzoek maar niet volledig wordt verklaard door het oude kader. Om het mechanisme te begrijpen, moet men kijken naar de interne werkruimte van het model, de zogenaamde residuële stroom (residual stream). Stel je deze stroom voor als een continue informatiestroom waarbij het begrip van het model van een zin of afbeelding laag voor laag wordt opgebouwd. Terwijl data door het netwerk beweegt, voegen verschillende delen van het systeem kleine aanpassingen toe aan deze stroom, waardoor effectief nieuwe details op een gedeeld whiteboard worden geschreven. Deze aanpassingen worden gestuurd door specifieke richtingen in de interne ruimte van het model, die de auteur vergelijkt met schuifregelaars. Elke schuifregelaar vertegenwoordigt een bepaat kenmerk, zoals het concept van een specifiek persoon of een specifiek object. Wanneer het model een input verwerkt, past het deze schuifregelaars aan, waarbij het ze omhoog of omlaag zet om te reflecteren wat aanwezig is.

De cruciale inzichten in Beckmanns werk liggen in hoe het model deze schuifregelaars gebruikt om antwoorden te genereren. In de traditionele visie van kenmerkcombinatie kijkt het model naar een verzameling inputs en mengt deze samen om een nieuwe output te creëren. Maar in het geval van feitelijke herinnering werkt het proces anders. Hier fungeert een specifieke input als een sleutel die een vooraf opgeslagen set informatie ontgrendelt. Het artikel illustreert dit met het voorbeeld van de naam "Michael Jordan". Wanneer het model deze naam tegenkomt, combineert het niet louter de letters of klanken om een nieuw idee te vormen. In plaats daarvan triggert de activatie van het "Michael Jordan"-kenmerk een directe ophaalactie van geassocieerde feiten die in de gewichten van het model zijn opgeslagen, zoals "speelt basketbal" of "Chicago Bulls". De gewichten van het model, de geleerde parameters die de kennis definiëren, fungeren als een depot. Wanneer het juiste kenmerk wordt geactiveerd, schaalt het een specifieke rij van deze opgeslagen waarden op, waardoor de relevante feiten in de huidige context worden getrokken. Dit staat los van het constructieproces van kenmerkcombinatie; het is een ophaalproces waarbij de input dient als een trigger voor informatie die al binnen het systeem bestaat.

Beckmann betoogt dat dit mechanisme niet beperkt is tot taalmodellen of feiten over mensen. Hij suggereert dat kenmerkherinnering een algemene operatie is die van toepassing is op alle deep learning-architecturen, inclusclusief die gebruikt voor beeldherkenning. Om dit te demonstreren, contrasteert hij het ophaalproces met het klassieke voorbeeld van een convolutioneel neuraal netwerk dat een cirkel in een afbeelding detecteert. In dat scenario combineert het netwerk lagere kenmerken, zoals curven en lijnen, om een vorm te identificeren. De gewichten definiëren in dat geval welk patroon gezocht moet worden. Bij kenmerkherinnering definiëren de gewichten echter welke informatie opgehaald moet worden zodra een patroon is gevonden. Als een model dat getraind is op handgeschreven cijfers een ronde vorm detecteert, kan het die detectie gebruiken om te herinneren dat het cijfer waarschijnlijk een nul, zes, acht of negen is. Het input-kenmerk — de cirkel — triggert de ophaalactie van deze specifieke mogelijkheden. Het artikel stelt dat terwijl kenmerkcombinatie uitlegt hoe modellen complexiteit opbouwen, kenmerkherinnering uitlegt hoe ze toegang krijgen tot de enorme hoeveelheden informatie die ze hebben geleerd, waardoor ze rijke, gedetailleerde outputs kunnen produceren vanuit zeer schaarse inputs.

De auteur adresseert ook een mogelijke verwarring: aangezien de wiskunde achter deze operaties op twee verschillende manieren kan worden bekeken, is het onderscheid echt of slechts een kwestie van perspectief? Wiskundig gezien kan dezelfde berekening worden beschreven als het combineren van inputs of het ophalen van opgeslagen rijen. Beckmann erkent deze ambiguïteit, maar betoogt dat het onderscheid betekenisvol is als we naar de structuur van de verbindingen kijken. Hij stelt een manier voor om de twee uit elkaar te houden door te meten hoe geconcentreerd de verbindingen zijn. Bij kenmerkcombinatie dragen veel inputs bij aan een enkele output, wat een dicht web van verbindingen creëert. Bij kenmerkherinnering domineert een enkele input de output, wat een ijle (sparse) verbinding creëert waarbij één trigger een specifieke set opgeslagen associaties naar voren haalt. Het artikel suggereert dat onderzoekers dit verschil in connectiviteit kunnen gebruiken om te identificeren welke delen van een model fungeren als ophaalsystemen en welke fungeren als constructiesystemen. Hoewel dit nog niet in elk geval volledig bewezen is, schetst de auteur hoe een dergelijke test uitgevoerd zou kunnen worden, wat een pad biedt voor toekomstig onderzoek om te bepalen of dit werkelijk gescheiden operationele modi zijn.

Buiten de technische mechanica biedt het artikel een nieuwe manier om na te denken over wat deze modellen "weten". De auteur trekt een parallel tussen het menselijk geheugen en de interne staat van het model. Hij suggereert dat de informatie die in de gewichten is opgeslagen, en die alleen wordt opgehaald wanneer deze getriggerd wordt, lijkt op een dispositionele overtuiging (dispositional belief) — een stuk kennis dat bestaat zelfs wanneer het niet wordt gebruikt. Dit contrasteert met de actieve informatie die aanwezig is in de huidige verwerking van het model, wat vergelijkbaar is met een occurrente overtuiging (occurrent belief). Door tussen deze twee te onderscheiden, biedt het artikel een kader voor filosofen en wetenschappers om het karakter van geloof en kennis in kunstmatige systemen beter te begrijpen. Het suggereert dat deze modellen niet alleen data verwerken op het moment zelf; ze dragen een staande dispositie van feiten en associaties die op elk gewenst moment kan worden opgeroepen.

Uiteindelijk claimt het artikel niet dat kenmerkherinnering de idee van kenmerkcombinatie vervangt. In plaats daarvan presenteert het het als een noodzakelijke aanvulling. Net zoals een bibliotheek zowel de boeken (de opgeslagen informatie) als het proces van het lezen ervan (het ophalen) bevat, vertrouwen deep learning-modellen waarschijnlijk op zowel het combineren van kenmerken om nieuwe inputs te begrijpen als het herinneren van opgeslagen kenmerken om gedetailleerde reacties te genereren. Het werk nodigt onderzoekers uit om verder te kijken dan de constructie van patronen en de ophaalactie van opgeslagen kennis te herkennen als een fundamentele operatie. Door dit te doen, opent het nieuwe vragen over hoe deze modellen leren, hoe ze informatie opslaan en hoe we hun interne werking kunnen interpreteren. Het onderscheid blijft een hypothese die verdere empirische toetsing vereist, maar het biedt een helderder, intuïtiever beeld van hoe kunstmatige intelligentie de verrassende en gedetailleerde outputs kan produceren die haar meest geavanceerde toepassingen kenmerken.