🤖 machine learning

HoReN: Normalized Hopfield Retrieval for Large-Scale Sequential Model Editing

Het artikel stelt HoReN voor, een schaalbaar modelbewerkingskader dat parameters behoudt en gebruikmaakt van een discrete sleutel-waarde-codeboek met hoekgelijkheid en gedempte Hopfield-attractordynamica om stabiele, hoogpresterende sequentiële kennisupdates te realiseren zonder het oorspronkelijke model te degraderen.

Oorspronkelijke auteurs: Yuan Fang, Yi Xie, Xuming Ran

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuan Fang, Yi Xie, Xuming Ran

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een enorme, ongelooflijk slimme bibliothecaris die bijna alles in de wereld heeft gelezen. Deze bibliothecaris is uitstekend in het beantwoorden van vragen, maar soms gebruikt hij verouderde informatie (zoals denken dat een film nog in de bioscoop draait, terwijl dat niet zo is) of verzonnen feiten.

Meestal moet je om een fout te herstellen de hele bibliothecaris vanaf nul opnieuw trainen. Dat is alsof je de bibliotheek een jaar sluit om de bibliothecaris alles opnieuw aan te leren. Het is te duur en riskant, omdat je ze misschien de vaardigheden laat vergeten waar ze al goed in waren.

Het Probleem: Het "Repareren"-Dilemma
Wetenschappers hebben twee hoofdmethoden geprobeerd om deze fouten te herstellen zonder de hele bibliothecaris opnieuw te trainen:

De "Chirurgie"-benadering: Je probeert chirurgisch de hersenen van de bibliothecaris (de gewichten van het model) te veranderen om één specifiek feit te corrigeren.
- De Haken: Als je dit te vaak doet, begin je de verkeerde draden door te snijden. De bibliothecaris raakt in de war, vergeet oude feiten of begint nieuwe hallucinaties te creëren. Het is alsof je probeert een horloge te repareren door telkens één tandwiel te vervangen; uiteindelijk loopt het hele mechanisme vast.
De "Aantekeningenboek"-benadering: Je laat de hersenen van de bibliothecaris met rust en geeft hen een aantekeningenboek (extern geheugen) waarin je correcties schrijft. Wanneer er een vraag wordt gesteld, controleert de bibliothecaris eerst het aantekeningenboek.
- De Haken: Het aantekeningenboek wordt rommelig. Als je schrijft "De hoofdstad van Frankrijk is Parijs" en later iemand vraagt "Wat is de hoofdstad van Frankrijk?" maar het anders formuleert ("Waar woont de Eiffeltoren?"), realiseert de bibliothecaris zich misschien niet dat het dezelfde vraag is. Ze kunnen zoeken naar de exacte zin "hoofdstad van Frankrijk" in het aantekeningenboek, de nieuwe formulering missen en het antwoord niet vinden. Dit heet een routeringsfout.

De Oplossing: HoReN
Het artikel introduceert HoReN (Genormaliseerde Hopfield-ophaling), een nieuwe manier om dit "aantekeningenboek" te beheren zodat het perfect werkt, zelfs na 50.000 bewerkingen.

Hier is hoe HoReN werkt, met eenvoudige analogieën:

1. De "Richting"-kompas (Normalisatie)

Stel je voor dat de hersenen van de bibliothecaris spreken in een taal van "vectoren" (pijlen).

Oude manier: Het aantekeningenboek keek naar zowel de richting waarin de pijl wees als hoe lang de pijl was. Als je een vraag stelde met een iets andere toon of lengte, zou de pijl dezelfde richting kunnen hebben maar een andere lengte, en zou de bibliothecaris denken dat het een totaal andere vraag was.
De manier van HoReN: HoReN negeert de lengte van de pijl en kijkt alleen naar de richting. Het normaliseert alles tot dezelfde grootte.
- Analogie: Denk aan een kompas. Of je het kompas nu dicht bij je borst houdt of ver weg, de naald wijst nog steeds naar het Noorden. HoReN zorgt ervoor dat "De hoofdstad van Frankrijk" en "Waar is de Eiffeltoren?" allebei precies dezelfde richting op het kompas wijzen, zodat de bibliothecaris weet dat het dezelfde vraag is.

2. Het "Magneet"-effect (Hopfield-dynamiek)

Zelfs met het kompas is er een klein gat. Als je een vraag op een heel andere manier stelt, kan de pijl bijna naar het Noorden wijzen, maar niet helemaal. Een standaard aantekeningenboek zou zeggen: "Dat is niet Noord, ik heb geen antwoord."

HoReN voegt een magneet toe.

Het Mechanisme: Voordat de bibliothecaris het aantekeningenboek controleert, geeft HoReN de vraag een kleine "magnetische trek" naar het juiste antwoord in het aantekeningenboek.
De Analogie: Stel je voor dat de juiste antwoorden in het aantekeningenboek diepe dalen (bekkens) zijn in een landschap. Als je een bal (je vraag) in de buurt van een dal laat vallen, rolt deze vanzelf naar beneden in het dal.
- Als de vraag een herschreven versie is van een bekend feit, trekt de magneet het zachtjes naar het juiste dal.
- Als de vraag volledig ongerelateerd is (zoals vragen over het weer), trekt de magneet het nergens naartoe; het blijft waar het is.
De Magie: HoReN doet deze "trek" slechts een keer. Als ze het te vaak zouden doen, zou de magneet zo sterk zijn dat elke vraag, zelfs de ongerelateerde, in de verkeerde dalen zou worden gezogen, wat chaos veroorzaakt. Eén zachte trek is het perfecte evenwicht.

3. Het Resultaat: Een Bibliotheek die Nooit Vergeet

Het artikel testte dit op een "stress-test" waarbij ze de bibliothecaris dwongen 50.000 nieuwe feiten achter elkaar te leren.

Andere methoden: De meeste methoden crashten na 10.000 bewerkingen. De bibliothecaris vergeet dan óf de oude feiten (catastrofaal vergeten) óf kon herschreven vragen niet herkennen (falen in generalisatie).
HoReN: Het bleef stabiel tot aan de 50.000 bewerkingen. Het kon de nieuwe feiten correct beantwoorden, herkende ze zelfs wanneer ze anders waren geformuleerd, en herinnerde zich nog steeds alles wat het daarvoor wist.

Samenvattend
HoReN is alsof je de bibliothecaris een super-slim, magnetisch aantekeningenboek geeft. Het negeert het "volume" van de vraag en richt zich op de "betekenis" (richting). Het gebruikt een zachte magnetische trek om herschreven vragen te helpen hun weg te vinden naar het juiste antwoord, maar stopt met trekken voordat ongerelateerde vragen in de war raken. Hierdoor kan het model eindeloos leren zonder te breken of te vergeten.

Technische Samenvatting: HoReN – Genormaliseerde Hopfield-terugroeping voor Grootschalige Sequentiële Modelbewerking

1. Probleemstelling

Grote Taalmodellen (LLM's) coderen een enorme hoeveelheid feitelijke kennis die onvermijdelijk verouderd of onjuist wordt na de implementatie. Het opnieuw trainen van modellen van begin tot eind voor elke correctie is onbetaalbaar duur en vormt het risico van catastrofaal vergeten van eerder verworven vaardigheden. Dit heeft geleid tot modelbewerking, een vakgebied dat zich richt op het bijwerken van specifieke gedragingen zonder de rest van het model te schaden.

De kernuitdaging die in dit artikel wordt aangepakt is levenslange sequentiële modelbewerking, waarbij een model een continue stroom van bewerkingen moet verwerken. Bestaande benaderingen vallen uiteen in twee paradigma's, die beide structurele zwaktes vertonen op schaal:

Methoden voor het aanpassen van parameters (bijv. ROME, AlphaEdit, UltraEdit): Deze methoden updaten direct de gewichten van het basismodel. Hoewel ze effectief zijn voor enkele bewerkingen, lijden ze onder catastrofaal vergeten naarmate bewerkingen zich ophopen. Op beperkingen gebaseerde oplossingen (zoals projectie op de nulruimte) slagen er niet in de richtingen van eerder toegepaste bewerkingen te dekken, wat leidt tot een achteruitgang van de localiteit (ongeachte invoer wordt beïnvloed) en betrouwbaarheid na verloop van tijd.
Methoden voor het behoud van parameters (bijv. GRACE, WISE): Deze methoden laten de basisgewichten bevroren en leiden bewerkingen via extern geheugen (codeboeken). Hoewel ze catastrofaal vergeten voorkomen, lijden ze onder routeringsfouten. Specifiek vertrouwen ze op nearest-neighbor-matching gebaseerd op activatiemagnitude of Euclidische afstand. Dit faalt in het generaliseren naar natuurlijke herschrijvingen van een bewerkingsprompt, omdat de hoek tussen de opgeslagen sleutel (originele prompt) en de query (parafase) niet wordt overbrugd, waardoor generalisatie instort naarmate het codeboek groeit.

Het artikel identificeert een specifiek geometrisch mismatch: bestaande geheugengebaseerde editors behouden betrouwbaarheid maar falen in generalisatie, omdat magnitude-gevoelige routering prompt-specifieke versterking verward met feitelijke identiteit.

2. Methodologie: HoReN

De auteurs stellen HoReN (Hopfield Retrieval with Normalized representations) voor, een parameterbehoudende editor die een discrete codeboekarchitectuur verenigt met een genormaliseerde Hopfield-terugroepregel. De methode is gebaseerd op drie kernideeën:

A. Codeboekarchitectuur met Genormaliseerde Sleutels

HoReN omhult een enkele MLP-laag van het bevroren basismodel met een discrete sleutel-waarde codeboek $C = \{(k_i, v_i, y_i)\}$ .

Normalisatie: Zowel sleutels (opgeslagen representaties) als queries (inkomende verborgen toestanden) worden geprojecteerd op de eenheidshypersfeer.
Redenering: Voor post-activatie MLP-tensors encodeert de richting van de vector het semantische feit, terwijl de magnitude de prompt-specifieke activatiesterkte (versterking) weerspiegelt. Door te normaliseren, verwijdert HoReN door magnitude gedreven mismatches, zodat terugroeping puur afhankelijk is van hoekgelijkheid (cosinusmatching). Dit adresseert het geometrische falen van eerdere methoden zoals GRACE.

B. Hopfield-attractordynamiek voor Query-verfijning

In plaats van een eenmalige nearest-neighbor-opzoeking, behandelt HoReN elke opgeslagen sleutel als een attractorbekken in een modern Hopfield-netwerk.

Mechanisme: Voordat er wordt gematcht, ondergaat de query een enkele gedempte Hopfield-verfijningsstap. De query $q$ wordt bijgewerkt via:
$q_{new} = \text{normalize}((1-\gamma)q + \gamma \cdot \text{softmax}(\beta q K^\top) K)$
waarbij $\gamma \in (0, 1]$ een dempingsfactor is en $\beta$ de scherpte van de terugroeping controleert.
Effect: Deze stap laat herschreven queries (die hoekmatig dichtbij maar niet identiek zijn aan de opgeslagen sleutel) "ontspannen" in het attractorbekken van het juiste geheugen. Cruciaal zorgt de demping ervoor dat niet-gerelateerde queries (waarbij de attention-weights diffuus zijn) grotendeels ongestoord blijven, waardoor localiteit wordt behouden.
Theoretische Rechtvaardiging: De auteurs bewijzen dat het itereren van Hopfield-dynamiek tot convergentie alle queries (inclusief niet-gerelateerde) zou aantrekken naar de convexe omhulling van opgeslagen patronen, waardoor localiteit wordt vernietigd. Daarom zet HoReN een enkele stap in ( $M=1$ ), wat theoretisch voldoende is om de resterende hoekgaten voor parafases te dichten zonder de beslissingsgrenzen voor niet-gerelateerde invoer te laten instorten.

C. Asymmetrische Routering en Bijwerking

Opslag: Sleutels worden opgeslagen als de ruwe, pre-verfijnde genormaliseerde query ( $q_0$ ). Dit verankert het codeboek in de native representatiegeometrie van het model.
Terugroeping: De routeringsbeslissing maakt gebruik van de verfijnde query ( $q$ ) na de Hopfield-stap.
Bijwerking: Als een match wordt gevonden (score > drempel), wordt de gematchte waarde-adapter toegepast op de volgende laag. Als er geen match is of een labelconflict optreedt, wordt een nieuwe invoeging toegevoegd.

3. Belangrijkste Bijdragen

Karakterisering van Structurele Delen: Het artikel identificeert formeel dat editors voor het aanpassen van parameters verslechteren door verouderde constraint-deelruimten, terwijl editors voor het behoud van parameters falen door magnitude-gevoelige routeringsgeometrie die het gat tussen bewerkingsprompts en hun herschrijvingen niet kan overbruggen.
HoReN-architectuur: Een nieuwe vereniging van het ROME sleutel-waarde perspectief en GRACE's codeboek onder een genormaliseerde Hopfield-terugroepregel. Het maakt gebruik van hoekmatching voor localiteit en een enkele gedempte Hopfield-stap voor generalisatie die robuust is tegen parafases.
Theoretische Analyse: De auteurs leveren bewijzen die aantonen dat standaard Hopfield-terugroeping convergeert naar opgeslagen codes (met het risico van over-attractie van niet-gerelateerde queries) en dat de implementatie in één stap een principiële afweging is om localiteit te behouden terwijl generalisatie mogelijk wordt gemaakt.
Grootschalige Empirische Validatie: Uitgebreide experimenten die stabiliteit aantonen over 50.000 sequentiële bewerkingen, een schaal waarop eerdere methoden instorten of ernstig verslechteren.

4. Experimentele Resultaten

De auteurs evalueerden HoReN op LLaMA-3.1-8B, Qwen-2.5-7B, DeepSeek-R1-8B, GPT-OSS-20B en Qwen-SEA-LION-32B over drie benchmarks: ZsRE (standaard), WikiBigEdit (gestructureerd, moeilijkere localiteit) en UnKE (ongestructureerd).

Schaalbaarheid (ZsRE): Op een stress-test van 50.000 sequentiële bewerkingen handhaafde HoReN een Algemene Prestatie (OP) van ≥0,93. Daarentegen:
- ROME stortte direct in (OP ~0,03).
- GRACE platte uit op generalisatie (OP ~0,37) door routeringsfouten.
- AlphaEdit en UltraEdit leden onder catastrofale localiteitsafgronden of monotoon verval, en daalden onder OP 0,10–0,70 voordat 10.000 bewerkingen waren bereikt.
- WISE vertoonde monotoon verval in prestaties.
Generalisatie: HoReN behaalde hoge generalisatiescores (bijv. 0,93 op LLaMA-3.1-8B bij 1.000 bewerkingen), wat GRACE (0,05) significant overtrof en gelijkstond aan of beter was dan methoden voor het aanpassen van parameters, terwijl perfect localiteit werd behouden.
Robuustheid over Datasets: HoReN behield sterke prestaties op WikiBigEdit (waarbij localiteitsqueries onderwerpen delen met bewerkingen) en UnKE (vrije passages), en presteerde beter dan domeinspecifieke baselines.
Efficiëntie: HoReN voegt minimale overhead toe (~5% inferentielatentie boven GRACE) en schaalt lineair met het aantal bewerkingen. De directe-vector waarde-adapter is 8x meer parameter-efficiënt dan LoRA-varianten met identieke prestaties.

5. Betekenis en Claims

Het artikel beweert dat HoReN een aanzienlijke stap voorwaarts is in levenslange modelbewerking door de "routeringsflesnek" op te lossen die de schaalbaarheid van geheugengebaseerde editors heeft beperkt.

Geometrisch Inzicht: Het werk stelt vast dat voor post-niet-lineariteitsactivaties richting de semantische sleutel is, niet de magnitude. Normaliseren naar de eenheidshypersfeer is de juiste primitief voor terugroeping.
Attractordynamiek: Door het codeboek te kaderen als een veld van energiebekkens en een enkele gedempte Hopfield-stap te gebruiken, bereikt HoReN een principiële afweging: het trekt parafases naar het juiste geheugen zonder niet-gerelateerde queries in hetzelfde bekken te slepen.
Stabiliteit: De primaire claim is dat HoReN de eerste methode is die hoge betrouwbaarheid, generalisatie en localiteit gelijktijdig handhaaft over 50.000 sequentiële bewerkingen, een schaal die eerder onbereikbaar was zonder catastrofale degradatie.

De auteurs concluderen dat HoReN, hoewel beperkingen bestaan (lineaire geheugengroei, gat tussen meerstaps-theorie en implementatie in één stap), een robuuste, schaalbare basis biedt voor het bijwerken van LLM's in levenslange settings, waarbij de kosten van nieuwe bewerkingen worden ontkoppeld van het gedrag van eerder opgeslagen kennis.