HY-WU (Part I): An Extensible Functional Neural Memory Framework and An Instantiation in Text-Guided Image Editing

Het paper introduceert HY-WU, een uitbreidbaar raamwerk dat de nadruk verlegt van het overschrijven van gedeelde modelgewichten naar het gebruik van functioneel neurale geheugenmodules om instantie-specifieke aanpassingen in real-time te genereren voor continu leren en personalisatie.

De kern

HY-WU: De "Chameleon-Geheugen" voor Kunstmatige Intelligentie

Stel je voor dat een moderne kunstmatige intelligentie (zoals een slimme foto-app) niet meer als een statische foto is die je in een lijst hangt, maar als een levendige, groeiende plant. In het verleden was het zo: je traint de AI, en dan is hij "klaar". Hij heeft één vaste manier van denken. Als je hem later vraagt om iets anders te doen (bijvoorbeeld: "maak dit gezicht ouder" én "maak dit gezicht jonger" op hetzelfde moment), raakt hij in de war. Hij probeert een middenweg te vinden, en het resultaat is vaak een saaie, wazige foto die aan beide kanten niet goed is.

Deze paper introduceert HY-WU (Weight Unleashing), een nieuwe manier om AI te bouwen die dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Oude Probleem: De "Eén-Size-Fits-All" Trui

Stel je voor dat je een trui hebt die je elke dag draagt.

• Vroeger (Statische AI): Je probeert deze ene trui aan te passen voor elke situatie. Wil je in de sneeuw? Je naait een extra laag erop. Wil je in de zon? Je snijdt er gaten in.
• Het resultaat: De trui wordt een rommelige lapwerk. Hij is te dik voor de zon en te dun voor de sneeuw. De AI probeert één vaste oplossing te vinden voor alle vragen, en dat werkt niet goed als de vragen tegenstrijdig zijn.

2. De Nieuwe Oplossing: HY-WU (Het "Chameleon-Geheugen")

HY-WU verandert de AI van een statische trui in een slimme chameleon. In plaats van de AI zelf te veranderen, heeft hij nu een geheugenmodule die erbij hoort.

• De Generator (De "Kleurenveranderer"): Dit is een klein, slim onderdeel van de AI dat kijkt naar de foto en de opdracht die je geeft.
• Op Maat Gemaakte Kleding: Als je zegt: "Maak deze man ouder", denkt de generator: "Ah, voor deze specifieke foto en deze opdracht heb ik een 'ouder'-pakketje nodig." Het maakt dan direct, op dat moment, een heel klein, speciaal setje instructies (een 'update') voor de AI.
• Geen Overwriting: De basis-AI (de trui) blijft intact en onveranderd. De AI "trekt" alleen even het juiste pakje aan voor die ene situatie.

3. Waarom is dit zo cool? (De Analogie van de Chef-kok)

Stel je een chef-kok voor in een restaurant:

• De Oude AI (Statisch): De chef heeft één vaste receptboek. Als je "spaghetti" en "pizza" tegelijk bestelt, probeert hij een "spizza" te maken. Het resultaat is raar en niemand is blij.
• HY-WU (Functioneel Geheugen): De chef heeft een slimme assistent (de generator).
  • Als jij "spaghetti" bestelt, denkt de assistent: "Oké, ik haal nu het 'spaghetti-recept' uit het geheugen en geef het aan de chef."
  • Als jij direct daarna "pizza" bestelt, denkt de assistent: "Geen probleem, ik leg het spaghetti-recept even weg en haal het 'pizza-recept' op."
  • De chef zelf verandert niet; hij kan gewoon koken. Maar door de opdracht (de context) te koppelen aan het juiste recept (de parameters), kan hij perfect beide dingen doen zonder in de war te raken.

4. Wat hebben ze bewezen? (De Foto-Test)

De onderzoekers hebben dit getest op een heel lastige taak: tekst-gestuurde foto-bewerking.

• Voorbeeld: "Verander dit meisje in een jongen, maar houd de kleding en de achtergrond exact hetzelfde."
• Oude AI: Vaak verandert hij de kleding of de achtergrond per ongeluk, of het gezicht ziet er raar uit.
• HY-WU: Omdat het systeem voor elke foto een eigen, op maat gemaakt "recept" maakt, weet het precies wat het moet doen en wat het moet laten. Het resultaat is veel natuurlijker en accurater.

5. De Grote Doorbraak

De belangrijkste les van deze paper is dat we stoppen met proberen AI's te "herprogrammeren" door ze te herschrijven (wat leidt tot fouten en vergeten kennis). In plaats daarvan bouwen we AI's die leren hoe ze zich moeten aanpassen.

• Geen "Overwriting": We vullen de hersenen niet vol met nieuwe feiten die oude feiten overschrijven.
• Maar "Routing": We leren de AI hoe hij de juiste "geheugen-pakketjes" moet ophalen voor de juiste situatie.

Kortom: HY-WU maakt AI's flexibeler, slimmer en minder vatbaar voor fouten, door ze te laten denken als een chameleon die zijn kleur aanpast aan de omgeving, in plaats van als een stenen standbeeld dat probeert alles tegelijk te zijn.

Technische samenvatting

1. Het Probleem: De Beperkingen van Statieke Adaptatie

Huidige aanpassingsmethoden voor foundation-modellen (zoals Supervised Fine-Tuning of LoRA) volgen een statiek gewichtsparadigma. Na het trainen wordt er één enkel parameter-update ($\Delta\theta_{static}$) geleerd dat uniform wordt toegepast op alle invoer, ongeacht de specifieke intentie van de gebruiker of de context van het voorbeeld.

Dit leidt tot twee fundamentele foutmodi in heterogene en voortdurend evoluerende omgevingen:

• Onhaalbare Deling (Infeasible Sharing): Wanneer verschillende doelen (bijv. "verouderen" vs. "herstellen" van een afbeelding) tegenstrijdige vereisten stellen voor de parameters, wordt de model gedwongen tot een compromis. Dit resulteert in vage, instabiele of onnauwkeurige resultaten omdat één enkel punt in de parameter ruimte niet kan voldoen aan gescheiden "haalbare gebieden".
• Over-specialisatie: Het trainen van aparte statieke adapters per domein vermijdt conflicten, maar leidt tot over-specialisatie. De adapter wordt te specifiek voor het trainingsdomein en faalt bij domeinverschuivingen of nieuwe voorbeelden.

De kernproblematiek is dat adaptatie wordt behandeld als het vinden van één shared oplossing, in plaats van het leren van een familie van oplossingen die dynamisch kunnen worden gerouteerd op basis van de invoer.

2. Methodologie: HY-WU (Weight Unleashing)

HY-WU introduceert een "Memory-First" raamwerk dat de adaptatie verschuift van het overschrijven van gewichten naar het genereren van functionele (operator-niveau) geheugen. In plaats van een statische adapter te gebruiken, synthetiseert het systeem op het moment van inferentie (on-the-fly) een specifieke update voor elk voorbeeld.

Kerncomponenten:

• Functioneel Geheugen: Het systeem beschouwt geheugen als een operator-synthese. Een generator $g_\phi$ neemt een voorbeeld-voorwaarde $c(x)$ (gecombineerde afbeelding- en tekstfeatures) en genereert daaruit een instantie-specifieke gewichtsupdate $\Delta\theta(x)$. De uiteindelijke operatie is $f_{\theta + \Delta\theta(x)}$.
• On-the-Fly End-to-End Training: In tegenstelling tot eerdere hypernetwerk-approaches die afhankelijk zijn van het verzamelen van checkpoints en reconstructieverliezen, traint HY-WU de generator direct via het downstream taakverlies (bijv. diffusion loss). Dit elimineert de noodzaak voor vooraf verzamelde adapters en maakt schaalbaarheid mogelijk.
• Rank-Anchored 2D Parameter Tokenization: Om grote backbones te hanteren, worden LoRA-adapters (die verschillende afmetingen hebben per laag) herschikt in een gestructureerde tensor. De rang (rank) $r$ wordt gebruikt als een stabiele as, en de resterende dimensies worden opgesplitst in tokens. Dit behoudt de 2D-structuur van de parameters en maakt factorized attention mogelijk.
• Neural Network Transformer (NNT): De generator is een transformer-architectuur die gebruikmaakt van factorized self-attention (intra-laag en inter-laag) om de correlaties in de parameter ruimte te modelleren. Cross-attention injecteert de voorwaarde (afbeelding + prompt) in de parameters.
• Zero-Initialisatie: De output voor de LoRA-matrix $B$ wordt initialiseerd op nul, zodat het trainen begint vanuit de oorspronkelijke, stabiele backbone en geleidelijk afwijkingen leert.

3. Instantiatie: Tekst-Gestuurde Beeldbewerking

Het paper valideert HY-WU via tekst-gestuurde beeldbewerking (Text-Guided Image Editing). Dit is een ideale "stress-test" omdat:

• Doelen vaak wederzijds uitsluitend zijn (bijv. scherp vs. wazig).
• De juiste bewerking sterk afhankelijk is van de specifieke inhoud van het voorbeeld (instance-dependent).
• Het vereist dat het systeem de juiste transformatieregel selecteert in plaats van alleen context toe te voegen.

4. Belangrijkste Resultaten

HY-WU werd getest op zowel menselijke evaluaties (GSB - Generalized Side-by-Side) als automatische benchmarks.

• Menselijke Evaluatie (GSB): HY-WU behaalde overtuigende overwinningen tegen toonaangevende open-source editors (zoals Step1X, Qwen, LongCat, FLUX) met winstpercentages van 67% tot 78%. Het presteerde ook beter dan sterke gesloten-bron baselines (Seedream 4.5 en GPT Image 1.5) en bleef concurrerend met de nieuwste Nano-Banana series.
• Automatische Evaluatie:
  • #1 op GEdit-Bench: Beste prestatie onder open-source modellen voor semantische consistentie en algehele kwaliteit.
  • #2 op ImgEdit-Bench: Tweede beste onder open-source modellen.
  • WU-Eval: HY-WU behaalde de hoogste scores in consistentie, structuur en kwaliteit, wat aantoont dat het beter in staat is om structurele geloofwaardigheid te behouden tijdens bewerkingen.
• Ablatie Studies:
  • Het verwijderen van de voorwaarde-afstemming (door inputs te shuffelen of te middelen) liet de prestaties instorten tot het niveau van statieke baselines, wat bewijst dat het voordeel komt van conditionele routing en niet van extra parametercapaciteit.
  • Gradient-analyses toonden aan dat statieke training leidt tot conflicterende gradiënten bij tegenstrijdige taken, terwijl HY-WU deze conflicten oplost door specifieke updates te genereren.

5. Significatie en Bijdragen

De paper biedt een fundamentele verschuiving in hoe we aanpassing van foundation-modellen benaderen:

1. Paradigmaverschuiving: Van "één shared oplossing" naar "leren van een conditionele familie van parameterpunten". Dit behandelt catastrofale interferentie als een routing-probleem in plaats van een trainingsfout.
2. Functioneel Geheugen: Het formaliseert geheugen als een neurale module die operatoren synthetiseert, wat een natuurlijke basis vormt voor snelle instant-personalisatie en continu leren zonder het overschrijven van gedeelde kennis.
3. Schaalbaarheid: Door het gebruik van on-the-fly training en geoptimaliseerde tokenisatie, maakt HY-WU het mogelijk om conditionele gewichtsgeneratie toe te passen op grote backbones zonder de I/O-kosten van het beheren van duizenden checkpoints.
4. Interpretatie van Parameter Ruimte: De analyse toont aan dat de gegenereerde updates een semantisch gestructureerd manifold vormen, waarbij voorbeelden met vergelijkbare betekenis ook dicht bij elkaar liggen in de gegenereerde parameter ruimte.

Conclusie:
HY-WU demonstreert dat het toewijzen van capaciteit aan gestructureerd, routeerbaar functioneel geheugen een effectievere aanpak is voor heterogene taken dan het simpelweg vergroten van de backbone of het overschrijven van gewichten. Het stelt een nieuwe weg voor voor agentic AI en foundation models die moeten opereren in dynamische, real-world omgevingen.