Technische Samenvatting: Tiny-Engram

Probleemstelling

Huidige personalisatiemethoden voor generatieve visuele modellen (bijvoorbeeld tekst-naar-beeld en tekst-naar-video) vertrouwen doorgaans op continue adapters, gewichtsupdates of geleerde tokens. Hoewel deze effectief zijn voor het coderen van nieuwe concepten, missen deze benaderingen vaak expliciete activeringsgrenzen. Een continu actieve adapter kan onbedoeld prompts beïnvloeden buiten het beoogde domein, en onafhankelijk getrainde modules kunnen onvoorspelbaar interageren wanneer ze worden samengesteld.

De kernuitdaging die door dit werk wordt aangepakt, is het bereiken van modulaire adaptatie: ervoor zorgen dat een geleerde visuele update alleen wordt toegepast wanneer een specifieke, geregistreerde tekstuele voorwaarde aanwezig is, terwijl alle niet-overeenkomende invoer strikt het gedrag van het originele bevroren model volgt. Dit vereist een mechanisme dat een zeldzame triggerzin koppelt aan een visueel concept zonder het conditioneringspad van het model globaal te wijzigen.

Methodologie

Kernconcept: Trigger-geïndexeerde Concepttabellen

Tiny-Engram operationaliseert het "Engram"-principe (oorspronkelijk voorgesteld voor taalmmodellen) als een compacte, parameter-efficiënte fine-tuning (PEFT)-module voor generatieve visie. In plaats van een globaal actieve adapter, fungeert het als een trigger-geïndexeerde concepttabel:

1. Registratie: Een specifieke n-gram-fase (de trigger) wordt geregistreerd.
2. Indexering: Tijdens runtime voert het systeem een exacte token-id-opzoeking uit. Als de geregistreerde n-gram in de prompt wordt gevonden, indexeert deze een geleerd geheugenvector.
3. Lokale Injectie: De opgehaalde vector wijzigt de verborgen toestanden van de tekstencoder alleen op het overeenkomende token-bereik. Als geen trigger aanwezig is, volgt het model exact het bevroren basispad.

Visuele Instantiatie

De methode wordt toegepast op bevroren beeld- en videogeneratoren door residuen in de tekst-conditioneringsstroom in te spuiten:

• Architectuur: De aanpak ondersteunt modellen met één encoder (SD1.5) en stacks met meerdere encoders (SD3.5 met CLIP-L, OpenCLIP-G, T5; Wan2.2 met T5).
• Geheugenstructuur: Voor elke tekstencoder wordt een kleine tabel van conceptvectoren geleerd. De triggerzin wordt getokeniseerd en er wordt een multi-schaal registratie gebouwd uit aaneengesloten subspans (n-grams) van de trigger.
• Injectiemechanisme:
  • SD1.5: Injecteert een absoluut geschaald residu in CLIP-tokentoestanden voordat de cross-attention van de U-Net plaatsvindt.
  • SD3.5 & Wan2.2: Gebruikt een relatieve-norm injectieregel. De geheugenvector biedt richting, een geleerde schaal begrenst de sterkte, en een normalisatiefactor ($\rho$) kalibreert de updategrootte ten opzichte van de activeringsschaal van de huidige tekststroom. Dit zorgt voor consistente effecten over heterogene encoders met verschillende grootte van verborgen toestanden.
• Training: Alleen de conceptvectoren en injectieschalen worden geoptimaliseerd. De ruggengraat (VAE, U-Net/DiT, tekstencoders) blijft bevroren. De verliesfunctie is de standaard diffusie-ruisvoorspelling of rectified-flow snelheidsdoel.

Experimentele Opstelling

• Concept: De auteurs koppelen een fictieve, sciencefiction-georiënteerde triggerzin ("Aldric Vortex-9 CyberNebula") aan een specifiek visueel identiteit (een protagonist uit Death Stranding). Deze keuze zorgt ervoor dat de trigger geen bestaande prior heeft in het bevroren model, waardoor de Engram-tabel de binding vanaf nul moet leren.
• Data:
  • Afbeeldingen: Vijf referentieafbeeldingen omgezet naar prompts via reverse engineering, waarbij de onderwerpnaam is vervangen door de trigger.
  • Video: Een voorlopige uitbreiding met Wan2.2 TI2V. Trainingsclips werden gegenereerd door het bevroren Wan2.2-model met behulp van de beeld-promptparen, waardoor een door de leraar gegenereerde temporele uitbreiding van de identiteitsset ontstond.

Belangrijkste Bijdragen

1. Trigger-geïndexeerde Formulering: Een PEFT-module die visuele geheugens koppelt aan expliciete lexische adressen, waardoor discrete activeringsgrenzen worden gewaarborgd.
2. Geheugeninjectie in Tekstencoder: Een methode om bevroren generatieve ruggengraten te personaliseren door tekst-conditioneringstoestanden te wijzigen zonder de beeld-/video-ruisverminderende ruggengraat aan te raken.
3. Relatieve-Norm Injectieregel: Een kalibratietechniek die geheugeninjectie effectief laat functioneren over heterogene tekstencoderstromen (bijvoorbeeld in SD3.5) en variërende contextlengtes.
4. Onderzoek naar Video-uitbreiding: Een eerste verkenning van het toepassen van geheugen aan de tekstzijde op video-diffusie, waarbij de kloof tussen tekstactivering en temporele identiteitsstabiliteit wordt verduidelijkt.

Resultaten

Beeldgeneratie (SD1.5 & SD3.5)

• Activeringslokaliteit: De methode demonstreert succesvol dat de geleerde visuele identiteit alleen wordt opgehaald wanneer de triggerzin aanwezig is. Prompts zonder de trigger produceren outputs die identiek zijn aan het bevroren basismodel (byte-identiek onder overeenkomende zaden).
• Identiteitsbinding: Zowel in SD1.5 als in SD3.5 verschuiven prompts die de trigger bevatten het gegenereerde onderwerp om de referentie-identiteit te matchen, terwijl de omringende scène, belichting en compositie die door de prompt worden gevraagd, behouden blijven.
• Prestaties: SD3.5 levert sterkere resultaten op dan SD1.5 en behoudt meer scènetrouw. De injectie met meerdere encoders en de relatieve-norm-schaal hanteren de complexiteit van de SD3.5-architectuur effectief.

Video-generatie (Wan2.2)

• Activering: De injectie van het Engram aan de tekstzijde wijzigt het gegenereerde onderwerp in video succesvol. Wanneer de trigger aanwezig is, verschuift de output van generieke sciencefiction-figuren naar het beoogde "lange haar-tactische" onderwerp.
• Beperkingen: Hoewel de trigger het concept activeert, is fijngestippelde identiteitspersistentie over gehouden video-prompts beperkt. De methode kan de onderwerpklass of silhouet beïnvloeden, maar faalt om de specifieke identiteitsdetails betrouwbaar te reconstrueren over diverse scènes en temporele sequenties. De auteurs schrijven dit toe aan het gebrek aan strakke koppeling tussen het statische geheugen aan de tekstzijde en de evoluerende visuele staat in de video-transformator.

Betekenis en Claims

Het artikel positioneert Tiny-Engram als een praktische route naar modulaire visuele personalisatie, met name voor beeldgeneratie. De primaire betekenis ligt in het vestigen van activeringslokaliteit: het vermogen om capaciteiten toe te voegen die strikt worden afgeschermd door lexische triggers, waardoor interferentie met niet-gerelateerde prompts wordt voorkomen.

De auteurs zijn bescheiden over de video-resultaten, en presenteren deze als een grensgeval in plaats van een complete oplossing. Zij concluderen dat hoeks geheugeninjectie aan de tekstzijde video-generatie kan sturen, het bereiken van temporeel stabiele identiteit in video waarschijnlijk strakkere koppeling tussen geheugen en de evoluerende visuele staat vereist (bijvoorbeeld injectie dichter bij de video-ruggengraat of attention-mechanismen), in plaats van uitsluitend te vertrouwen op de tekst-conditioneringsinterface.

Het werk claimt niet om bestaande benchmarks (zoals DreamBooth of LoRA) te overtreffen in termen van ruwe identiteits-trouwmetrieken, aangezien geen enkele dergelijke overeenkomende benchmark-vergelijking is uitgevoerd. In plaats daarvan valideert het een specifieke architecturale aanpak voor hoe personalisatie binnen het model wordt geactiveerd en gecontroleerd.