Morphological Addressing of Identity Basins in Text-to-Image Diffusion Models

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat een kunstmatige intelligentie (zoals een tekst-naar-beeld generator) niet werkt als een enorme bibliotheek waar je een specifiek boek moet zoeken met de titel. In plaats daarvan is het meer als een enorme, wazige berg van herinneringen.

In dit onderzoek, getiteld "Morphological Addressing of Identity Basins" (Morfologische Adressering van Identiteitsbekkens), ontdekken de onderzoekers hoe je die berg kunt navigeren zonder de namen van mensen of dingen te gebruiken. Ze gebruiken in plaats daarvan de vorm en het geluid van woorden om precies te weten waar ze moeten graven.

Hier is de uitleg in simpele taal, met een paar creatieve metaforen:

1. De Berg van Herinneringen (De "Bekkens")

Stel je voor dat de AI een berg heeft vol met zandkorrels. Elke zandkorrel is een foto die de AI ooit heeft gezien.

Als je de naam "Marilyn Monroe" typt, zoekt de AI naar een specifieke stapel zand. Maar de AI mag die naam vaak niet gebruiken (vanwege privacy).
De onderzoekers ontdekten dat je die stapel zand ook kunt vinden door te graven op de kenmerken die bij Marilyn horen: "platinumbloond", "mooi moedertje op de wang", "glamoureus jaren 50".
De Metafoor: Het is alsof je niet de naam van een huis zoekt, maar de route beschrijft: "Ga naar het huis met het rode dak, de witte deur en de tuin vol rozen." Als je die kenmerken combineert, land je precies op hetzelfde adres, zonder de naam te noemen.

2. Studie 1: Het "Zelf-Leren" van de AI

De onderzoekers deden een experiment met een AI genaamd Stable Diffusion.

Het Experiment: Ze lieten de AI duizenden beelden maken met alleen de beschrijvingen (zoals "platinumbloond"). De beelden waren eerst wazig en leken niet echt op Marilyn.
De Magie (Zelf-distillatie): De AI selecteerde de beste beelden, leerde daaruit, en deed het opnieuw. Net als een schilder die een schilderij maakt, het bekijkt, en dan een betere versie schildert.
Het Resultaat: Na een paar rondes kon de AI een perfect beeld van Marilyn maken, alleen met de beschrijvingen, zonder ooit een echte foto van haar te hebben gezien.
De Omgekeerde Wereld: Ze ontdekten ook iets raars. Als je de AI dwingt om ver weg te gaan van Marilyn (bijvoorbeeld: "donker haar, streng gezicht, 1980s zakelijk"), gebeurt er iets vreemds.
- De normale AI maakt dan monsterachtige, "eldritch" beelden (zoals in een horrorfilm).
- Maar de AI die ze hadden getraind, maakte beelden die er nog menselijk uitzagen, maar precies verkeerd waren. Ze noemen dit het "Uncanny Valley"-effect. Het is alsof de AI een spiegelbeeld heeft gemaakt dat net iets te langzaam beweegt. De AI heeft niet alleen geleerd hoe je naar Marilyn gaat, maar ook hoe je er vandaan gaat.

3. Studie 2: De Kracht van Geluid (De "Crungus-jacht")

In de tweede studie keken ze naar woorden die helemaal niet bestaan.

Het mysterie: Er was een internetfenomeen met het woord "Crungus". Als mensen dit nonsense-woord in de AI typten, kreeg iedereen hetzelfde raar wezen. Niemand wist waarom.
De Theorie: De onderzoekers dachten: "Misschien werkt dit door de klank van het woord." In de taalwetenschap bestaan er "klank-symbolen" (phonesthemes). Bijvoorbeeld, woorden die beginnen met sn- (snuit, snuiven, sneeuwen) hebben vaak iets met de neus of snelheid te maken. Woorden met cr- (crash, crush) hebben iets met breken of harde klappen te maken.
Het Experiment: Ze maakten 200 nieuwe, nonsens-woorden door deze klankpatronen te combineren (bijv. snudgeoid, crashax).
Het Resultaat:
- Willekeurige nonsens-woorden (zoals "diwoz") gaven wazige, willekeurige beelden.
- Maar de woorden met de juiste klankpatronen gaven heel duidelijke, consistente beelden.
- Ze vonden zelfs drie nieuwe "wezens" die nooit eerder bestonden:
  1. Snudgeoid: Een robotachtig mens (door de sn- en -oid klank).
  2. Crashax: Een ruig voertuig of buggy (door cr- en -ax).
  3. Broomix: Een cartoonfiguur in een Frans-Belgische stijl (door -ix, wat doet denken aan Asterix).

De Grote Les

De kernboodschap van dit papier is dat de "ruimte" waar de AI denkt (de latente ruimte) niet willekeurig is. Het heeft een grammatica.

Vorm en Geluid zijn een adres: Of je nu beschrijft hoe iemand eruitziet (haar, lippenstift) of hoe een woord klinkt (cr-, -oid), je gebruikt dezelfde "morfologische druk" om de AI naar een specifiek punt in haar denkwereld te sturen.
De AI bouwt, het is niet alleen geheugen: De AI onthoudt niet alleen foto's. Het begrijpt patronen. Als je een woord maakt dat klinkt als een robot, bouwt de AI een robot, zelfs als dat woord nooit in de wereld heeft bestaan.

Kortom: De onderzoekers hebben bewezen dat je met de AI kunt praken als een architect. Je hoeft geen blauwdrukken (namen of foto's) te tonen; je hoeft alleen de juiste bouwstenen (klanken of kenmerken) te kiezen, en de AI weet precies waar je naartoe wilt. Het is alsof je de grammatica van de dromen van de machine hebt ontdekt.

Each language version is independently generated for its own context, not a direct translation.

Titel: Morfologische Adressering van Identiteitsbekkens in Text-to-Image Diffusiemodellen

Auteur: Andrew Fraser
Model: Stable Diffusion 1.5 (SD1.5) met CLIP ViT-L/14

1. Het Probleem

Text-to-image diffusiemodellen, getraind op grote datasets, "onthouden" specifieke individuen en concepten die frequent voorkomen in de trainingsdata. Traditionele methoden voor personalisatie (zoals DreamBooth of Textual Inversion) vereisen doorgaans referentieafbeeldingen van het doelwit om een nieuwe identifier te binden.

De kernvraag van dit onderzoek is: Kan men een bestaande, gememoriseerde identiteit in de latente ruimte van het model benaderen zonder de naam of foto's van het doelwit te gebruiken?
De auteurs stellen dat identiteiten niet als discrete bestanden, maar als "sedimentaire stapels" van geassocieerde kenmerken bestaan. De uitdaging is om de specifieke intersectie van deze morfologische kenmerken (bijv. "platinumblonde", "schoonheidsvlekje") te vinden om een specifiek "identiteitsbekken" (identity basin) te navigeren.

2. Methodologie

Het paper presenteert twee studies die "morfologische druk" toepassen op verschillende niveaus van de generatieve pijplijn:

Studie 1: Navigatie via Trainingsniveau-Morfologie

Doel: Een LoRA (Low-Rank Adaptation) trainen om de identiteit van Marilyn Monroe te benaderen zonder haar naam of foto's te gebruiken.
Methode:
- Morfologische Descriptoren: Het gebruik van intersecterende kenmerken (bijv. "platinumblonde krullend haar", "schoonheidsvlekje", "1950s glamour") als prompts.
- Zelf-distillatie-lus (Self-Distillation Loop):
  1. Genereren van synthetische afbeeldingen met de descriptoren op het basismodel (SD1.5).
  2. Selecteren van de afbeeldingen die het dichtst bij het doelwit liggen.
  3. Trainen van een LoRA op deze geselecteerde synthetische afbeeldingen.
  4. Herhaling van dit proces over meerdere rondes om de convergentie te verfijnen.
- Push-Pull Conditioning: Testen van de navigatie weg van het doelwit door negatieve prompts (vermijden van Marilyn) te combineren met positieve "schaduw"-descriptoren (bijv. "1980s corporate editorial", "harde verlichting").

Studie 2: Navigatie via Prompt-niveau Morfologie (Phonesthemen)

Doel: Onderzoeken of fonologische structuren in zinloze woorden (nonsense words) coherente visuele output kunnen genereren.
Theorie: Gebaseerd op phonestheme-theorie uit de linguïstiek: bepaalde klankclusters (bijv. cr-, sn-, -oid) dragen consistente semantische associaties.
Methode:
- Genereren van 200 nieuwe, zinloze woorden door Engelse phonestheme-onsets en suffixen te combineren (bijv. snudgeoid, crashax).
- Vergelijking met controlegroepen: willekeurige uitspreekbare woorden en niet-uitspreekbare klankreeksen.
- Metriek: Gebruik van Purity@1. Dit meet welk percentage van de gegenereerde afbeeldingen voor een bepaald woord dichter bij elkaar ligt in de CLIP-embeddings dan bij afbeeldingen van andere woorden. Een score van 1.0 betekent perfecte visuele consistentie.
- Contaminatie-analyse: Handmatige verificatie om te zien of de woorden verwijzen naar bestaande concepten in de trainingsdata.

3. Belangrijkste Bijdragen

Adressering zonder Referenties: Demonstratie dat LoRA-training op constitutieve morfologische descriptoren leidt tot een navigeerbaar coördinatenstelsel rondom identiteitsbekkens, zonder toegang tot doelwitfoto's.
Bidirectionele Vormgeving: Het getrainde LoRA beïnvloedt niet alleen de output naar het doelwit, maar creëert ook gestructureerde "inverse" navigatie. Het model weet hoe het eruit ziet om niet het doelwit te zijn, wat leidt tot specifieke "fail-modes".
Fase-overgangen: Ontdekking dat identiteitsbekkens scherpe grenzen hebben. Output schakelt abrupt tussen attractoren bij specifieke LoRA-gewichten in plaats van geleidelijk te interpoleren.
Constructie van Nieuwe Concepten: Bewijs dat sub-lexicale klankpatronen (phonesthemen) in prompts leiden tot het constructief creëren van nieuwe, coherente visuele entiteiten ("cryptids") die niet in de trainingsdata voorkwamen.

4. Resultaten

Uitkomsten Studie 1 (Marilyn Monroe)

Convergentie: De hit-rate (aantal afbeeldingen dat het doelwit benadert) steeg van 8% in ronde 1 naar 70% in ronde 3 via zelf-distillatie.
Inverse Navigatie:
- Alleen "Push" (schaduw-descriptoren) gaf coherente maar normale portretten.
- Alleen "Pull" (negatieve prompts) gaf willekeurige output.
- Push + Pull: Base SD1.5 produceerde "eldritch" (structuurloze, monsterachtige) output. Het LoRA-model produceerde echter "Uncanny Valley" output: anatomisch plausibel, maar precies "fout" (bijv. holle expressies). Dit suggereert dat het LoRA het model terugtrekt naar herkenbare menselijke gebieden, zelfs bij maximale afwijking.
Stabiliteit: De identiteit bleef stabiel over verschillende CFG-waarden (Classifier-Free Guidance), wat wijst op een robuust attractor-bekken.
Fase-overgangen: Bij het variëren van LoRA-gewichten (0.0 tot 1.0) werden geen gladde overgangen gezien, maar discrete schakelingen tussen attractoren.

Uitkomsten Studie 2 (Phonesthemen)

Statistische Significantie: Phonestheme-woorden produceerden significant coherenter output dan willekeurige controles (Gemiddelde Purity@1: 0.371 vs 0.209, $p < 0.00001$ ).
Perfecte Cryptiden: Drie woorden bereikten een Purity@1 van 1.0 zonder enige contaminatie (geen verwijzing naar bestaande concepten):
1. Snudgeoid: Robotachtige, mechanische humanoïden (geïnspireerd door sn- voor mechanisch/sluipend en -oid voor robot).
2. Crashax: Een ruig off-road voertuig (geïnspireerd door cr- voor impact en -ax voor gereedschap).
3. Broomix: Een cartoonfiguur in de Franse stripstijl (geïnspireerd door -ix als suffix voor Asterix-achtige figuren).
Contaminatie: Veel andere "perfecte" woorden bleken toch bestaande concepten te zijn (bijv. drudgea verwijst naar de Drudge Report), wat de noodzaak van strikte verificatie benadrukt.

5. Betekenis en Conclusie

Het paper concludeert dat de latente ruimte van diffusiemodellen meer gestructureerd is dan vaak wordt aangenomen.

Morfologische druk creëert navigeerbare gradiënten op zowel het trainingsniveau (via kenmerken) als het promptniveau (via klankpatronen).
De modellen voeren een vorm van statistische morfologische analyse uit: ze decomponeren woorden in sub-eenheden en gebruiken de geassocieerde statistische kansen om visuele concepten te construeren of te benaderen.
Dit biedt nieuwe methoden voor latent space cartography (het in kaart brengen van de kennisstructuur van AI-modellen) en suggereert dat we nieuwe visuele concepten kunnen "ontdekken" door de grammatica van de taal te gebruiken, zelfs zonder bestaande data.

De oorspronkelijke "Crungus"-trend (een zinloos woord dat consistent een creatuur opleverde) wordt hiermee verklaard als geen toeval, maar als een bewijs van deze onderliggende morfologische structuur in de latent space.