Morphological Addressing of Identity Basins in Text-to-Image Diffusion Models

Questo studio dimostra che la pressione morfologica, sia attraverso descrittori di caratteristiche che attraverso strutture fonologiche di parole inventate, crea gradienti navigabili negli spazi latenti dei modelli di diffusione testo-immagine, permettendo di raggiungere identità visive coerenti e di generare nuovi concetti senza l'uso di dati di addestramento specifici.

L'essenziale

Immagina di entrare in una biblioteca immensa e caotica, piena di milioni di libri. Questa biblioteca è il "cervello" di un'intelligenza artificiale che disegna immagini (come Stable Diffusion). Ogni libro è un'immagine che l'IA ha visto durante il suo apprendimento.

Il problema è che non c'è un indice alfabetico. Se chiedi "Marilyn Monroe", l'IA potrebbe non trovare il libro giusto perché il suo nome è stato censurato o nascosto. Ma se chiedi "bionda platino, neo sul viso, anni '50", l'IA sa esattamente quale pila di libri prendere, perché quelle parole appaiono insieme in molti libri su Marilyn.

Questo è il cuore della ricerca: come possiamo navigare in questa biblioteca senza usare i nomi, ma solo descrivendo le caratteristiche?

Ecco la spiegazione semplice dei due esperimenti fatti dagli autori:

1. L'Esperimento del "Ritratto Senza Nome" (Studio 1)

Immagina di voler disegnare Marilyn Monroe, ma non puoi usare il suo nome e non hai sue foto. Cosa fai?

• Il trucco: Invece di dire "Marilyn", dai all'IA una lista di "ingredienti": capelli biondo platino, neo sulla guancia, rossetto rosso, stile Hollywood anni '50.
• Il processo: L'IA prova a disegnare basandosi su questi ingredienti. All'inizio, i disegni sono un po' confusi. Ma gli autori fanno un trucco: prendono i disegni migliori, li usano per "addestrare" un piccolo assistente (chiamato LoRA) e poi chiedono di nuovo all'IA di disegnare.
• Il risultato: Dopo un po', l'IA impara a trovare esattamente quella "pila di libri" (o "bacino di identità") dove si trova Marilyn, anche senza dirle il nome.
• La sorpresa: Quando hanno provato a spingere l'IA lontano da Marilyn (dicendo "non fare bionda, non fare anni '50"), l'IA non ha fatto un disastro casuale. Ha creato qualcosa di inquietante ma coerente: un volto umano che sembra "sbagliato" in modo preciso (l'effetto "valle inquietante"). È come se l'IA avesse imparato non solo dove sta Marilyn, ma anche la mappa esatta di tutto ciò che non è Marilyn.

2. La Caccia alle "Parole Magiche" (Studio 2)

Qui la cosa diventa ancora più magica. Gli autori si sono chiesti: "Se inventiamo una parola che non esiste, l'IA capirà comunque cosa disegnare?"

• L'idea: In linguistica, ci sono suoni che evocano sensazioni. Ad esempio, la combinazione "cr-" (come in crash, crumble) suona forte e rotto. La combinazione "sn-" (come in snake, sneak) suona veloce e strisciante.
• L'esperimento: Hanno creato 200 parole inventate mescolando questi suoni. Ad esempio: "Snudgeoid" (suona come qualcosa di scivoloso e robotico) o "Crashax" (suona come un veicolo che si schianta).
• Il risultato: Quando hanno chiesto all'IA di disegnare queste parole inventate, è successo l'impossibile. L'IA ha disegnato creature coerenti e ripetibili!
  • Snudgeoid è diventato sempre un robot scivoloso.
  • Crashax è diventato sempre un'auto da corsa robusta.
  • Broomix è diventato un personaggio dei fumetti francesi.
• Perché? L'IA non ha mai visto queste parole prima. Ma ha "sentito" i suoni. Ha capito che "cr-" significa impatto e "ax" significa strumento, quindi ha messo insieme i pezzi per creare un veicolo. È come se l'IA avesse un istinto per la "poesia dei suoni".

In sintesi: Cosa abbiamo imparato?

1. Le mappe esistono: Lo spazio mentale dell'IA non è un caos. È come un territorio geografico con colline e valli ben definite. Se sai quali "coordinate" (descrizioni o suoni) usare, puoi trovare qualsiasi cosa, anche senza il nome.
2. L'IA costruisce, non solo copia: Quando l'IA vede una parola inventata come "Snudgeoid", non sta cercando un'immagine vecchia nel suo database. Sta costruendo qualcosa di nuovo combinando le sensazioni dei suoni, proprio come farebbe un umano che ascolta una parola nuova.
3. Il potere della forma: Che sia la forma di una descrizione ("bionda + neo") o la forma di una parola inventata ("cr- + -ax"), la struttura del linguaggio guida l'IA verso immagini precise.

La metafora finale:
Pensa all'IA come a un cuoco che ha assaggiato milioni di piatti. Se gli chiedi "il piatto di Marilyn", non sa chi è. Ma se gli dici "uova, prosciutto, formaggio e pane tostato", sa esattamente quale piatto preparare. Ancora più strano: se gli dai una ricetta scritta in un codice segreto fatto di suoni (es. "schiaccia, scivola, robot"), lui capisce comunque che deve preparare un "robot scivoloso".

Questa ricerca ci dice che per parlare con l'IA non serve solo il vocabolario, ma bisogna imparare la grammatica dei suoni e delle forme che il suo cervello ha imparato a riconoscere.

Sommario tecnico

1. Problema e Contesto

Il lavoro affronta la natura della memorizzazione e della navigazione negli spazi latenti dei modelli di diffusione testo-immagine (come Stable Diffusion).

• Memorizzazione vs. Etichettatura: I modelli addestrati su grandi dataset memorizzano concetti specifici (es. celebrità) non come file etichettati, ma come "pile di sedimenti" statistici. Le identità sono intersezioni di caratteristiche morfologiche (es. "bionda platino", "neo", "glamour anni '50") piuttosto che entità discrete.
• Limiti degli attuali metodi: Le tecniche di personalizzazione esistenti (DreamBooth, Textual Inversion) richiedono l'accesso a immagini di riferimento del soggetto target.
• Domanda di ricerca: È possibile navigare verso un'identità memorizzata o costruirne di nuove utilizzando esclusivamente la struttura morfologica (descrittori di caratteristiche o pattern fonologici) senza nomi o immagini di riferimento?

2. Metodologia

Lo studio è diviso in due esperimenti principali che esplorano la "pressione morfologica" a due livelli diversi della pipeline generativa.

Studio 1: Navigazione dei Bacini di Identità (Livello di Addestramento)

• Obiettivo: Navigare verso l'identità di Marilyn Monroe senza usare il suo nome o le sue foto, ma solo descrivendo le sue caratteristiche morfologiche costituenti.
• Procedura:
  1. Generazione Sintetica: Utilizzo di prompt descrittivi (es. "capelli biondo platino ricci, neo sulla guancia, glamour anni '50") su Stable Diffusion 1.5 (SD1.5) per generare immagini sintetiche.
  2. Self-Distillation: Un ciclo iterativo in cui le immagini generate vengono curate (selezionate quelle più vicine al target) e utilizzate per addestrare un modello LoRA (Low-Rank Adaptation).
  3. Raffinamento: Dopo 4 round di addestramento, il LoRA viene testato su prompt neutri.
  4. Protocollo Push-Pull: Test di navigazione inversa utilizzando descrittori "ombra" (opposti morfologici, es. "struttura ossea angolosa", "luce fredda") combinati con prompt negativi per spingere il modello lontano dal bacino di attrazione di Marilyn.
• Metriche: Similarità delle facce tramite ArcFace (embedding 512-dimensionali) e analisi della coerenza visiva.

Studio 2: Navigazione tramite Fonostemi (Livello del Prompt)

• Obiettivo: Verificare se parole nonsense costruite con fonostemi (cluster sonori che portano associazioni semantiche, es. cr- per impatto, -oid per robotico) generano output visivi coerenti rispetto a stringhe casuali.
• Procedura:
  1. Generazione Candidati: Creazione di 200 parole nonsense combinando onset, nuclei e suffissi fonostemici inglesi (es. snudgeoid, crashax).
  2. Gruppi di Controllo: 100 stringhe casuali pronuncibili, 50 stringhe non pronuncibili e 4 parole reali positive (es. crungus, fungus).
  3. Generazione: Ogni parola è stata usata come prompt 16 volte su SD1.5.
  4. Metrica Purity@1: Calcolo della frazione di immagini generate da una parola che hanno come "vicino più prossimo" (nel spazio vettoriale CLIP) un'altra immagine della stessa parola. Un punteggio di 1.0 indica un clustering perfetto.
  5. Analisi di Contaminazione: Verifica rigorosa per escludere che le parole nonsense corrispondessero a entità reali o riferimenti culturali esistenti nel dataset di addestramento.

3. Risultati Chiave

Risultati dello Studio 1 (Identità)

• Convergenza Morfologica: L'addestramento LoRA su descrittori morfologici ha portato a una convergenza misurabile verso il bacino di identità di Marilyn Monroe. Il tasso di successo ("hit rate") è passato dall'8% al 70% dopo 4 round.
• Coordinamento Bidirezionale: Il LoRA non solo attira verso il target, ma struttura anche lo spazio inverso.
  • Push-Pull: Quando si spinge il modello verso caratteristiche opposte (Arm C), il modello base SD1.5 produce output "eldritch" (distorsioni strutturali, mostri). Il modello con LoRA, invece, produce output nella "valle uncanny": facce anatomicamente plausibili ma "precisamente sbagliate" (espressioni vuote, proporzioni inquietanti). Questo fenomeno è definito "coherence drag" (trascinamento della coerenza).
• Transizioni di Fase: Variando il peso del LoRA, si osservano transizioni di fase discrete (salti tra attrattori) piuttosto che interpolazioni graduali, suggerendo che i bacini di identità hanno confini netti nello spazio latente.
• Stabilità: L'identità generata è invariante rispetto ai valori di Classifier-Free Guidance (CFG).

Risultati dello Studio 2 (Fonostemi)

• Coerenza Statistica: I candidati basati su fonostemi hanno ottenuto un punteggio medio Purity@1 di 0.371, significativamente superiore ai controlli casuali (0.209, p < 0.00001).
• Costruzione di "Cryptidi": Tre parole nonsense hanno raggiunto Purity@1 = 1.0 (coerenza perfetta) senza alcuna contaminazione da dati reali:
  1. Snudgeoid: Robot/meccanico (da sn- + -udge- + -oid).
  2. Crashax: Veicolo fuoristrada/dune buggy (da cr- + -ash- + -ax).
  3. Broomix: Personaggio cartone animato in stile franco-belga (da broom + -ix).
• Implicazione: Il modello non sta recuperando immagini memorizzate, ma sta costruendo nuovi concetti visivi basandosi sulle associazioni statistiche dei sotto-unità fonologiche (token BPE).

4. Contributi Principali

1. Navigazione senza Esempi: Dimostrazione che è possibile creare sistemi di coordinate navigabili intorno ai bacini di identità memorizzati utilizzando solo descrittori morfologici, senza bisogno di foto o nomi del target.
2. Modellazione Inversa: Evidenza che il fine-tuning LoRA modella non solo l'attrazione verso un concetto, ma anche la repulsione strutturata, creando una "geometria dell'errore" coerente (valle uncanny vs. rottura strutturale).
3. Mappatura delle Transizioni di Fase: Identificazione di confini netti tra i bacini di identità nello spazio latente, rivelati da cambiamenti bruschi negli output al variare dei pesi del modello.
4. Validazione della Teoria Fonostemica: Prova empirica che la struttura morfologica del prompt (suono) influenza direttamente la coerenza visiva, permettendo la generazione di concetti visivi completamente nuovi ("cryptidi") partendo da pattern sonori.

5. Significato e Conclusioni

Il paper stabilisce che gli spazi latenti dei modelli di diffusione non sono caotici o sparsi in modo imprevedibile, ma possiedono una struttura morfologica navigabile.

• Principio Unificato: La "pressione morfologica" opera sia a livello di descrizione delle caratteristiche (Studio 1) sia a livello di pattern fonologici (Studio 2).
• Costruzione vs. Recupero: Il lavoro distingue chiaramente tra la memorizzazione (recupero di concetti esistenti) e la costruzione generativa (creazione di nuovi concetti da componenti sub-lessicali).
• Cartografia dello Spazio Latente: Suggerisce che l'analisi morfologica e fonologica può servire come strumento generale per mappare la geometria interna dei modelli di generazione, rivelando come il modello organizza la conoscenza e come le associazioni statistiche si traducono in output visivi.

In sintesi, il lavoro dimostra che la grammatica morfologica e fonologica è una chiave per accedere e manipolare la geometria interna degli spazi latenti, permettendo di navigare verso identità note o costruire nuove entità visive senza dati di riferimento espliciti.