Morphological Addressing of Identity Basins in Text-to-Image Diffusion Models

Este trabajo demuestra que la presión morfológica, ya sea mediante descriptores de rasgos o patrones fonológicos en los prompts, crea gradientes navegables en los espacios latentes de modelos de difusión texto-a-imagen que permiten definir identidades visuales consistentes sin necesidad de datos de entrenamiento específicos.

Lo esencial

Imagina que los modelos de inteligencia artificial que crean imágenes (como los que pintan cuadros a partir de texto) son como bibliotecas gigantes y caóticas. En lugar de tener libros ordenados en estantes con etiquetas claras, esta biblioteca tiene millones de montones de arena mezclados.

Si quieres encontrar una foto de "Marilyn Monroe", no buscas su nombre en un índice. En su lugar, tienes que buscar el lugar exacto donde se mezclan la arena de "rubio platino", "lápiz labial rojo", "un lunar en la mejilla" y "glamour de los años 50".

Este paper (documento de investigación) descubre dos formas geniales de navegar por este caos sin necesidad de tener una foto de referencia ni saber el nombre de la persona o cosa que buscas.

Aquí tienes la explicación sencilla:

1. El Mapa de "Descriptores" (Estudio 1: Encontrando a Marilyn)

El problema:
Normalmente, para enseñarle a la IA a dibujar a alguien específico, necesitas darle 3 o 5 fotos de esa persona. Pero, ¿qué pasa si la IA ya "conoce" a esa persona porque la vio millones de veces en sus datos de entrenamiento, pero no puedes usar su nombre (por filtros de seguridad)?

La solución:
Los autores descubrieron que pueden "navegar" hacia la identidad de Marilyn Monroe simplemente combinando sus rasgos físicos (el "mapa" de su apariencia).

• La analogía: Imagina que la identidad de Marilyn es un valle profundo en un paisaje de montaña. Si le dices a la IA "rubio platino", te acercas un poco al valle. Si añades "lápiz labial rojo", te acercas más. Si añades "lunar", caes justo en el fondo del valle.
• El truco: Crearon un pequeño "ayudante" (llamado LoRA) que aprende a combinar estos rasgos. Lo increíble es que este ayudante no solo sabe cómo llegar a Marilyn, sino que también sabe cómo alejarse de ella de forma controlada.
• El resultado curioso: Cuando empujan al modelo para que evite a Marilyn, en lugar de crear monstruos extraños y rotos (como "eldritch horror"), el modelo crea algo que parece humano pero está "precisamente mal" (como un valle de la uncanny). Es como si el modelo supiera exactamente qué no es Marilyn, y eso le da estructura incluso al error.

2. La Caza de "Criaturas Sonoras" (Estudio 2: El misterio de Crungus)

El misterio:
En internet, la gente notó que si escribías una palabra sin sentido como "Crungus" en el generador de imágenes, la IA siempre dibujaba la misma criatura extraña y consistente. Nadie había enseñado a la IA qué era un "Crungus". ¿Por qué funcionaba?

La teoría:
Los autores propusieron que las palabras tienen "huesos" o sonidos que cargan significado, incluso si la palabra no existe. En lingüística, esto se llama fonestema.

• La analogía: Piensa en los sonidos como si fueran ingredientes mágicos.
  • El sonido "Cr-" (como en crash, crumble) suena a impacto o rotura.
  • El sonido "-ung-" (como en fungus, dungeon) suena a algo húmedo, oscuro o de cueva.
  • El sufijo "-us" suena a nombre de animal o cosa biológica.
  • Cuando juntas "Crungus", la IA no lee una palabra real, pero su cerebro interno (el codificador de texto) detecta esos ingredientes sonoros y los mezcla para crear un monstruo de cueva que choca.

El experimento:
Crearon 200 palabras nuevas usando estos "ingredientes sonoros" (como snudgeoid o crashax) y las compararon con palabras aleatorias sin sentido.

• El resultado: Las palabras con "sonidos con significado" crearon imágenes mucho más consistentes y coherentes que las palabras aleatorias.
• Los "Criptidos" confirmados: Encontraron tres palabras que crearon criaturas totalmente nuevas y coherentes sin que existieran antes en ningún libro o foto:
  1. Snudgeoid: Un robot mecánico y sucio (por el sonido sn- de sigilo y -oid de robot).
  2. Crashax: Un vehículo todoterreno listo para chocar (por cr- de impacto y -ax de herramienta).
  3. Broomix: Un personaje de cómic europeo (por broom de escoba/magia y -ix que suena a Asterix).

¿Qué significa todo esto?

Este paper nos dice que el "cerebro" de la IA no es una caja negra mágica, sino un mapa con terrenos estructurados.

1. No necesitas el nombre: Puedes llegar a un concepto (como una celebridad) solo combinando sus piezas (rasgos).
2. El sonido importa: Incluso si inventas una palabra, si suena "correcta" según las reglas ocultas del idioma, la IA entenderá qué dibujar.
3. El error tiene forma: Cuando la IA falla o se aleja de un concepto, no lo hace al azar; lo hace siguiendo una geometría lógica.

En resumen: La IA no solo "recuerda" cosas; tiene una gramática oculta donde los sonidos y los rasgos visuales se conectan como un rompecabezas. Si aprendes la "gramática" de cómo se mezclan estos sonidos y rasgos, puedes navegar por su mente y crear cosas nuevas o encontrar cosas viejas sin usar sus nombres.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Morphological Addressing of Identity Basins in Text-to-Image Diffusion Models" en español:

Resumen Técnico: Morfología y Navegación en Modelos de Difusión

1. Problema y Contexto

Los modelos de difusión de texto a imagen (como Stable Diffusion) memorizan conceptos específicos y personas de sus datos de entrenamiento, formando "cuencas de identidad" (identity basins) en su espacio latente. Tradicionalmente, acceder a estas identidades requiere nombres explícitos o imágenes de referencia (como en DreamBooth o Textual Inversion). Sin embargo, los nombres a menudo están filtrados y las imágenes de referencia pueden no estar disponibles.

El problema central es: ¿Es posible navegar hacia una identidad memorizada o construir conceptos visuales nuevos utilizando únicamente la estructura morfológica (descripciones de características o patrones fonéticos) sin nombrar la entidad ni usar sus imágenes? El artículo propone que la presión morfológica crea gradientes navegables en el espacio latente que permiten esta navegación.

2. Metodología

El estudio se divide en dos investigaciones principales que exploran la morfología a diferentes niveles del pipeline generativo:

Estudio 1: Navegación de Cuencas de Identidad mediante Descriptores Morfológicos (Nivel de Entrenamiento)

• Objetivo: Navegar hacia la identidad de Marilyn Monroe sin usar su nombre ni fotos, solo mediante la intersección de descriptores de características (ej. "rubia platino", "lunares", "glamour de los 50").
• Proceso:
  1. Generación Sintética: Se generan imágenes en Stable Diffusion 1.5 (SD1.5) usando prompts con descriptores morfológicos.
  2. Auto-Distilación: Se entrena un adaptador LoRA sobre las imágenes generadas que mejor se aproximan a la identidad objetivo. Este proceso se repite iterativamente (4 rondas), refinando el LoRA con sus propias salidas exitosas.
  3. Protocolo "Empuje-Atracción" (Push-Pull): Se prueba la navegación inversa combinando descriptores opuestos en el prompt positivo (ej. "estructura ósea angular, iluminación fría") y descriptores de la identidad objetivo en el prompt negativo.
• Métricas: Se utiliza ArcFace para medir la similitud de identidad y se analizan las transiciones de fase al variar los pesos del LoRA y el CFG (Classifier-Free Guidance).

Estudio 2: Navegación mediante Fonemas (Nivel de Prompt)

• Objetivo: Determinar si palabras sin sentido construidas con fonemas (grupos de sonidos con asociaciones semánticas consistentes en inglés, ej. cr- para impacto, -oid para robot) generan salidas visuales coherentes.
• Proceso:
  1. Generación de Candidatos: Se crearon 200 palabras sin sentido combinando onsets, núcleos y sufijos basados en la teoría de fonemas (ej. snudgeoid, crashax).
  2. Controles: Se compararon con palabras aleatorias pronunciables, cadenas no pronunciables y palabras reales conocidas (como Crungus).
  3. Evaluación: Se generaron 16 imágenes por candidato en SD1.5. Se calculó la métrica Purity@1 (qué porcentaje de las imágenes de un candidato son los vecinos más cercanos de otras imágenes del mismo candidato en el espacio de embeddings de CLIP).
  4. Análisis de Contaminación: Se verificó rigurosamente que las palabras no existieran en corpus web o diccionarios para descartar que el modelo estuviera "recordando" en lugar de "construir".

3. Contribuciones Clave

1. Sistemas de Coordenadas Sin Referencias: Demostración de que el entrenamiento de LoRA basado en descriptores constituyentes crea sistemas de coordenadas navegables alrededor de cuencas de identidad memorizadas, sin necesidad de nombres ni fotos de referencia.
2. Efecto de Moldeado Inverso: El LoRA no solo atrae hacia la identidad, sino que estructura el espacio latente en dirección opuesta. Al empujar el modelo hacia regiones dispersas, el LoRA produce un "valle inquietante" (uncanny valley) coherente en lugar de un colapso estructural caótico ("eldritch").
3. Transiciones de Fase Discretas: Se identificó que las cuencas de identidad tienen límites nítidos. Al variar los pesos del LoRA, las salidas no interpolan suavemente, sino que "saltan" entre atractores en umbrales específicos.
4. Construcción Visual desde Fonemas: Validación de que la estructura fonológica de palabras inventadas (basada en fonemas) genera conceptos visuales coherentes y nuevos, demostrando que el codificador de texto (CLIP) procesa asociaciones sub-lexicales de manera estadística.

4. Resultados Principales

• Estudio 1 (Marilyn Monroe):

  • La tasa de acierto ("hit rate") mejoró del 8.1% en la ronda 1 al 70% en la ronda 3 mediante auto-distilación.
  • Condicionamiento Inverso: Solo la combinación de "empuje" (descriptores opuestos) y "atracción" (evitar la identidad) logró acceder a regiones latentes dispersas.
  • Coherencia Drag: Con el LoRA, las salidas en regiones dispersas no eran monstruosas, sino "inquietantemente humanas" (valle inquietante), lo que indica que el LoRA moldea la falla del modelo.
  • La identidad se mantuvo estable a través de diferentes valores de CFG, confirmando una estructura de atractor robusta.

• Estudio 2 (Criptidos Fonéticos):

  • Las palabras con estructura de fonemas tuvieron una Purity@1 media de 0.371, significativamente mayor que las palabras aleatorias (0.209) y las cadenas no pronunciables (0.141) (p < 0.00001).
  • Tres "Criptidos" Confirmados: Se identificaron tres palabras que generaron identidades visuales consistentes (Purity@1 = 1.0) sin contaminación de datos:
    • Snudgeoid: Humanoides mecánicos/robots (combinación de sn- + -udge- + -oid).
    • Crashax: Vehículos todoterreno/buggies (combinación de cr- + -ash- + -ax).
    • Broomix: Personajes de cómic estilo franco-belga (combinación de broom + -ix).
  • Esto demuestra que el modelo construye conceptos nuevos a partir de la estadística de los componentes fonéticos, no solo recupera datos memorizados.

5. Significado e Implicaciones

• Cartografía del Espacio Latente: El trabajo sugiere que el espacio latente de los modelos de difusión es más estructurado y organizado de lo que se asumía. Existe una "gramática" morfológica que permite mapear y navegar este espacio.
• Mecanismo de Construcción vs. Recuperación: Se establece una distinción clara entre recuperar conceptos memorizados y construir nuevos a partir de componentes sub-lexicales. Los modelos no tratan las palabras desconocidas como tokens opacos, sino que descomponen sus patrones fonéticos para inferir significado visual.
• Nuevas Técnicas de Personalización: Ofrece una vía para personalizar modelos o acceder a identidades protegidas (por filtros de nombres) utilizando únicamente la intersección de características morfológicas.
• Fallo Estructurado: La capacidad de predecir cómo falla un modelo (el "valle inquietante" en lugar del caos) al empujarlo fuera de sus atractores sugiere una comprensión más profunda de la geometría del espacio latente.

En conclusión, el artículo demuestra que la presión morfológica (ya sea a través de descriptores visuales en el entrenamiento o patrones fonéticos en los prompts) crea gradientes navegables sistemáticos, permitiendo tanto la navegación precisa hacia identidades existentes como la generación de conceptos visuales novedosos y coherentes.