Abstraction in Style

1. El Problema

Los métodos tradicionales de transferencia de estilo (style transfer) se centran principalmente en replicar las características visuales superficiales de una obra de referencia (textura, paleta de colores, pinceladas) sobre una imagen objetivo, manteniendo estrictamente la geometría original de la entrada.

Sin embargo, muchos estilos artísticos, especialmente los ilustrativos y no realistas, no se definen solo por la apariencia superficial, sino por una reinterpretación deliberada de la estructura. Estos estilos implican:

• Simplificación o exageración de formas.
• Alteración de proporciones y simetrías.
• Eliminación de detalles geométricos no esenciales.
• Transformación de líneas y contornos para transmitir una intención semántica o perceptual.

Los métodos actuales, al preservar la geometría de entrada, fallan en capturar esta "lógica de abstracción", produciendo resultados que carecen de coherencia con el estilo de referencia cuando este requiere una deformación estructural significativa.

2. Metodología: Abstraction in Style (AiS)

El marco propuesto, AiS, aborda este desafío separando explícitamente la abstracción estructural de la estilización visual. El proceso se divide en dos etapas secuenciales, ambas impulsadas por un mecanismo compartido de Transferencia de Analogía Visual (VAT) basado en modelos de difusión.

A. Concepto Central: El Proxy de Abstracción

En lugar de transformar directamente la imagen objetivo al estilo final, AiS genera un Proxy de Abstracción intermedio. Este es una representación que reinterpreta la estructura de la imagen objetivo según la lógica del estilo de referencia, pero sin aplicar aún el estilo visual final.

B. Etapa 1: Abstracción Estructural (A-VAT)

El objetivo es reinterpretar la estructura de la imagen objetivo.

1. Construcción del "Hidden Backbone" (Columna Vertebral Oculta): La imagen objetivo se convierte en una representación estructural simplificada. Esto se logra mediante:
   • Vectorización: Eliminación de ruido fotográfico y texturas, convirtiendo la imagen en formas planas de color sólido.
   • Extracción de Esqueleto y Erosión: Se extrae el esqueleto topológico de las formas y se aplican residuos de erosión de regiones para preservar el volumen y las proporciones, evitando que las formas masivas se reduzcan a simples líneas.
2. Transferencia de Analogía (A-VAT): Se entrena un adaptador ligero (LoRA) sobre un modelo de difusión (FLUX.1-Fill-dev) utilizando pares de imágenes de referencia. El modelo aprende la analogía visual:
   • Backbone de Referencia → Proxy de Referencia :: Backbone Objetivo → Proxy Objetivo.
   • El modelo aprende cómo el estilo de referencia transforma una estructura básica en su versión abstracta y aplica esa misma lógica a la imagen objetivo.

C. Etapa 2: Estilización Visual (S-VAT)

Una vez generado el Proxy de Abstracción, este se renderiza para obtener la imagen final.

• Se utiliza el mismo mecanismo VAT (S-VAT) para aprender la transformación de apariencia.
• La analogía es: Proxy de Referencia → Salida de Referencia :: Proxy Objetivo → Salida Final.
• Esto asegura que la imagen final mantenga la coherencia visual con el estilo de referencia, pero sobre la estructura ya reinterpretada.

D. Mecanismo de Aprendizaje (VAT)

La Transferencia de Analogía Visual (VAT) es el núcleo técnico. En lugar de usar reglas geométricas explícitas, el sistema utiliza un modelo de difusión fine-tuneado con LoRA. Se presenta al modelo un layout de analogía 2x2:

• Fila superior: Una pareja de referencia (A → A').
• Fila inferior: Una nueva entrada (B) y una salida enmascarada (B') que el modelo debe predecir.
• Esto permite aprender transformaciones complejas directamente en el espacio de imágenes a partir de un pequeño conjunto de ejemplos (5-20 pares).

3. Contribuciones Clave

1. Desacoplamiento de Abstracción y Apariencia: AiS es el primer marco que trata la abstracción estructural como un proceso explícito, transferible y separado de la estilización visual.
2. Proxy de Abstracción Intermedio: Introduce una representación intermedia que permite la reimaginación geométrica antes de aplicar el estilo, superando la limitación de preservar la geometría original.
3. Transferencia de Analogía Visual (VAT): Propone un mecanismo genérico y reutilizable basado en modelos de difusión para aprender transformaciones estructurales y de apariencia sin supervisión geométrica explícita.
4. Controlabilidad y Mezcla: Al separar los módulos (A-VAT y S-VAT), los usuarios pueden combinar diferentes lógicas de abstracción con diferentes estilos visuales, permitiendo la creación de nuevos diseños híbridos controlados.

4. Resultados y Evaluación

• Cualitativos: Los experimentos muestran que AiS genera resultados coherentes en estilos ilustrativos desafiantes (como bocetos, arte lineal y estilos de cómic) donde los métodos basales fallan al mantener la geometría original. La mezcla de diferentes A-VATs y S-VATs demuestra la capacidad de control independiente sobre la estructura y el estilo.
• Cuantitativos: En una prueba con 20 muestras y 10 estilos de referencia:
  • Similitud de Estilo (CSD): AiS obtuvo la puntuación más alta (0.72) comparado con métodos como StyleID, StyleAlign y Nano Banana.
  • Similitud Perceptual (LPIPS): AiS obtuvo la puntuación más baja (0.47), indicando una mayor fidelidad al estilo de referencia.
• Estudio de Usuarios: En una evaluación ciega, el método AiS fue seleccionado en el 50% de los casos como el que mejor capturaba el estilo de referencia manteniendo la esencia del objetivo, superando significativamente a los métodos de la competencia (Nano Banana: 35%, Attention Distillation: 15%).
• Estudios de Ablación: Se demostró que eliminar la etapa de abstracción o el uso de "Backbone" erosionado resulta en una pérdida de la lógica visual abstracta y una adherencia excesiva a la geometría original.

5. Significado e Impacto

El trabajo Abstraction in Style representa un avance conceptual y técnico en la generación de imágenes artísticas.

• Superación de Limitaciones: Resuelve el problema fundamental de que la transferencia de estilo tradicional no puede manejar la "razonamiento visual de alto nivel" necesario para estilos abstractos.
• Nueva Paradigma: Establece que la abstracción no es un subproducto accidental, sino un componente fundamental que debe modelarse explícitamente.
• Aplicabilidad: Permite una mayor expresividad en la generación de contenido artístico, facilitando la creación de ilustraciones que no solo "parecen" un estilo, sino que "piensan" como ese estilo al reestructurar la realidad.
• Futuro: Abre la puerta a futuras investigaciones sobre distorsiones semánticas controladas y la creación de representaciones de abstracción más ricas que vayan más allá de la simplificación geométrica básica.