Workflow-Aware Structured Layer Decomposition for Illustration Production

Resumen Técnico: Descomposición de Capas para Ilustraciones de Anime

1. Planteamiento del Problema

Los métodos actuales de edición de imágenes generativas suelen tratar las imágenes como salidas RGB monolíticas o utilizan segmentación basada en objetos (separar fondo/primero plano, cabello/piel). Sin embargo, estos enfoques fallan al intentar replicar el flujo de trabajo profesional de producción de anime, donde los artistas descomponen manualmente las ilustraciones en capas funcionales específicas:

• Línea (Line Art): Contornos estructurales.
• Color Plano (Flat Color): Colores base sin sombreado.
• Sombras (Shadow): Áreas oscuras.
• Resaltados (Highlight): Áreas de luz.

Los modelos existentes entrelazan la geometría, el color y la iluminación en un solo espacio de características, lo que dificulta la edición controlada (como el recoloreo o el cambio de iluminación) y genera artefactos inconsistentes. Además, los métodos de descomposición intrínseca basados en física (reflexión vs. sombreado) no funcionan bien en el dominio del anime debido a su iluminación estilizada (cel-shading) que no sigue modelos de transporte de luz realista.

2. Metodología Propuesta

Los autores proponen un marco de descomposición de capas estructurado y consciente del flujo de trabajo, diseñado específicamente para alinearse con la producción de arte de anime.

• Arquitectura Base: Se basa en Qwen-Image-Layered, utilizando un transformador de difusión (DiT) y un VAE RGBA para codificar imágenes RGB y capas RGBA en un espacio latente compartido.
• Incrustaciones Semánticas de Capa (Layer Semantic Embeddings - LSE):
  • Para evitar la interferencia entre capas durante el proceso de difusión, se introducen incrustaciones semánticas ligeras.
  • Se asigna un vector de identidad única a cada una de las cuatro capas (línea, color plano, luz, sombra) dentro de la secuencia de tokens latentes.
  • Esto permite que el mecanismo de atención distinga el rol de renderizado de cada token sin modificar la topología del transformador.
• Ajuste Fino Eficiente (LoRA):
  • Se utiliza LoRA (Low-Rank Adaptation) para afinar el modelo preentrenado. Los pesos de la base se congelan y solo se optimizan los adaptadores LoRA y las incrustaciones de las capas, lo que estabiliza el aprendizaje y evita el acoplamiento excesivo.
• Supervisión por Capas (Layer-Wise Supervision):
  • En lugar de una pérdida global única, se aplica un conjunto de funciones de pérdida diferenciadas:
    • Capa de Línea: Se usa pérdida L1 para preservar la nitidez estructural y los bordes.
    • Capas de Color, Sombra y Resaltado: Se usa pérdida MSE (Error Cuadrático Medio).
    • Regularización de Dispersión: Se añade una penalización L1 a las predicciones de luz y sombra para fomentar la dispersión y evitar fugas de información entre capas.
    • Consistencia Composicional: Una restricción global asegura que la suma de las capas descompuestas sea fiel a la imagen original, evitando soluciones degeneradas.

3. Contribuciones Clave

1. Representación Consciente del Flujo de Trabajo: Formaliza la descomposición de ilustraciones de anime en cuatro capas funcionales (línea, color plano, resaltado, sombra) en lugar de segmentación semántica o física.
2. Modelo DiT Desacoplado por Capas: Un modelo que integra incrustaciones semánticas de capas y supervisión específica por capa para lograr una descomposición controlable y estable.
3. Nuevo Dataset de Alta Calidad: Debido a la falta de datos etiquetados con capas, los autores construyeron un dataset de 45 muestras de alta calidad. Este conjunto fue creado colaborando con artistas profesionales que generaron imágenes base y luego las descompusieron manualmente en un archivo PSD con las cuatro capas alineadas, simulando un flujo de trabajo industrial real.

4. Resultados y Evaluación

• Comparación Cualitativa:
  • Frente a métodos de dibujo informativo (Informative Drawing) y Ref2Sketch, el método propuesto genera líneas mucho más limpias, eliminando trazos de sombreado no estructurales.
  • Comparado con Flux Kontext (ajustado para comparación), el método propuesto evita cambios de color no deseados y genera bordes de resaltado más definidos, manteniendo una consistencia global superior.
• Métricas Cuantitativas:
  • Al recomponer las capas predichas y compararlas con la imagen original, el método supera significativamente a los baselines en PSNR (27.79 vs ~11.4), SSIM (0.9254 vs ~0.69) y LMSE (0.0017 vs ~0.07).
• Estudio de Ablación:
  • La eliminación de las incrustaciones semánticas (LSE) provoca interferencia entre capas (ej. la capa de resaltado contiene estructuras de la línea).
  • La eliminación de la supervisión por capas (LW-Loss) resulta en desviaciones de color y dificultad para capturar la dispersión de las sombras.
• Tareas de Aplicación (Downstream):
  • El método permite tareas avanzadas como el recoloreo (cambiar el color plano manteniendo sombras y luces intactas), la integración de texturas en la ropa sin distorsionar la iluminación, y la edición de grosor de línea independiente del color.

5. Significado e Impacto

Este trabajo cierra la brecha entre la generación de imágenes por IA y los flujos de trabajo industriales de producción de anime. Al proporcionar una representación de capas que es semánticamente alineada con la práctica artística, el método no solo mejora la calidad visual, sino que habilita la edición controlada y la reutilización de activos. Esto es fundamental para la industria, donde la capacidad de modificar ilustraciones (cambiar paletas, ajustar iluminación, deformar estructuras) sin perder la coherencia estilística o requerir redibujado manual es un requisito crítico. El dataset y el código abierto facilitarán futuras investigaciones en edición de imágenes estructuradas y composición de contenido.