Resumen Técnico: Stable-Layers

Enunciado del Problema

La descomposición de capas de imagen —la tarea de separar una única imagen RGB en un pequeño conjunto de capas RGBA editables cuya composición reconstruye la original— es un primitivo fundamental para la edición profesional. Aunque la tarea es conceptualmente simple, es inherentemente difícil de supervisar. Una sola imagen admite muchas descomposiciones plausibles, y la calidad se determina por la usabilidad aguas abajo (separación semántica, máscaras alfa limpias, redundancia mínima y manejo fiel del contenido ocluido) en lugar de la similitud con un único objetivo de verdad fundamental.

Los métodos existentes suelen depender de conjuntos de datos sintéticos con capas o de supervisión emparejada (por ejemplo, archivos PSD de Photoshop). Sin embargo, tales enfoques imponen una limitación: cuando múltiples descomposiciones son igualmente válidas, la regresión hacia un único objetivo penaliza soluciones alternativas, igualmente plausibles. Además, las imágenes naturales carecen de anotaciones de capas de verdad fundamental emparejadas, creando una brecha de supervisión para entrenar modelos de descomposición robustos con datos del mundo real.

Metodología

Los autores proponen Stable-Layers, un marco de aprendizaje por refuerzo (RL) que ajusta fino un modelo preentrenado de descomposición de capas utilizando únicamente imágenes sin etiquetar y retroalimentación de un Modelo de Visión y Lenguaje (VLM), eliminando la necesidad de supervisión emparejada o objetivos sintéticos.

Marco Central

El método se basa en Flow-GRPO (Optimización de Política Relativa de Grupo para Flow Matching) y el modelo base Qwen-Image-Layered. El bucle de entrenamiento opera en tres fases:

1. Generación: Para una imagen de entrada dada, la política muestrea $G$ descomposiciones candidatas mediante flow matching aumentado con EDE.
2. Puntuación: Un juez VLM evalúa los candidatos utilizando un protocolo de recompensa especializado de dos fases.
3. Optimización: La política se actualiza utilizando GRPO, optimizando para ventajas relativas al grupo derivadas de las puntuaciones del VLM.

Innovaciones Técnicas Clave

1. Protocolo de Recompensa VLM de Dos Fases
El desafío principal al aplicar la retroalimentación de VLM como juez es que los VLM tienden a comprimir sus juicios en una banda de puntuación estrecha al evaluar muestras de forma aislada, lo que resulta en una baja varianza dentro del grupo que debilita la señal de aprendizaje de GRPO. Para abordar esto, Stable-Layers emplea una tubería de evaluación de dos etapas:

• Fase 1 (Puntuación Individual Estructurada): Cada candidato se puntúa independientemente en una escala de 0 a 5 según cinco criterios centrados en la edición: separación semántica, limpieza del alfa, inpainting de fondo, distribución de características y validez del contenido. Rúbricas ancladas aseguran una evaluación consistente de fallos categóricos.
• Fase 2 (Calibración Relativa de Cuadrícula): Para restaurar la varianza, todos los $G$ candidatos se colocan en mosaico en una cuadrícula de comparación etiquetada. El VLM vuelve a puntuar los candidatos relativos entre sí dentro de esta cuadrícula. Este paso dispersa las puntuaciones comprimidas, proporcionando la discriminación relativa detallada necesaria para una normalización de ventajas efectiva en GRPO.

2. Adaptación para Latentes Empaquetados (Reformulación RatioNorm)
GRPO-Guard estándar estabiliza el entrenamiento normalizando la razón de importancia de las log-probabilidades. Sin embargo, el modelo Qwen-Image-Layered empaqueta $N$ capas RGBA en una única secuencia latente de alta dimensión, inflando la dimensionalidad efectiva $D$ en aproximadamente 5 veces. Esto hace que la media espacial estándar de la razón logarítmica colapse hacia cero, suprimiendo la señal de aprendizaje.
Los autores introducen una modificación de suma y reescalado: en lugar de tomar una media espacial, suman las log-probabilidades sobre las dimensiones espaciales y normalizan por $\sqrt{D}$ antes de aplicar la centrado por paso. Esto restaura magnitudes de razón de $O(1)$ mientras retiene las propiedades de estabilización de la varianza de GRPO-Guard.

3. Estrategia de Datos
El modelo se entrena completamente en Fine-T2I, un subconjunto filtrado estéticamente de imágenes sin etiquetar. No se utilizan anotaciones de capas, ejemplos emparejados ni objetivos de descomposición sintéticos. El número de capas de salida se muestrea uniformemente (típicamente 2–5) durante el entrenamiento para exponer al modelo a una complejidad de descomposición variable.

Contribuciones Clave

1. Un Protocolo de Recompensa VLM de Dos Fases: Un método para aliviar la compresión de puntuaciones en el aprendizaje por refuerzo dentro del grupo, combinando puntuación absoluta estructurada con calibración relativa de cuadrícula, permitiendo una asignación de crédito más rica sobre pilas de capas.
2. Reformulación RatioNorm: Una modificación adaptada a representaciones latentes empaquetadas en RL de flow matching, asegurando una optimización estable para modelos que generan múltiples capas simultáneamente.
3. Mejora de la Calidad de Descomposición: Una demostración de que el ajuste fino con RL utilizando jueces VLM puede mejorar significativamente la separación de capas, reducir artefactos y mejorar el inpainting de fondo más allá de lo alcanzable con el entrenamiento supervisado solo.

Resultados

La evaluación en el conjunto de datos Crello y en imágenes LAION-Aesthetics retenidas demuestra mejoras sustanciales sobre el modelo base Qwen-Image-Layered:

• Métricas Cuantitativas: Stable-Layers logra un menor error de reconstrucción L1 RGB por capa en todos los conteos de capas probados (2, 3 y 4). Reduce significativamente la ocurrencia de capas "malas" (en blanco o con muchos artefactos) de ~1.65 a ~0.4 por descomposición.
• Mejoras Cualitativas:
  • Inpainting de Fondo: El modelo base a menudo produce fondos degenerados (por ejemplo, negro sólido o rellenos planos). Stable-Layers genera completaciones de escena plausibles donde se eliminan los objetos del primer plano.
  • Separación Semántica: El modelo base tiende a duplicar la imagen compuesta a través de las capas de primer plano. El modelo ajustado aísla elementos semánticos distintos (por ejemplo, separar a una persona de una barandilla de puente) en capas separadas con máscaras alfa más limpias.
  • Distribución de Características: El contenido se distribuye más uniformemente entre las capas en lugar de concentrarse en una sola capa.
• Estudios de Ablación:
  • Calibración de Cuadrícula: Eliminar la Fase 2 (calibración de cuadrícula) resulta en una menor calidad de la Capa 0 (plausibilidad del inpainting) y nitidez de bordes, confirmando que la calibración relativa es esencial para mejoras detalladas.
  • Condicionamiento de Texto: Utilizar un prompt detallado que refleja la rúbrica de recompensa en realidad degradó el rendimiento en comparación con un prompt básico, lo que sugiere que el condicionamiento explícito del prompt puede entrar en conflicto con los ejes de evaluación del juez VLM.

Significado y Afirmaciones

El artículo posiciona a Stable-Layers como una receta general para entrenar generadores orientados a la edición utilizando retroalimentación de jueces en lugar de objetivos de verdad fundamental. Los autores afirman que su enfoque convierte exitosamente juicios de VLM de caja negra en señales de aprendizaje que impulsan mejoras detalladas en la separación de capas y la validez del contenido sin requerir entrenamiento de recompensa específico de la tarea ni anotación humana.

El trabajo destaca que, aunque los VLM son jueces poderosos, su puntuación cruda requiere una calibración específica (mediante comparación de cuadrícula) para ser efectiva en entornos de RL donde la varianza dentro del grupo es crítica. El método propuesto ofrece una vía para mejorar modelos generativos para tareas de edición (como transferencia de estilo, inpainting o reorganización de escenas) donde los datos de verdad fundamental emparejados no están disponibles o donde existen múltiples salidas válidas.

Limitaciones: Los autores señalan que el método depende de un VLM propietario (Gemini-3-flash-preview), lo que introduce costos de API y una posible deriva en la distribución de puntuaciones entre versiones del modelo. La evaluación se basa en métricas automatizadas e inspección cualitativa en lugar de estudios con humanos. Además, el entrenamiento se limitó a cinco capas por muestra debido a restricciones de cómputo, dejando el comportamiento en descomposiciones con alto número de capas (soportadas por el modelo base hasta 20) sin evaluar.