UniSER: A Foundation Model for Unified Soft Effects Removal

1. El Problema

Las imágenes digitales capturadas en entornos reales a menudo se degradan por efectos suaves (soft effects) como destellos de lente (lens flare), niebla (haze), sombras y reflejos. Estos efectos reducen la estética y la visibilidad, aunque los píxeles subyacentes permanezcan parcialmente visibles.

Los enfoques existentes presentan dos limitaciones principales:

• Modelos Especializados: Abordan cada degradación de forma aislada (ej. un modelo solo para niebla, otro para sombras). Aunque funcionan bien en sus tareas específicas, carecen de escalabilidad y no aprovechan las similitudes subyacentes entre estos problemas de restauración.
• Modelos Generalistas (Foundation Models): Modelos grandes basados en texto (como GPT-4o o Flux) ofrecen edición potente, pero suelen fallar en tareas de eliminación de efectos finos. A menudo dependen de prompts detallados, son inestables y, lo más crítico, alteran la identidad del fondo o la estructura local de la imagen, lo que los hace poco fiables para la edición profesional.

El desafío central es tratar la eliminación de efectos suaves como un problema unificado de descomposición de oclusiones semitransparentes, preservando la identidad de la escena y permitiendo un control preciso.

2. Metodología

El autores proponen UniSER, un modelo fundacional versátil diseñado para eliminar múltiples efectos suaves dentro de un solo marco unificado.

A. Curación de Datos a Gran Escala

Para garantizar robustez y generalización, el equipo curó un conjunto de datos masivo de aproximadamente 3.8 millones de pares de imágenes (imagen con efecto / imagen limpia).

• Integración: Unificaron datasets existentes de cuatro dominios: eliminación de destellos, sombras, niebla y reflejos.
• Expansión de Datos: Para llenar vacíos críticos (especialmente en destellos y sombras), generaron datos sintéticos físicamente plausibles:
  • HALO Dataset: 70k pares renderizados en 3D (Blender) para destellos, logrando consistencia geométrica superior a las superposiciones 2D.
  • LR-SRD: 26k pares de sombras sintetizados a partir de imágenes reales, cosiendo objetos sin sombra en fondos.
  • Niebla Físicamente Plausible: Utilizaron un pipeline de renderizado atmosférico basado en la ecuación de transferencia radiativa, incorporando mapas de profundidad monoculares y ruido procedural para simular niebla no homogénea, humo y bruma con texturas realistas.

B. Arquitectura del Modelo

UniSER se basa en un Transformador de Difusión (DiT) dentro de un marco de Latent Diffusion Model (LDM).

• Entrada: Codifica la imagen de entrada en un espacio latente y procesa instrucciones de texto (ej. "eliminar niebla").
• Control de Máscara y Fuerza:
  • Máscara: Se utiliza una estrategia de enmascaramiento aleatorio durante el entrenamiento (combinando formas geométricas y trazos libres) para que el modelo aprenda a manejar cualquier forma de máscara proporcionada por el usuario.
  • Fuerza de Eliminación: Se introduce un parámetro continuo $\alpha \in [0, 1]$. En lugar de una máscara binaria, se usa una máscara suave $\alpha M$. El objetivo de entrenamiento se genera interpolando linealmente entre la imagen limpia ($I_{gt}$) y la imagen con efectos ($I_{input}$) según la fuerza $\alpha$. Esto permite al usuario controlar la intensidad de la eliminación (de parcial a total).
• Generalización Zero-Shot: El modelo se entrena también con un prompt genérico ("remove effects") y tareas auxiliares de degradación aleatoria para aprender el concepto general de eliminar oclusiones, permitiendo manejar efectos no vistos durante el entrenamiento (ej. lluvia, manchas).

3. Contribuciones Clave

1. Dataset Unificado a Gran Escala: La creación de un conjunto de datos de 3.8M pares, equilibrado y diversificado, que incluye datos sintéticos físicamente realistas para cubrir escenarios subrepresentados.
2. Modelo Fundacional Versátil (UniSER): Un único modelo que supera a los modelos especializados y a los modelos generalistas masivos en la eliminación de múltiples efectos suaves, manteniendo la fidelidad del contenido.
3. Edición Controlable: Implementación de controles de usuario de grano fino, incluyendo máscaras espaciales (para definir dónde eliminar) y niveles de fuerza (para definir cuánto eliminar), permitiendo una restauración intuitiva y precisa.
4. Capacidad Bidireccional: El marco no solo elimina efectos, sino que también puede añadir o realzar efectos suaves de manera realista en imágenes limpias, invirtiendo el proceso de entrenamiento.

4. Resultados

El modelo fue evaluado en benchmarks públicos estándar y en datos "in-the-wild" (del mundo real) sin ground truth.

• Rendimiento Cuantitativo:
  • En datos del mundo real, UniSER superó significativamente a modelos especializados y generalistas (como Nano Banana, Flux Kontext, GPT-4o) en métricas sin referencia (LIQE, ganancia de contraste) y en evaluaciones basadas en VLM (QwenQA).
  • En benchmarks estándar (Flare7K, SRD, SOTS, SIR2), UniSER alcanzó el estado del arte (SOTA) en PSNR y SSIM, superando o igualando a los modelos especializados por tarea.
• Rendimiento Cualitativo:
  • Los modelos generalistas a menudo alteran la identidad de los objetos de fondo o introducen artefactos. UniSER preserva la identidad de la escena y elimina los efectos de manera limpia.
  • Demostró una fuerte capacidad Zero-Shot, eliminando efectos no vistos en entrenamiento como lluvia, manchas y óxido.
• Estudio de Usuarios: En una evaluación con usuarios reales, UniSER obtuvo una preferencia abrumadora (entre 89% y 97.5% de los votos) en todas las tareas, superando ampliamente a los competidores.

5. Significado e Impacto

UniSER representa un avance significativo hacia una solución universal y controlable para la restauración de imágenes de alta fidelidad.

• Unificación: Demuestra que efectos aparentemente diversos (niebla, sombras, destellos) comparten una esencia común (occlusiones semitransparentes) que puede aprenderse en un solo modelo.
• Control Profesional: A diferencia de los generadores de texto actuales, UniSER ofrece el control de píxel y la preservación de identidad necesarios para flujos de trabajo profesionales de edición fotográfica y visión por computadora.
• Escalabilidad: La metodología basada en datos masivos y síntesis física sugiere un camino viable para abordar otros problemas de degradación de imágenes más allá de los efectos suaves.

En resumen, UniSER establece un nuevo estándar para la eliminación de efectos suaves, combinando la potencia de los modelos fundacionales con la precisión y el control requeridos para aplicaciones del mundo real.