Resumen Técnico: SR-Prominencia

Enunciado del Problema

Los métodos modernos de Super-Resolución de Imagen Única (SISR), particularmente aquellos que utilizan priores generativos (GANs, modelos de Difusión), han mejorado significativamente la nitidez perceptual. Sin embargo, frecuentemente introducen artefactos visuales—patrones antinaturales, rostros difuminados y distorsiones de textura—que degradan la calidad percibida. Los marcos de evaluación existentes sufren dos limitaciones principales:

1. Evaluación Binaria: Los conjuntos de datos actuales (por ejemplo, DeSRA) y los métodos de detección tratan todos los defectos localizados por igual, asignando etiquetas binarias (artefacto presente/ausente) independientemente de si el defecto es perceptualmente notable. Esto falla al distinguir entre fallos estructurales altamente perturbadores y errores de textura apenas visibles.
2. Desalineación de Métricas: Las métricas tradicionales de referencia completa (PSNR, SSIM) correlacionan pobremente con la percepción humana para salidas generativas, mientras que los métodos de evaluación de calidad de imagen (IQA) sin referencia (NR) y los detectores de artefactos especializados a menudo fallan al generalizar a través de conjuntos de datos diversos y configuraciones de referencia.

El problema central es la falta de un objetivo ponderado perceptualmente para la evaluación de artefactos que cuantifique con qué frecuencia los espectadores notan un artefacto específico, en lugar de simplemente si un artefacto existe.

Metodología

1. Definición de la Prominencia del Artefacto

Los autores definen la prominencia del artefacto como la fracción de espectadores que juzgan que una región resaltada contiene un artefacto notable. Esto desplaza el objetivo de evaluación de la presencia binaria de defectos a una medida graduada del impacto perceptual.

2. Protocolo de Anotación Crowdsourced

Para recopilar datos de prominencia, los autores diseñaron un protocolo utilizando la plataforma Yandex.Tasks:

• Estímulos: Los participantes ven pares de imágenes: una "Original" (la entrada de baja resolución, escalada mediante interpolación de vecino más cercano al tamaño objetivo para indicar que es la referencia) y una "Escalada" (la salida SR).
• Resaltado: Las regiones de artefactos se resaltan visualmente. Para asegurar la evaluabilidad humana, las máscaras de artefactos crudas sufren un preprocesamiento morfológico (apertura, dilatación, cierre) para incluir contexto y eliminar ruido disperso.
• Tarea: Los participantes votan sobre si la región resaltada contiene objetos o texturas distorsionadas.
• Control de Calidad: Cada imagen es evaluada por 30 participantes. Los trabajadores pasan por fases de entrenamiento y prueba; aquellos que fallan en preguntas de control son descartados. Un análisis de bootstrap determinó que 30 evaluadores proporcionan un equilibrio razonable entre costo y confianza (variabilidad ±20%).
• Recopilación de Datos: El protocolo se aplicó para generar SR-Prominencia, una suite de conjuntos de datos que contiene 3.935 máscaras de artefactos.

3. Suite de Conjuntos de Datos (SR-Prominencia)

La suite comprende cuatro componentes complementarios que cubren 15 métodos SR ampliamente utilizados y sus variantes:

• Prominencia-DeSRA: Máscaras reanotadas del conjunto de datos DeSRA existente (593 máscaras).
• Prominencia-OpenImages: Imágenes naturales diversas (1.523 máscaras) que cubren varios tipos de contenido.
• Prominencia-Urban100: Escenas estructuradas (873 máscaras) conocidas por poner a prueba los métodos SR (texto, cuadrículas, patrones).
• Prominencia-Urban100-HR: Un escenario realista que utiliza imágenes originales de alta resolución de Urban100 sin submuestreo sintético (946 máscaras), simulando un escenario donde no hay verdad fundamental de alta resolución (HR-GT) disponible.

4. Protocolos de Referencia y Puntuación

El artículo introduce tres mecanismos de evaluación:

• Referencia de Artefactos Principales No Curada: Evalúa modelos SR y detectores agrupando máscaras basadas en el modelo que las generó o la métrica que las detectó. El rendimiento se mide por la prominencia media y el número de máscaras "confiables" (prominencia ≥ 50%).
• Puntuación sin Umbral: Una puntuación de correlación de Spearman entre el contraste del mapa de calor de un detector (dentro vs. fuera de la máscara) y la prominencia crowdsourced. Esto permite evaluar nuevos métodos sin necesidad de más crowdsourcing.
• Protocolo de Pseudo-Verdad Fundamental (Pseudo-GT): Para el escenario Urban100-HR (sin HR-GT), se utiliza un modelo SR ligero y resistente a artefactos (RLFN) para generar una pseudo-verdad fundamental. Luego, se calculan métricas de referencia completa (SSIM, DISTS) entre la salida SR y esta pseudo-verdad fundamental.

Contribuciones Clave

1. Concepto de Prominencia del Artefacto: Introducción de la "prominencia del artefacto" como un objetivo graduado y centrado en el espectador para la evaluación de artefactos SR, superando la detección binaria de defectos.
2. Suite de Conjuntos de Datos SR-Prominencia: Construcción de un conjunto de datos a gran escala (3.935 máscaras) con etiquetas de prominencia crowdsourced a través de cuatro configuraciones distintas (DeSRA, Open Images, Urban100, Urban100-HR) y 15 métodos SR.
3. Protocolos de Evaluación:
   • Un protocolo de puntuación que permite la referencia de nuevas métricas y detectores sin crowdsourcing adicional.
   • Un procedimiento de pseudo-verdad fundamental que permite aplicar métricas de referencia completa en escenarios realistas sin HR.
   • Una línea de base de referencia ligera (fusionando características DISTS, ssm_jup y bd_jup mediante un MLP) para la predicción de prominencia de artefactos.

Resultados Empíricos

• Las Máscaras Binarias son Insuficientes: La reanotación de DeSRA reveló que el 48,2% de sus artefactos binarios de laboratorio no fueron notados por la mayoría de los espectadores. Esto confirma que las etiquetas binarias capturan muchos defectos que son perceptualmente irrelevantes.
• Rendimiento de las Métricas:
  • Métricas de Referencia Completa: Las métricas clásicas, particularmente SSIM y DISTS, proporcionaron señales de prominencia localizadas sorprendentemente fuertes, superando a los detectores de artefactos especializados en muchos casos.
  • Limitaciones Sin Referencia: Los métodos IQA sin referencia y los detectores de artefactos especializados (por ejemplo, LDL, DeSRA, PAL4VST) a menudo fallaron al generalizar a través de conjuntos de datos y configuraciones de referencia, mostrando correlaciones cercanas a cero o negativas con los juicios de prominencia humana.
• Comportamiento del Modelo SR:
  • Entrenamiento Consciente de Artefactos: Los modelos entrenados específicamente para la prevención de artefactos (por ejemplo, LDL-SR) no necesariamente produjeron los artefactos menos prominentes; en algunos casos, produjeron los más prominentes.
  • Arquitecturas Robustas: Los modelos basados en Transformers orientados a la reconstrucción (por ejemplo, DRCT, HAT-L) demostraron una robustez superior, produciendo la menor prominencia media y el menor número de máscaras confiables en todos los componentes.
  • El Contexto Importa: Los artefactos en escenas estructuradas (Urban100) y contextos semánticos como texto y arte fueron significativamente más prominentes que aquellos en texturas naturales (césped, agua).

Significado y Afirmaciones

El artículo afirma que SR-Prominencia permite un cambio de paradigma en la evaluación de super-resolución:

• De Binario a Perceptual: Desplaza el campo de simplemente detectar la presencia de un defecto a evaluar el impacto perceptual de ese defecto.
• Utilidad Práctica: Al proporcionar un protocolo de puntuación que no requiere más crowdsourcing, la suite permite a los futuros investigadores evaluar nuevas métricas y métodos SR contra la notabilidad humana de manera eficiente.
• Evaluación Realista: La inclusión de la configuración Urban100-HR y el protocolo de pseudo-verdad fundamental aborda la brecha entre los benchmarks sintéticos y la implementación en el mundo real donde la verdad fundamental de alta resolución no está disponible.
• Perspectiva sobre las Métricas: Los hallazgos desafían la suposición de que los detectores de artefactos especializados son superiores, sugiriendo que las métricas de similitud estructural y perceptual de referencia completa bien diseñadas pueden ser más efectivas para identificar fallos notados por los espectadores.

Los autores concluyen que la evaluación de artefactos SR debe tener en cuenta qué artefactos notan realmente los espectadores, en lugar de tratar todos los defectos localizados como iguales, para guiar mejor el desarrollo de métodos de super-resolución perceptualmente robustos.