Resumen Técnico: Transformador Exploratorio Individualizado para la Superresolución de Imágenes

Planteamiento del Problema

La Superresolución de Imagen Única (SISR, por sus siglas en inglés) tiene como objetivo reconstruir imágenes de alta resolución (HR) a partir de entradas de baja resolución (LR). Aunque los métodos basados en Transformers han logrado un rendimiento de vanguardia al modelar dependencias de largo alcance, sufren de altos costos computacionales debido a la complejidad cuadrática de la autoatención estándar. Para mitigar esto, los enfoques existentes suelen restringir la atención a grupos fijos, como ventanas locales (por ejemplo, SwinIR) o categorías semánticas (por ejemplo, ATD).

Sin embargo, los autores argumentan que estas estrategias de "atención agrupada" pasan por alto la asimetría inherente de las similitudes entre tokens. En SISR, un token específico puede requerir información de un vecino distante para recuperar estructuras finas, mientras que ese vecino no necesariamente necesita información del token original. El agrupamiento fijo impone límites rígidos y fuerza una agregación simétrica, lo que impide que los tokens seleccionen de forma adaptativa a sus vecinos más relevantes, de manera unidireccional, a través de toda la imagen. Esta limitación conduce a un flujo de información redundante y a una reconstrucción subóptima.

Metodología: Transformador Exploratorio Individualizado (IET)

Para abordar estas limitaciones, el artículo propone el Transformador Exploratorio Individualizado (IET), centrado en un novedoso mecanismo de Atención Exploratoria Individualizada (IEA). A diferencia de los métodos de grupos fijos, la IEA permite que cada token seleccione de forma adaptativa e independiente sus candidatos de atención basándose en la similitud de contenido, operando de manera asimétrica.

Componentes Principales

1. Atención Exploratoria Individualizada (IEA)
La IEA reemplaza la autoatención estándar con un proceso dinámico que evoluciona de una atención local a una global a través de un refinamiento por capas. Consta de tres etapas clave:

• Inicialización: En el primer bloque, los candidatos de atención se inicializan utilizando una estrategia de dilatación. Esto realiza una atención densa dentro de una pequeña región local mientras muestrea de forma uniforme y dispersa los tokens de parches más grandes de $d \times d$. Esto proporciona un conjunto diverso de candidatos iniciales, equilibrando el detalle local con un contexto global grueso.
• Mecanismo de Propagación: En los bloques subsiguientes, el mecanismo expande el campo receptivo mediante la exploración de conexiones de orden superior. Si el token $A$ es similar al $B$, y el $B$ es similar al $C$, el mecanismo se propaga para incluir al $C$ como un candidato directo para el $A$ (un vecino de "dos saltos"). Esto permite que el alcance de la atención se expanda semánticamente en lugar de solo espacialmente.
• Mecanismo de Esparcimiento (Sparsification): Para mantener la eficiencia computacional, las conexiones de baja similitud identificadas en capas anteriores se podan. Solo se retienen los $K$ vecinos más similares para la siguiente capa. Esto asegura que los candidatos de atención sigan siendo relevantes y que el costo computacional sea lineal con respecto al número de tokens ($O(kN)$).

2. Red de Alimentación hacia Adelante de Fusión de Similitud (SF-FFN)
Los autores introducen una Red de Alimentación hacia Adelante (FFN) modificada que aprovecha las relaciones de similitud refinadas obtenidas de la IEA. Para cada token, la SF-FFN identifica su vecino más similar basado en los índices de atención actuales, reemplaza el token con este vecino y fusiona ambas representaciones utilizando un MLP por cabeza y una convolución de profundidad (depthwise). Esto facilita la interacción entre canales de tokens altamente correlacionados, complementando las limitaciones del módulo de atención en el modelado de dependencias entre canales.

3. Arquitectura de la Red
La arquitectura general de IET sigue los diseños estándar de Transformer para SR, pero reemplaza los bloques de atención estándar con bloques IEA y las FFN estándar con SF-FFNs. Se utiliza codificación de posición relativa solo en el primer bloque (donde la atención es local), mientras que se utiliza una Codificación de Posición Aprendible (LePE) en las capas posteriores.

Contribuciones Clave

1. Atención Exploratoria Individualizada (IEA): Un mecanismo que permite la selección de candidatos de atención de forma adaptativa al contenido y al token. Expande progresivamente el conjunto de candidatos con nuevos tokens similares mediante propagación, mientras poda los de baja similitud para mayor eficiencia.
2. Transformador Exploratorio Individualizado (IET): Una arquitectura novedosa que utiliza IEA para capturar flexiblemente dependencias globales sin comprometer la eficiencia computacional. Modela relaciones asimétricas, permitiendo que los tokens seleccionen vecinos unidireccionales que mejor apoyen la agregación de características.
3. FFN de Fusión de Similitud (SF-FFN): Un componente que mejora el intercambio de información entre tokens altamente correlacionados mediante la fusión de características basadas en los mapas de similitud refinados de la IEA.

Resultados Experimentales

Los autores evaluaron IET en benchmarks estándar de SISR (Set5, Set14, BSD100, Urban100, Manga109) con factores de escala de $\times2$, $\times3$ y $\times4$.

• Rendimiento: Bajo presupuestos computacionales comparables, IET logra un rendimiento de vanguardia.
  • En la configuración estándar de SR ($\times2$), IET supera al método anterior más avanzado, PFT, por 0.19 dB en Urban100 y por 0.39 dB sobre ATD.
  • En la configuración de SR ligera, IET-light supera a PFT-light por 0.36 dB en Urban100 ($\times2$) y logra una ganancia de 0.21 dB sobre PFT-light en Urban100 ($\times4$).
  • IET-light requiere solo el 9.1% de la complejidad computacional de SwinIR, superándolo en Set5 y Urban100.
• Estudios de Ablación:
  • El mecanismo de propagación se identifica como el principal motor de las ganancias de rendimiento, superando significativamente a la inicialización simple basada en dilatación.
  • El esparcimiento (Sparsification) reduce la redundancia computacional y mejora ligeramente el rendimiento al eliminar correlaciones débiles.
  • La SF-FFN proporciona ganancias marginales pero consistentes, logrando los mejores resultados cuando se coloca en los bloques posteriores donde los mapas de atención son más estables.
  • El rendimiento óptimo se logra con un factor de dilatación de $d=2$ para el entrenamiento y $d=3$ para la inferencia, y una relación $k_1/k_2$ de 2 en el paso de propagación.

Significado y Reivindicaciones

El artículo afirma que el IET propuesto demuestra que las relaciones asimétricas e individualizadas son cruciales para restaurar texturas complejas y preservar estructuras en SISR. Al alejarse de los límites de grupo rígidos hacia una exploración de vecinos adaptativa al contenido y al token, el modelo logra una agregación de información más precisa.

Los autores enfatizan que su método logra una calidad de reconstrucción superior (bordes nítidos y texturas limpias) manteniendo una eficiencia computacional comparable a los métodos de atención agrupada existentes. El trabajo sugiere que modelar la naturaleza direccional de la similitud permite un equilibrio más efectivo entre los campos receptivos globales y el costo computacional, ofreciendo una dirección potencial para tareas más amplias de visión y lenguaje más allá de la superresolución.