⚡ electrical engineering

Discrete Cosine Transform Based Decorrelated Attention for Vision Transformers

Este artículo propone dos métodos basados en la Transformada Discreta del Coseno (DCT) para Vision Transformers: una estrategia de inicialización que preserva la estructura para las proyecciones de autoatención y que mejora la precisión de clasificación, y una técnica de compresión en el dominio de la frecuencia que reduce la sobrecarga computacional al truncar el ruido de alta frecuencia sin sacrificar el rendimiento.

Autores originales: Hongyi Pan, Emadeldeen Hamdan, Xin Zhu, Ahmet Enis Cetin, Ulas Bagci

Publicado 2026-05-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Hongyi Pan, Emadeldeen Hamdan, Xin Zhu, Ahmet Enis Cetin, Ulas Bagci

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Transformador de Visión (ViT) como un estudiante superinteligente que intenta aprender a reconocer objetos en una imagen. Para lograrlo, el estudiante divide la imagen en pequeños trozos de rompecabezas (parches) y observa cómo se relacionan entre sí. La parte del cerebro que realiza esta "observación y conexión" se llama Atención Automática.

El artículo de Hongyi Pan y sus colegas sugiere que este estudiante está comenzando sus estudios con algunos malos hábitos: está adivinando al azar al principio y está tratando de recordar cada pequeño detalle, incluso el estático y el ruido. Los autores proponen dos soluciones simples utilizando una herramienta matemática llamada Transformada Discreta del Coseno (DCT), la misma matemática utilizada para comprimir imágenes JPEG y archivos MP3.

Así es como funcionan sus dos nuevos métodos, explicados con analogías cotidianas:

1. El "Inicio Inteligente" (Inicialización basada en DCT)

El Problema:
Por lo general, cuando un Transformador de Visión comienza a entrenarse, asigna números aleatorios a sus "células cerebrales" (pesos) para determinar qué buscar. Es como darle a un nuevo estudiante una pila de tarjetas de memoria en blanco y decirle que adivine qué hay en el reverso. Deben comenzar desde cero, lo cual toma mucho tiempo y puede ser inestable.

La Solución:
Los autores dicen: "Démosle al estudiante una ventaja". En lugar de números aleatorios, inicializan las células cerebrales utilizando una matriz DCT.

La Analogía: Imagina que el cerebro del estudiante es un sintonizador de radio. La inicialización aleatoria es como girar el dial hacia el ruido estático. La inicialización con DCT es como sintonizar la radio a una estación específica y clara de inmediato.
Cómo funciona: La matriz DCT está compuesta por patrones específicos (como diferentes notas musicales o colores) que cubren todo el espectro de posibilidades. Al comenzar con estos patrones, el modelo no tiene que "adivinar" qué características existen; comienza con una visión estructurada y organizada del mundo.
El Resultado: El modelo aprende más rápido y se vuelve mejor reconociendo cosas (como gatos o coches) porque comenzó con una base "limpia" y organizada en lugar de ruido aleatorio.

2. El "Filtro de Ruido" (Compresión basada en DCT)

El Problema:
Cuando el modelo observa una imagen, intenta procesar cada detalle individual. Sin embargo, en el mundo de las señales (como las imágenes), la información más importante suele estar en las "frecuencias bajas" (las formas grandes y los colores principales), mientras que las "frecuencias altas" a menudo son solo detalles pequeños y dentados o ruido (como el grano en una foto).

La Analogía: Imagina que intentas describir un paisaje a un amigo. Le cuentas sobre las montañas, el río y los árboles (lo importante). Pero luego pasas 10 minutos describiendo cada hoja de hierba y cada partícula de polvo sobre una roca (el ruido). Es una pérdida de tiempo y energía.

La Solución:
Los autores proponen una manera de "recortar la grasa" antes de que el modelo realice su pensamiento pesado.

La Analogía: Utilizan la DCT para traducir la imagen en un "informe de frecuencias". Luego, simplemente cortan entre el 25% y el 75% superior del informe, tirando el ruido de alta frecuencia.
Cómo funciona: El modelo solo conserva los coeficientes de "baja frecuencia" (las formas importantes) e ignora el resto. Esto hace que los datos sean mucho más pequeños.
El Resultado: El modelo se vuelve mucho más ligero y rápido (requiriendo menos potencia de computación y memoria) porque no está desperdiciando energía en el ruido. Sorprendentemente, el artículo encontró que incluso con menos datos, la precisión del modelo se mantuvo igual o incluso mejoró ligeramente porque estaba enfocándose en las cosas correctas.

La Conclusión

El artículo afirma que al utilizar estos dos trucos de DCT:

Inicialización: El modelo comienza con un "mapa" mejor del mundo, lo que lleva a una mayor precisión en pruebas como la identificación de objetos en CIFAR-10 e ImageNet.
Compresión: El modelo puede ignorar el "estático" visual, lo que hace que funcione más rápido y use menos memoria sin perder su capacidad de ver claramente.

Los autores probaron esto en tareas estándar de reconocimiento de imágenes y descubrieron que sus modelos "Transformador-DCT" eran más eficientes y a menudo más precisos que las versiones estándar, demostrando que a veces, un poco de estructura matemática va muy lejos.

Aquí se presenta un resumen técnico detallado del artículo "Transformada Discreta del Coseno Basada en Atención Descorrelacionada para Vision Transformers".

1. Planteamiento del Problema

Los Vision Transformers (ViT) han revolucionado la visión por computadora al aplicar mecanismos de autoatención a parches de imagen. Sin embargo, persisten dos desafíos críticos:

Sensibilidad a la Inicialización: El enfoque estándar inicializa las matrices de proyección de consulta ( $W_Q$ ), clave ( $W_K$ ) y valor ( $W_V$ ) con números aleatorios (por ejemplo, inicialización Xavier o He). Esto trata los pesos como "ruido blanco", cubriendo el espectro uniformemente pero careciendo de conocimiento previo estructural. Esto puede conducir a dinámicas de entrenamiento inestables, especialmente en conjuntos de datos pequeños, y requiere recursos computacionales significativos para converger.
Eficiencia Computacional: Los mecanismos de autoatención son computacionalmente costosos (complejidad $O(N^2)$ respecto a la longitud de la secuencia y altos conteos de parámetros). Los métodos de compresión existentes a menudo sacrifican precisión o no logran explotar las estructuras de correlación específicas inherentes a los datos visuales y las matrices de atención.

2. Metodología

Los autores proponen dos métodos complementarios que aprovechan la Transformada Discreta del Coseno (DCT) para abordar estos problemas:

A. Inicialización Basada en DCT

En lugar de una inicialización aleatoria, los autores proponen inicializar una de las matrices de pesos de proyección ( $W_Q$ , $W_K$ o $W_V$ ) utilizando la matriz DCT ortogonal de Tipo-II.

Mecanismo: La matriz DCT sirve como un extractor de características estructurado. A diferencia de los pesos aleatorios que son ruido no correlacionado, los vectores base de la DCT cubren todo el espectro de frecuencias de manera sistemática.
Fundamento:
- Cobertura Espectral: La inicialización aleatoria comienza con la misma distribución espectral para todos los vectores de pesos. La inicialización con DCT asegura que cada vector de pesos cubra un ancho de banda diferente (desde frecuencias bajas hasta altas), proporcionando un punto de partida más robusto para aprender características diversas.
- Descorrelación: Los vectores base de la DCT aproximan la Transformada de Karhunen-Loève (KLT) para señales altamente correlacionadas (como imágenes naturales), descorrelacionando efectivamente las características de entrada al inicio del entrenamiento.
Implementación: Solo una matriz se inicializa con DCT para evitar problemas de simetría de pesos (donde la inicialización idéntica de múltiples matrices conduce a un aprendizaje deficiente). Las demás permanecen inicializadas aleatoriamente.

B. Atención Comprimida Basada en DCT

Este método explota el dominio de la frecuencia para reducir la dimensionalidad y el costo computacional.

Mecanismo:
1. Transformación: Los parches de entrada se transforman al dominio de la frecuencia utilizando DCT a lo largo del eje del canal.
2. Recorte: Se eliminan los componentes de alta frecuencia (que típicamente corresponden a ruido y detalles menos críticos). Solo se retiene la fracción superior $\tau$ de coeficientes (por ejemplo, 25%, 50%, 75%).
3. Proyección: Las proyecciones de Consulta, Clave y Valor se calculan sobre este tensor de dimensión reducida ( $\tau C$ en lugar de $C$ ).
4. Reconstrucción: La salida de la atención se rellena de nuevo a la dimensión original y se transforma de vuelta mediante la DCT Inversa (IDCT).
Optimización: La IDCT y la capa de salida lineal final ( $L_O$ ) se fusionan en una sola capa lineal para eliminar operaciones redundantes, ya que no hay no linealidad entre ellas.
Eficiencia: Esto reduce la complejidad computacional de las capas lineales de $O(C^3)$ a $O(\tau^2 C^3)$ y reduce significativamente el tamaño de la matriz Softmax.

3. Contribuciones Clave

Estrategia de Inicialización Novel: Se introdujo la primera inicialización basada en DCT para los pesos de atención de ViT, demostrando que los priores estructurados en el dominio de la frecuencia superan a la inicialización aleatoria.
Compresión Eficiente: Se propuso una técnica de compresión basada en DCT que reduce parámetros y FLOPs descartando ruido de alta frecuencia mientras preserva la información semántica esencial de baja frecuencia.
Justificación Teórica: Se proporcionó un vínculo matemático entre la DCT y la descorrelación de parches de imagen altamente correlacionados (aproximando KLT), explicando por qué la DCT es superior al ruido aleatorio o al agrupamiento simple para la compresión de atención.
Evaluación Exhaustiva: Se validaron los métodos en múltiples arquitecturas (Swin-T, Swin-S, ViT-B) y tareas (Clasificación, Detección, Segmentación).

4. Resultados Experimentales

Los métodos se evaluaron en los conjuntos de referencia CIFAR-10, ImageNet-1K y COCO 2017 utilizando Transformers Swin como columna vertebral.

Clasificación de Imágenes (CIFAR-10 e ImageNet-1K):
- Inicialización: Inicializar $W_K$ (Claves) con DCT mejoró consistentemente la precisión Top-1. Para Swin-T en ImageNet-1K, la precisión aumentó de 81.47% a 81.73%.
- Compresión: Retener el 75% de los coeficientes DCT ( $\tau=0.75$ ) redujo los parámetros en ~13% (Swin-T) y ~10% (Swin-S) mientras mantenía o mejoraba ligeramente la precisión en comparación con la línea base.
- Comparación: El método propuesto superó a DCFormer (un método anterior basado en DCT) al retener componentes de baja frecuencia con precisión en lugar de promediarlos, preservando así características discriminativas.
Detección de Objetos y Segmentación (COCO 2017):
- Utilizando inicialización DCT ( $W_K$ ) y compresión del 75%, los modelos lograron puntuaciones de Precisión Media (AP) más altas que los Transformers Swin estándar, reduciendo al mismo tiempo los conteos de parámetros en 3M (Swin-T) y 5M (Swin-S).
Estudios de Ablación:
- Inicialización Única vs. Múltiple: Inicializar múltiples matrices (por ejemplo, tanto $W_Q$ como $W_K$ ) con DCT degradó el rendimiento debido a problemas de ruptura de simetría; inicializar una sola matriz produjo los mejores resultados.
- Necesidad de la DCT: Eliminar la transformación DCT del pipeline de compresión (dejando solo el podado espacial) causó caídas significativas en la precisión, confirmando que la descorrelación en el dominio de la frecuencia es esencial para el éxito del método.

5. Significado

Este artículo demuestra que el análisis en el dominio de la frecuencia es una herramienta poderosa para optimizar los Vision Transformers.

Estabilidad del Entrenamiento: Ofrece una manera principada y no aleatoria de inicializar redes de atención profundas, potencialmente reduciendo el tiempo de entrenamiento y mejorando la convergencia en tareas con escasez de datos.
Eficiencia sin Sacrificio: Demuestra que el ruido de alta frecuencia puede descartarse de manera segura de los mecanismos de atención, permitiendo modelos más ligeros con menos parámetros y FLOPs más bajos sin comprometer (y a veces mejorando) el rendimiento.
Generalizabilidad: El enfoque es agnóstico a la arquitectura (probado en Swin y ViT) y agnóstico a la tarea (funciona para clasificación, detección y segmentación), lo que lo convierte en una adición versátil al conjunto de herramientas de ViT.

El código para la implementación está disponible públicamente, facilitando investigaciones adicionales sobre mecanismos de atención basados en frecuencia.