Resumen Técnico: Marginalización de Fase para la Inestabilidad de la Rejilla de Parches en Vision Transformers

1. Planteamiento del Problema: Inestabilidad de Fase de la Rejilla de Parches

Los Vision Transformers (ViTs) dependen de un proceso de parcheado fijo para convertir imágenes en secuencias de tokens. Esto introduce una fase espacial discreta: la asignación específica de píxeles a tokens depende de la alineación de la rejilla de parches con respecto al sistema de coordenadas de la imagen. El artículo identifica esta fase de la rejilla de parches como una "variable de molestia" que causa inestabilidad dependiente de la fase en tareas de predicción densa (por ejemplo, segmentación, estimación de profundidad, emparejamiento local).

Específicamente, desplazar la rejilla de parches unos pocos píxeles (un desfase $\phi$) puede alterar la evidencia de tokens disponible para el modelo, particularmente cerca de los límites semánticos donde los píxeles vecinos pertenecen a diferentes clases o profundidades. Si las predicciones densas de un modelo cambian significamente cuando la rejilla de parches se desplaza, el modelo exhibe inestabilidad. Esto es distinto de las perturbaciones genéricas de imagen (como el ruido o la rotación) y representa un artefacto de cuantización arquitectónica específico inherente a la tokenización de parches no superpuestos.

2. Metodología: Marginalización de Fase

El artículo propone la Marginalización de Fase, un envoltorio (wrapper) de inferencia post-hoc, libre de entrenamiento, diseñado para mitigar esta inestabilidad sin modificar el backbone ni reentrenar el modelo.

Mecanismo Central

El método trata la fase de la rejilla de parches como una variable sobre la cual marginalizar. En lugar de una única pasada hacia adelante con una rejilla canónica ($\phi = (0,0)$), el modelo evalúa la imagen bajo un conjunto estructurado de desfases $\Phi_K = \{\phi_1, \dots, \phi_K\}$.

1. Desplazamiento de Fase: Para cada fase $\phi_k$, la imagen de entrada es procesada utilizando un operador de desplazamiento de fase $S_{\phi_k}$ (que involucra relleno reflectivo y recorte) para desplazar la rejilla de parches.
2. Inferencia: Un codificador ViT congelado y una cabeza densa producen un mapa de logits $z_{\phi_k}$ para cada fase.
3. Alineación Inversa: Cada salida se mapea de vuelta al sistema de coordenadas de la imagen original utilizando un operador de alineación inversa $A^{-1}_{\phi_k}$. Esto implica remodelado (reshaping), sobremuestreo bilineal (con align-corners=False) y recorte para recuperar la resolución original.
4. Agregación: Los logits alineados se promedian para producir la predicción final:
   $$\bar{z}(p) = \frac{1}{K} \sum_{k=1}^K \mathcal{A}^{-1}_{\phi_k}(z_{\phi_k})(p)$$

Variante Principal: Marginalización de Fase Uniforme

La contribución central es la Marginalización de Fase Uniforme con $K=4$. Para un tamaño de parche par $P$, el método muestrea cuatro cuadrantes canónicos del espacio de fase de sub-parches:
$$\Phi_4 = \{(0,0), (0, P/2), (P/2, 0), (P/2, P/2)\}$$
Este enfoque es computacionalmente equivalente a un ensamble de 4 pasadas de Aumento de Tiempo de Prueba (TTA) genérico, pero muestrea la variable de molestia específica de la alineación de la rejilla de parches en lugar de transformaciones de imagen genéricas.

Variantes Secundarias (Auditorías)

El artículo también evalúa varias variantes aprendidas y adaptadas como auditorías secundarias, incluyendo:

• Atención de Características de Fase Aprendida: Un módulo entrenado que aprende a ponderar las características específicas de la fase basándose en la varianza local.
• Ajuste Parcial del Codificador: Descongelar los últimos bloques del codificador mientras se utiliza la atención de fase.
• Promedio Pre-Transformer: Promediar los embeddings de los parches antes de la auto-atención (una variante de diseño negativa).
• Fusión Específica de Profundidad: Variantes adaptadas para la estimación de profundidad con corrección residual.
  Estas se presentan como comparaciones exploratorias más que como el método principal propuesto.

3. Contribuciones Clave

1. Definición del Fenómeno: El artículo define formalmente la inestabilidad de fase de la rejilla de parches como una variable de molestia medible para la predicción densa de ViT, separándola del aliasing de desplazamiento genérico en CNNs.
2. Propuesta del Método: Introduce la Marginalización de Fase Uniforme, un procedimiento post-hoc, libre de entrenamiento, que agrega predicciones sobre fases estructuradas de la rejilla de parches.
3. Evidencia Empírica: El método demuestra mejoras consistentes sobre la línea base canónica de $K=1$ en tareas de segmentación, profundidad y emparejamiento local.
4. Comparaciones Controladas: Proporciona comparaciones de cómputo igualado contra TTA basado en desplazamientos genéricos y un estudio de escalado ($K=4, 8, 16$) para establecer $K=4$ como un compromiso práctico entre costo y precisión.

4. Resultados Experimentales

El método fue evaluado en segmentación semántica (GTA5→Cityscapes, SYNTHIA→Cityscapes, ADE20K), estimación de profundidad (NYU Depth v2) y emparejamiento de características locales (HPatches).

• Ganancias de Rendimiento: La Marginalización de Fase Uniforme ($K=4$) mejoró sobre la línea base $K=1$ en cada configuración medida.
  • Segmentación: Las mejoras oscilaron entre +0.76 y +1.39 mIoU en ADE20K y configuraciones de dominio cruzado (por ejemplo, +0.82 mIoU en GTA5→Cityscapes).
  • Profundidad: Redujo el RMSE de 0.6506 a 0.6277 en NYU Depth v2.
  • Emparejamiento: Mejoró la precisión en HPatches (por ejemplo, +3.75% para DINOv2).
• Comparación con TTA: En un experimento controlado de Cityscapes con un presupuesto de cuatro pasadas igualado, la Marginalización de Fase Uniforme proporcionó una ventaja modesta (+0.31 mIoU) sobre el TTA de desplazamiento basado en filas genérico, sugiriendo que el muestreo de la fase de la rejilla de parches específicamente es más efectivo que el desplazamiento de imagen genérico.
• Estudio de Escala: Aumentar $K$ más allá de 4 produjo rendimientos decrecientes. $K=8$ mostró esencialmente ningún cambio, y $K=16$ añadió poca precisión a una latencia significativamente mayor, validando $K=4$ como el estándar práctico.

5. Significancia y Reivindicaciones

El artículo posiciona la fase de la rejilla de parches como una fuente medible de inestabilidad en los ViT que puede mitigarse sin rediseño arquitectónico o reentrenamiento.

• Utilidad Diagnóstica: El método sirve como una herramienta de diagnóstico simple; una alta varianza de fase indica que las predicciones de un modelo son sensibles a la alineación arbitraria de la rejilla.
• Línea Base Práctica: Ofrece un "diagnóstico simple y una línea base de marginalización post-hoc" para la predicción densa de ViT.
• Despliegue: A diferencia de las soluciones arquitectónicas (como Swin, PVT o tokens superpuestos) que requieren rediseño del modelo o nuevos regímenes de entrenamiento, la Marginalización de Fase es un envoltorio de inferencia ligero compatible con backbones congelados (como los modelos tipo DINO).

Los autores mantienen un tono modesto, presentando el método no como un reemplazo para las innovaciones arquitectónicas, sino como una corrección necesaria para un artefacto de cuantización específico, mejorando la robustez y la generalización en los procesos de predicción densa existentes.