Resumen Técnico: SpiralFovea: Tokenización Foveada Adaptativa al Input

1. Planteamiento del Problema

Las técnicas actuales de inferencia adaptativa para modelos fundacionales operan principalmente sobre dos "palancas" establecidas:

1. Arquitectura/Profundidad: Salida temprana (early exit), enrutamiento de Mezcla de Expertos (MoE) y profundidad dinámica.
2. Atención/KV-Cache: Atención dispersa (sparse attention), atención deformable y compresión de KV-cache.

Sin embargo, estos métodos actúan sobre una tokenización de entrada de rejilla fija. Independientemente del contenido de la imagen, un Vision Transformer (ViT) estándar divide una imagen de $224 \times 224$ en $N=196$ parches uniformes en orden de rasterización. Este enfoque viola el principio de tasa-distorsión, que postula que la asignación óptima de capacidad debe ser proporcional a la densidad de información local. La tokenización uniforme asigna recursos computacionales iguales a regiones de fondo de baja entropía y regiones discriminativas de alta entropía, incurriendo en costos innecesarios en cada capa del transformer antes de que ocurra cualquier adaptación.

Mientras que la poda de tokens (una técnica de la Palanca-1) reduce el recuento de tokens, es estructuralmente distinta porque primero forma la rejilla uniforme completa, la proyecta y la procesa a través de al menos un bloque transformer antes de descartar los tokens. El costo de procesar los tokens no informativos ya se ha pagado.

La Brecha: Existe una "tercera palanca" faltante: Tokenización Adaptativa al Input. Esta palanca pregunta qué tokens deberían existir para una imagen específica antes de que se consulten los parámetros del backbone, en lugar de podarlos después de su formación.

2. Metodología: SpiralFovea

Los autores proponen SpiralFovea, un tokenizador adaptativo al input y libre de parámetros, que genera un conjunto de longitud variable de tokens basado en la entropía visual local. El proceso ocurre enteramente antes de la pasada hacia adelante (forward pass) del backbone.

Pipeline Central

1. Generación del Mapa de Entropía:

   • La imagen de entrada $I$ se convierte a luminancia (BT.601), se reduce de escala a $D \times D$ y se cuantifica en $B$ contenedores (bins).
   • Una ventana deslizante calcula las probabilidades de los contenedores empíricas para derivar un mapa de entropía de Shannon local $E(x, y)$.
   • Este cálculo es $O(HW)$, libre de parámetros y cuesta $<2\%$ de un solo bloque transformer.

2. Selección de Anclajes de Hotspot (Puntos Calientes):

   • La altura de la imagen se divide en $S$ franjas.
   • Dentro de cada franja, se selecciona la ubicación de máxima entropía como un anclaje ($c_s$), asegurando diversidad horizontal.
   • Los anclajes se normalizan y se desduplican basándose en un umbral de radio ($\tau_{dedup}$).

3. Extracción de Anillos Espirales Multiescala:

   • Alrededor de cada anclaje retenido, los parches se colocan en $K=4$ anillos concéntricos.
   • Anillo 0: Un único parche foveal.
   • Anillos $k > 0$: Contienen $n_k$ parches dispuestos en un patrón de espiral con radio y tamaño de parche crecientes.
   • El esquema está diseñado para cubrir el espacio sin dejar huecos. Para una imagen de $224 \times 224$ con 4 franjas activas, el máximo teórico es de 116 parches, pero un filtro de fuera de límites típicamente reduce el recuento final a $\le 78$ parches (una reducción de $\sim 60\%$ respecto a los 196 estándar).

4. Adquisición de Tokens y Embedding:

   • Los parches se muestrean mediante muestreo de rejilla bilineal.
   • Embedding: Los parches se proyectan utilizando el patch_embed.proj congelado del backbone.
   • Codificación Posicional (PE): La PE sinusoidal de rasterización estándar se reemplaza por una PE Polar. Un MLP de 2 capas aprendido mapea las coordenadas polares $(\hat{c}_s, k, \theta)$ a embeddings. Esto respeta la proximidad geométrica de los parches en la disposición foveada (adyacentes espacialmente independientemente del índice del anillo) y la simetría rotacional de la espiral.
   • Procesamiento del Backbone: La secuencia de longitud variable (más un token CLS) se pasa a través de la pila de transformers congelada.
   • Adaptación CNN: Para backbones CNN, los parches se codifican mediante un tronco ResNet-18 compartido y se fusionan vía bloques Mamba (modelos de espacio de estados) para manejar eficientemente las longitudes de secuencia variables.

3. Contribuciones Clave

1. Marco Conceptual: Posiciona la tokenización adaptativa al input como una "tercera palanca" distinta y complementaria de la inferencia adaptativa de recursos, separada de las modificaciones de arquitectura y atención.
2. Implementación de SpiralFovea: Un tokenizador guiado por entropía, libre de parámetros y $O(HW)$, con cobertura de anclajes demostrable y extracción de espiral multiescala. La selección se completa antes de que se evalúe cualquier parámetro del backbone.
3. Motivación Teórica: Justifica el diseño mediante la teoría de tasa-distorsión (asignando capacidad a la densidad de información) y la visión biológica (centralis foveal y saliencia periférica).
4. Desempeño Empírico: Demuestra mejoras de Pareto estrictas a través de cuatro benchmarks granulares y cuatro familias de backbones.
5. Diagnóstico de Despliegue: Identifica una condición límite donde el método es más efectivo: produce las mayores ganancias en backbones con priors posicionales débiles o agnósticos a la tarea (ej. modelos autosupervisados como DINO), mientras que las ganancias disminuyen o se revierten en modelos con priors de rasterización fuertes y fijos (ej. ViT-S/16 supervisado).

4. Resultados Experimentales

El método fue evaluado en cuatro benchmarks: WikiArt (GAN-Genre, Style), Oxford Flowers-102, PatchCamelyon y CUB-200-2011 (agrupación de Género).

• Precisión vs. Eficiencia: SpiralFovea logra una mejora de Pareto de dominancia estricta.

  • Reducción de Tokens: Reduce los tokens de entrada de 196 a $\le 78$ ($\sim 60\%$ de reducción).
  • Ganancia de Precisión: Produce un aumento de +1.7 a +2.1 puntos porcentuales en la precisión top-1 sobre los baselines estáticos equivalentes.
  • Reducción de Cómputo: Reduce los FLOPs de auto-atención en un 84% en cada capa del transformer (no solo en una etapa), ya que el tamaño de la matriz de atención escala cuadráticamente con el recuento de tokens ($78^2$ vs $196^2$).
  • Throughput (Rendimiento): Aumenta el throughput en un 18–29% en GPUs Tesla T4.

• Estudios de Ablación:

  • Colocación de Anclajes: Los anclajes guiados por entropía son críticos; los hotspots aleatorios resultan en una caída de $-1.5$ pp.
  • Selección de Tokens: Seleccionar qué parches importa más que la cantidad; un subconjunto aleatorio de 78 parches tiene un desempeño peor que el baseline de 196 parches.
  • Decisiones de Diseño: Los anillos multiescala (+1.1 pp), la disposición en espiral (+0.9 pp) y la PE Polar (+0.5 pp) contribuyen significativamente.

• Análisis de Límite (CUB-Genus):

  • La ganancia es inversamente proporcional a la fuerza del prior posicional de preentrenamiento del backbone.
  • Mayor Ganancia: DINO-ViT-S autosupervisado (+0.93 pp) y ResNet-18 (+0.9 pp).
  • Menor/Negativa Ganancia: ViT-S/16 supervisado (-0.28 pp). Los autores atribuyen esto a que el preentrenamiento del modelo se ha "comprometido" con una rejilla de rasterización uniforme, haciendo que la sustitución por tokens dispersos sea perjudicial, combinada con la saturación del desempeño.

5. Significado y Reivindicaciones

El artículo afirma que SpiralFovea representa un cambio fundamental en cómo los modelos fundacionales procesan la entrada visual. Al tratar el conjunto de tokens de entrada como una palanca de eficiencia primaria, evita el "desperdicio" de procesar regiones no informativas por completo.

• Componibilidad: El método es ortogonal a las técnicas de la Palanca-1 (arquitectura) y Palanca-2 (atención). Los autores argumentan que combinar estas palancas crea un efecto multiplicativo en los ahorros (ej. una secuencia más corta para early exit o enrutamiento de MoE).
• Régimen Objetivo: El trabajo aísla a los modelos fundacionales autosupervisados como el régimen donde la tokenización adaptativa al input es más valiosa, ya que estos modelos carecen de los rígidos priors posicionales de los modelos entrenados con ImageNet de forma supervisada.
• Impacto Práctico: Reducir los tokens enviados a un backbone congelado produce ahorros proporcionales en memoria de GPU y energía, reduciendo el costo de carbono de la inferencia. El método es particularmente adecuado para el reconocimiento de grano fino y la imagen médica (PatchCamelyon), donde las señales discriminativas están concentradas espacialmente.

Los autores concluyen que la "tercera palanca" está mayormente inexplorada e invitan a la comunidad a investigar la frontera de Pareto composicional de la combinación de la adaptación de la entrada con otras técnicas de inferencia adaptativa, así como su aplicabilidad a otras modalidades no de imagen.