Resumo Técnico: SpiralFovea: Tokenização Foveada Adaptativa ao Input

1. Declaração do Problema

As técnicas atuais de inferência adaptativa para modelos de fundação operam primariamente em dois "alavancamentos" estabelecidos:

1. Arquitetura/Profundidade: Saída antecipada (early exit), roteamento de Mistura de Especialistas (MoE) e profundidade dinâmica.
2. Atenção/KV-Cache: Atenção esparsa, atenção deformável e compressão de KV-cache.

No entanto, esses métodos atuam sobre uma tokenização de input de grade fixa. Independentemente do conteúdo da imagem, um Vision Transformer (ViT) padrão divide uma imagem de $224 \times 224$ em $N=196$ patches uniformes em ordem raster. Essa abordagem viola o princípio da taxa-distorção, que postula que a alocação ideal de capacidade deve ser proporcional à densidade de informação local. A tokenização uniforme aloca recursos computacionais iguais para regiões de fundo de baixa entropia e regiões discriminativas de alta entropia, incorrendo em custos desnecessários em cada camada do transformer antes que qualquer adaptação ocorra.

Embora a poda de tokens (token pruning) seja uma técnica de Lever-1, ela é estruturalmente distinta porque primeiro forma a grade uniforme completa, projeta-a e a processa através de pelo menos um bloco transformer antes de descartar os tokens. O custo de processar tokens não informativos já foi pago.

A Lacuna: Existe um "terceiro alavancamento" ausente: Tokenização Adaptativa ao Input. Este alavancamento pergunta quais tokens devem existir para uma imagem específica antes que quaisquer parâmetros do backbone sejam consultados, em vez de podá-los após a formação.

2. Metodologia: SpiralFovea

Os autores propõem o SpiralFovea, um tokenizador adaptativo ao input e livre de parâmetros, que gera um conjunto de tokens de comprimento variável baseado na entropia visual local. O processo ocorre inteiramente antes da passagem (forward pass) do backbone.

Pipeline Central

1. Geração de Mapa de Entropia:

   • O input da imagem $I$ é convertido para luminância (BT.601), redimensionado para $D \times D$ e quantizado em $B$ bins.
   • Uma janela deslizante calcula as probabilidades empíricas dos bins para derivar um mapa de entropia de Shannon local $E(x, y)$.
   • Este cálculo é $O(HW)$, livre de parâmetros e custa $<2\%$ de um único bloco transformer.

2. Seleção de Âncora de Hotspot:

   • A altura da imagem é dividida em $S$ faixas (strips).
   • Dentro de cada faixa, a localização da entropia máxima é selecionada como uma âncora ($c_s$), garantindo diversidade horizontal.
   • As âncoras são normalizadas e deduplicadas com base em um raio de limiar ($\tau_{dedup}$).

3. Extração de Anéis Espirais Multiescala:

   • Ao redor de cada âncora retida, os patches são posicionados em $K=4$ anéis concêntricos.
   • Anel 0: Um único patch foveal.
   • Anéis $k > 0$: Contêm $n_k$ patches organizados em um padrão de espiral com raio e tamanho de patch crescentes.
   • O cronograma é projetado para cobrir o espaço sem lacunas. Para uma imagem de $224 \times 224$ com 4 faixas ativas, o máximo teórico é de 116 patches, mas um filtro de fora de limites (out-of-bounds) tipicamente reduz a contagem final para $\le 78$ patches (uma redução de $\sim 60\%$ em relação aos 196 padrão).

4. Aquisição de Tokens e Embedding:

   • Os patches são amostrados via amostragem de grade bilinear.
   • Embedding: Os patches são projetados usando o patch_embed.proj congelado do backbone.
   • Codificação Posicional (PE): A PE senoidal raster padrão é substituída por uma PE Polar. Um MLP de 2 camadas aprendido mapeia coordenadas polares $(\hat{c}_s, k, \theta)$ para embeddings. Isso respeita a proximidade geométrica dos patches no layout foveado (adjacentes espacialmente independentemente do índice do anel) e a simetria rotacional da espiral.
   • Processamento do Backbone: A sequência de comprimento variável (mais um token CLS) é passada através da pilha de transformers congelada.
   • Adaptação CNN: Para backbones CNN, os patches são codificados por um tronco ResNet-18 compartilhado e fundidos via blocos Mamba (modelos de estado-espaço) para lidar eficientemente com comprimentos de sequência variáveis.

3. Principais Contribuições

1. Estrutura Conceitual: Posiciona a tokenização adaptativa ao input como um "terceiro alavancamento" distinto e complementar de inferência adaptativa de recursos, separado de modificações de arquitetura e atenção.
2. Implementação SpiralFovea: Um tokenizador guiado por entropia, $O(HW)$ e livre de parâmetros, com cobertura de âncora provável e extração de espiral multiescala. A seleção completa antes que qualquer parâmetro do backbone seja avaliado.
3. Motivação Teórica: Justifica o design via teoria de taxa-distorção (alocando capacidade à densidade de informação) e visão biológica (fovea centralis e saliência periférica).
4. Desempenho Empírico: Demonstra melhorias de Pareto estritas em quatro benchmarks detalhados e quatro famílias de backbones.
5. Diagnóstico de Implementação: Identifica uma condição de contorno onde o método é mais eficaz: ele produz os maiores ganhos em backbones com priors posicionais fracos ou agnósticos à tarefa (ex: modelos autossupervisionados como DINO), enquanto os ganhos diminuem ou revertem em modelos com fortes priors raster fixos (ex: ViT-S/16 supervisionado).

4. Resultados Experimentais

O método foi avaliado em quatro benchmarks: WikiArt (GAN-Genre, Style), Oxford Flowers-102, PatchCamelyon e CUB-200-2011 (agrupamento de Gênero).

• Acurácia vs. Eficiência: O SpiralFovea alcança uma melhoria de Pareto de dominância estrita.

  • Redução de Tokens: Reduz os tokens de input de 196 para $\le 78$ ($\sim 60\%$ de redução).
  • Ganho de Acurácia: Proporciona +1,7 a +2,1 pontos percentuais de acurácia top-1 sobre baselines estáticos correspondentes.
  • Redução de Computação: Reduz os FLOPs de autoatenção em 84% em cada camada do transformer (não apenas em um estágio único), pois o tamanho da matriz de atenção escala quadraticamente com a contagem de tokens ($78^2$ vs $196^2$).
  • Throughput: Aumenta o throughput em 18–29% em GPUs Tesla T4.

• Estudos de Ablação:

  • Posicionamento de Âncora: Âncoras guiadas por entropia são críticas; hotspots aleatórios resultam em uma queda de $-1,5$ pp.
  • Seleção de Tokens: Selecionar quais patches importa mais do que a contagem; um subconjunto aleatório de 78 patches performa pior do que o baseline de 196 patches.
  • Escolhas de Design: Anéis multiescala (+1,1 pp), layout em espiral (+0,9 pp) e PE Polar (+0,5 pp) contribuem significativamente.

• Análise de Fronteira (CUB-Genus):

  • O ganho é inversamente proporcional à força do prior posicional do backbone.
  • Maior Ganho: DINO-ViT-S autossupervisionado (+0,93 pp) e ResNet-18 (+0,9 pp).
  • Menor/Negativo Ganho: ViT-S/16 supervisionado (-0,28 pp). Os autores atribuem isso ao fato de o pré-treinamento do modelo ter se "comprometido" com uma grade raster uniforme, tornando a substituição por tokens esparsos prejudicial, combinada com a saturação de desempenho.

5. Significância e Alegações

O artigo afirma que o SpiralFovea representa uma mudança fundamental na forma como os modelos de fundação processam o input visual. Ao tratar o conjunto de tokens de entrada como um alavancamento primário de eficiência, evita-se o "desperdício" de processar regiões não informativas inteiramente.

• Componibilidade: O método é ortogonal às técnicas de Lever-1 (arquitetura) e Lever-2 (atenção). Os autores argumentam que combinar esses alavancamentos cria um efeito multiplicativo de economia (ex: uma sequência mais curta para saída antecipada ou roteamento de MoE).
• Regime Alvo: O trabalho isola os modelos de fundação autossupervisionados como o regime onde a tokenização adaptativa ao input é mais valiosa, pois esses modelos carecem dos priors posicionais rígidos de modelos treinados supervisionadamente no ImageNet.
• Impacto Prático: Reduzir os tokens enviados para um backbone congelado gera economias proporcionais em memória de GPU e energia, diminuindo o custo de carbono da inferência. O método é particularmente adequado para reconhecimento de detalhes finos e imagens médicas (PatchCamelyon), onde os sinais discriminativos estão espacialmente concentrados.

Os autores concluem que o "terceiro alavancamento" é amplamente inexplorado e convidam a comunidade a investigar a fronteira de Pareto composicional de combinar a adaptação de input com outras técnicas de inferência adaptativa, bem como sua aplicabilidade a outras modalidades não-imagem.