🤖 machine learning

Accelerating Vision Transformers with Adaptive Patch Sizes

O artigo apresenta os Adaptive Patch Transformers (APT), um método que acelera significativamente o treinamento e a inferência de Vision Transformers ao utilizar tamanhos de patch adaptativos conforme a complexidade da imagem, reduzindo o número de tokens sem comprometer o desempenho em tarefas visuais de alta resolução.

Autores originais: Rohan Choudhury, JungEun Kim, Jinhyung Park, Eunho Yang, László A. Jeni, Kris M. Kitani

Publicado 2026-04-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Rohan Choudhury, JungEun Kim, Jinhyung Park, Eunho Yang, László A. Jeni, Kris M. Kitani

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando descrever uma paisagem complexa para um amigo, mas em vez de usar palavras, você precisa dividir a imagem em pequenos quadrados (como um mosaico) e contar quantos quadrados existem.

O Vision Transformer (ViT), a tecnologia de inteligência artificial que "vê" imagens, funciona assim: ele corta a foto em quadradinhos do mesmo tamanho (como um tabuleiro de xadrez perfeito) e analisa cada um. O problema é que, para fotos de alta resolução, isso gera milhares de quadradinhos, mesmo que 80% da foto seja apenas um céu azul vazio ou uma parede branca. A IA gasta a mesma energia analisando o céu vazio que analisa o rosto detalhado de uma pessoa, o que é um desperdício enorme de tempo e bateria.

Os autores deste paper (publicado no ICLR 2026) criaram uma solução inteligente chamada APT (Adaptive Patch Transformer). Vamos entender como funciona com algumas analogias do dia a dia:

1. O Problema: O "Corte de Pizza" Igualitário

Imagine que você tem uma pizza gigante.

O jeito antigo (ViT tradicional): Você corta a pizza em 100 fatias do mesmo tamanho, não importa se uma fatia tem apenas queijo e outra tem pepperoni, cogumelos e azeitonas. Você precisa mastigar e processar todas as 100 fatias com o mesmo esforço.
O resultado: Se a pizza tem muita borda de massa (áreas vazias), você está gastando tempo mastigando coisas que não têm sabor.

2. A Solução da APT: O "Corte Inteligente"

A APT olha para a foto e decide: "Onde é chato e repetitivo, vou fazer fatias grandes. Onde é cheio de detalhes, vou fazer fatias minúsculas."

Áreas Simples (Céu, paredes, água calma): A IA usa fatias gigantes. Em vez de 100 quadradinhos para o céu, ela usa apenas 2 ou 3 fatias grandes. É como dizer: "Ah, isso é só céu azul, não preciso de mil detalhes".
Áreas Complexas (Rostos, árvores, carros): A IA usa fatias minúsculas. Ela corta a parte do rosto em pedacinhos super pequenos para garantir que não perca nenhum detalhe importante.

A mágica: Ao fazer isso, a IA precisa processar muito menos "pedaços" no total. É como se você tivesse que ler um livro, mas em vez de ler cada palavra, você pulasse as páginas que só tinham espaços em branco e focasse apenas nos parágrafos cheios de história.

3. Como eles fazem isso sem perder a qualidade?

Você pode pensar: "Mas se eu cortar o céu em fatias grandes, não vou perder a cor ou a textura?"

Os autores usaram um truque de "mágica matemática":

Eles olham para a "confusão" (entropia) da imagem. Se a área é calma, usam fatias grandes.
Para garantir que a IA não fique "cega" nos detalhes, eles usam uma camada especial (um "tradutor") que pega a informação das fatias grandes e a combina com a informação das fatias pequenas de forma inteligente.
O segredo da velocidade: Eles conseguem aplicar isso em modelos que já foram treinados. É como se você pegasse um carro de corrida pronto e trocasse apenas o sistema de direção para torná-lo mais ágil, sem precisar reconstruir o motor inteiro. O modelo se adapta em apenas 1 dia de treino (ou até menos).

4. Os Resultados: Mais Rápido, Mesmo Poderoso

Os testes mostraram que essa técnica é incrível:

Velocidade: O modelo fica 40% a 50% mais rápido para treinar e para fazer previsões.
Qualidade: A precisão não cai. O modelo continua vendo tão bem quanto antes, só que mais rápido.
Versatilidade: Funciona não só para classificar fotos (ex: "isso é um gato"), mas também para tarefas difíceis como:
- Detecção de objetos: Encontrar carros e pedestres em fotos de trânsito.
- Segmentação: Pintar cada pixel de uma foto (ex: separar o chão da parede).
- Perguntas e Respostas: Um robô que vê uma foto e responde perguntas sobre ela.

Resumo em uma frase

A APT é como um editor de vídeo inteligente que corta os momentos chatos e lentos de um filme, deixando apenas as cenas de ação em alta definição, fazendo com que o filme inteiro seja assistido em metade do tempo, sem que você perca a história.

Isso significa que, no futuro, poderemos ter IAs mais inteligentes e rápidas rodando até em celulares, gastando menos bateria e processando imagens em alta resolução sem travar.

Título: Acelerando Vision Transformers com Tamanhos de Patch Adaptativos (Adaptive Patch Transformers - APT)

1. O Problema

Os Vision Transformers (ViTs) tornaram-se o paradigma dominante para reconhecimento visual, mas enfrentam um gargalo de escalabilidade: o custo quadrático da atenção auto-regressiva em relação ao comprimento da sequência de entrada.

Ineficiência Atual: Os ViTs tradicionais dividem imagens em patches de tamanho fixo e uniforme, independentemente do conteúdo da imagem.
Consequência: Imagens de alta resolução geram sequências de tokens excessivamente longas, mesmo em áreas homogêneas (como céus azuis ou paredes brancas) que contêm muita redundância visual.
Limitações de Trabalhos Anteriores: Métodos existentes de redução de tokens (como pruning ou merging) geralmente aplicam uma taxa de redução fixa ou aprendem a identificar tokens inúteis durante a passagem frontal. Isso introduz desvantagens:
- Taxas fixas não se adaptam à complexidade da imagem (sub-reduzir em imagens simples ou super-reduzir em cenas complexas).
- A poda dinâmica cria formas irregulares e padding, anulando ganhos de velocidade na prática e incompatibilizando-se com kernels de atenção eficientes como o FlashAttention.

2. Metodologia: Adaptive Patch Transformer (APT)

O APT propõe uma abordagem de tokenização visual adaptativa inspirada nos tokenizadores de linguagem (como BPE), onde o tamanho do "token" (patch) varia conforme a complexidade do conteúdo.

Principais Componentes Técnicos:

Alocação de Tamanhos de Patch Baseada em Entropia:
- O método divide a imagem hierarquicamente em múltiplas escalas de patches (ex: $16\times16$ , $32\times32$ , $64\times64$ ).
- Calcula a entropia de Shannon em cada região para medir a compressibilidade (redundância).
- Lógica: Regiões com baixa entropia (homogêneas) recebem patches grandes (menos tokens). Regiões com alta entropia (detalhes complexos, bordas) recebem patches pequenos (mais tokens).
- Isso é feito de forma content-aware (consciente do conteúdo) antes de entrar no modelo, mantendo uma estrutura de grade regular (semelhante a um quadtree).
Agregação de Embeddings (Patch Aggregation):
- Para processar patches de tamanhos diferentes no mesmo espaço de embedding, o APT utiliza uma estratégia híbrida:
  1. Redimensionamento: O patch original é redimensionado para o tamanho base ( $p \times p$ ) e passa pelo embedding padrão.
  2. Detalhes de Alta Resolução: O patch grande é dividido em seus sub-patches constituintes, que são embutidos individualmente e agregados via uma camada convolucional.
  3. Combinação Zero-MLP: As duas representações são somadas. A contribuição dos detalhes de alta resolução é inicializada com pesos zero (inspirado no ControlNet). Isso permite que o modelo converja rapidamente sem degradar o desempenho inicial, "aprendendo" a incorporar os detalhes finos durante o fine-tuning.
Manuseio de Tamanhos de Entrada Dinâmicos:
- Como o número de tokens varia por imagem, o APT utiliza empacotamento de sequência (sequence packing).
- As sequências de diferentes imagens são concatenadas em um único tensor longo, com uma máscara de bloco diagonal garantindo que os tokens de uma imagem só atendam aos da mesma imagem.
- Isso é nativamente suportado por backends como FlashAttention, permitindo eficiência máxima sem overhead de padding.
Adaptação para Tarefas Densas (Detecção/Segmentação):
- Para tarefas que exigem mapas de características com a mesma proporção da imagem, os tokens de patches grandes são repetidos ( $2^{2i}$ vezes) para criar um mapa de características totalmente diferenciável, permitindo o uso de convoluções transpostas e atenção em janelas (window attention).

3. Contribuições Principais

Introdução do APT: Um novo mecanismo que acelera ViTs em até 40% (e mais em resoluções maiores) através de tamanhos de patch adaptativos, preservando a precisão.
Compatibilidade com Modelos Pré-treinados: O APT pode ser aplicado a qualquer ViT pré-treinado (auto-supervisionado ou ImageNet) e atinge o desempenho original em apenas 1 época de fine-tuning (graças à inicialização zero do MLP).
Generalização para Tarefas Diversas: Demonstra eficácia não apenas em classificação, mas também em tarefas de previsão densa (detecção de objetos, segmentação semântica) e visão-linguagem (VQA), mantendo a acurácia.
Eficiência Computacional Real: Ao contrário de métodos de poda que quebram a estrutura de batch ou impedem o uso de FlashAttention, o APT mantém a estrutura de entrada previsível e compatível com hardware moderno.

4. Resultados Experimentais

Os experimentos foram conduzidos em ImageNet, COCO, ADE20K e benchmarks de VQA (LLaVA).

Classificação de Imagens (ImageNet):
- ViT-L: Aumento de throughput de 40% e redução de tempo de treinamento de 15.9h para 9.9h, mantendo a acurácia (86.1%).
- ViT-H: Aumento de throughput de 50% em resoluções mais altas.
- Fine-tuning Rápido: Aplicado a checkpoints já fine-tuned, o APT recupera o desempenho original em 1 época, enquanto métodos concorrentes exigem 50+ épocas.
Tarefas Densas e VQA:
- Detecção de Objetos (COCO 1536x1536): Redução de 30% nos tokens de entrada, acelerando treinamento e inferência em 30% sem perda significativa de mAP.
- Segmentação Semântica (ADE20K): Redução de 28-32% nos tokens, acelerando a inferência em 11-30% mantendo o mIoU.
- VQA (LLaVA-1.5): Aumento de 22-23% no throughput de imagens, com ganhos ou manutenção de desempenho em múltiplos benchmarks (GQA, VQAv2, MMBench).
Comparação com Baselines:
- O APT supera consistentemente métodos de nível de entrada (redimensionamento, random masking) e métodos de nível de camada (EViT, ToMe), especialmente quando comparados com implementações otimizadas com FlashAttention.

5. Significado e Conclusão

O trabalho demonstra que a granularidade variável na tokenização de imagens é uma via superior para a eficiência em comparação com a redução fixa de tokens.

Impacto: O APT reduz drasticamente o orçamento computacional necessário para treinar e inferir modelos de visão de última geração, especialmente em resoluções altas e modelos grandes.
Acessibilidade: A capacidade de adaptar modelos existentes em apenas 1 época torna a tecnologia acessível para a comunidade de pesquisa e indústria, permitindo a adoção de ViTs de alta resolução sem custos proibitivos.
Limitações Futuras: O método ainda depende de heurísticas manuais (thresholds de entropia) e não suporta ainda a geração de imagens, um campo onde a resolução extrema é comum.

Em suma, o APT oferece uma solução elegante e eficiente para o gargalo de sequências longas nos ViTs, alinhando a tokenização visual com a eficiência observada nos modelos de linguagem.