🤖 AI

I-Segmenter: Integer-Only Vision Transformer for Efficient Semantic Segmentation

O artigo apresenta o I-Segmenter, o primeiro framework de Vision Transformer totalmente baseado apenas em inteiros para segmentação semântica que emprega técnicas inovadoras como $\lambda$ -ShiftGELU e operações de decodificador apenas em inteiros para alcançar reduções significativas no tamanho do modelo e na latência de inferência, mantendo uma precisão competitiva, mesmo sob quantização de pós-treinamento de um único passo extrema.

Autores originais: Jordan Sassoon, Michal Szczepanski, Martyna Poreba

Publicado 2026-06-09

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jordan Sassoon, Michal Szczepanski, Martyna Poreba

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um chef brilhante e de alto nível (um Vision Transformer) que consegue olhar para uma foto e descrever cada objeto nela com detalhes perfeitos. Este chef é incrível em "segmentação semântica" — basicamente, desenhando um contorno perfeito ao redor de cada carro, árvore e pessoa em uma imagem.

No entanto, este chef tem dois grandes problemas:

Ele é glutão: Ele precisa de uma cozinha enorme (memória gigante) e de muita energia para cozinhar.
Ele é exigente demais: Ele só sabe cozinhar com medidas líquidas precisas (números de ponto flutuante). Se você tentar dar a ele medidas simples de números inteiros, ele fica confuso, deixa os ingredientes caírem e estraga o prato.

O artigo apresenta o I-Segmenter, uma nova maneira de treinar este chef para trabalhar em uma cozinha minúscula e com recursos limitados (como um smartphone ou um pequeno robô) sem perder suas habilidades culinárias.

Aqui está como eles fizeram isso, explicado através de analogias simples:

1. A Cozinha "Apenas Inteiros"

A maioria dos modelos de IA fala "Ponto Flutuante" (como 3,14159...). Isso é preciso, mas pesado. O artigo queria forçar o modelo a falar apenas "Inteiros" (números inteiros como 1, 2, 3).

O Problema: Quando você força uma receita complexa em números inteiros, pequenos erros acontecem. Em uma cozinha normal, um erro minúsculo é aceitável. Mas em um Vision Transformer, esses pequenos erros se acumulam como uma bola de neve rolando ladeira abaixo, eventualmente destruindo a imagem final.
A Solução: Os autores reconstruíram toda a "cozinha" (a arquitetura do modelo) para que cada etapa — misturar, picar, aquecer — use apenas números inteiros. Eles até mudaram a forma como o modelo armazena suas "receitas" (pesos) para que ocupem menos espaço.

2. O "Tempero Mágico" (λ-ShiftGELU)

O maior causador de problemas na cozinha era um tempero específico chamado GELU. No modelo original, este tempero tem um formato estranho: a maior parte dele é uma pitada minúscula, mas ocasionalmente, há um pedaço enorme e raro (uma distribuição de "cauda longa").

O Jeito Antigo: Quando você tenta medir este tempero com uma régua simples (quantização uniforme), você ou perde a pitada minúscula ou esmaga o pedaço grande. O sabor é arruinado.
O Novo Jeito: Os autores inventaram uma nova ferramenta chamada λ-ShiftGELU. Pense nisso como um copo de medida especial e ajustável. Ele estica a régua para lidar tanto com as pitadas minúsculas quanto com os pedaços enormes sem quebrar. Isso permitiu que o modelo mantivesse a precisão, mesmo sendo forçado a usar números inteiros simples.

3. Simplificando a "Montagem do Prato" (Mudanças no Decoder)

Depois que o chef cozinha a comida, ele tem que montá-la perfeitamente para corresponder à foto original. O modelo original usava ferramentas baseadas em líquidos sofisticadas para suavizar as bordas (interpolação bilinear) e uma escala complexa para equilibrar o prato (normalização L2).

A Mudança: Os autores substituíram essas ferramentas por ferramentas mais simples. Em vez de suavização líquida, eles usaram o Vizinho Mais Próximo (Nearest-Neighbor), que é como tirar uma foto para o quadrado de grade mais próximo. É mais "quadradinho", mas funciona perfeitamente com números inteiros. Eles também removeram a escala complexa inteiramente.
A Troca: As bordas da imagem ficam ligeiramente mais "serrilhadas" (como uma imagem pixelada), mas o modelo roda muito mais rápido e usa muito menos memória, o que faz valer a pena.

4. Os Resultados: Rápido, Pequeno e Surpreendentemente Bom

O artigo testou este novo "I-Segmenter" em dois grandes conjuntos de dados (ADE20K e Cityscapes). Aqui está o que eles descobriram:

Tamanho: O modelo tornou-se 3,8 vezes menor. É como encolher uma mala para o tamanho de uma mala de mão.
Velocidade: Ele roda até 1,2 vez mais rápido em hardware otimizado.
Precisão: Mesmo que tenham forçado o modelo a usar matemática simples, ele perdeu apenas cerca de 5% de sua precisão em comparação com o original superpreciso. Esse é um preço pequeno a pagar para poder rodar em um dispositivo minúsculo.
O Milagre do "One-Shot": Normalmente, para ensinar um modelo a usar matemática simples, você precisa mostrar centenas de exemplos para calibrá-lo. Os autores descobriram que, com seu novo "Tempero Mágico", eles puderam calibrar o modelo usando apenas uma única imagem e ainda assim obter ótimos resultados.

Resumo

O artigo não disse apenas "nós o tornamos menor". Eles construíram um sistema completamente novo (I-Segmenter) que fala a linguagem de números inteiros simples. Eles consertaram as partes "picantes" da matemática que geralmente quebram quando simplificadas e trocaram as ferramentas de cozinha sofisticadas por ferramentas robustas e amigáveis aos inteiros.

O resultado é um Vision Transformer que pode finalmente rodar nos pequenos dispositivos alimentados por bateria que usamos todos os dias, sem precisar de um supercomputador na nuvem.

Resumo Técnico: I-Segmenter: Vision Transformer Apenas com Inteiros para Segmentação Semântica Eficiente

Declaração do Problema

Os Vision Transformers (ViTs) alcançaram resultados de estado da arte em segmentação semântica, mas enfrentam barreiras significativas para implantação em dispositivos de borda com recursos limitados devido à alta pegada de memória e custos computacionais. Embora a quantização ofereça um caminho para a eficiência, os modelos de segmentação baseados em ViT são notoriamente frágeis sob restrições de baixa precisão. Diferente da classificação de imagens, a segmentação semântica requer previsões densas ao nível de pixel, o que faz com que os erros de quantização se acumulem através de pipelines profundos de codificador-decodificador.

Desafios específicos incluem:

Sensibilidade Não Linear: Operações como Softmax e GELU são altamente sensíveis à perda de precisão. Pequenos erros em logits podem causar grandes deslocamentos nos pesos de atenção, e a distribuição de ativação de cauda longa do GELU é mal tratada pela quantização uniforme.
Complexidade do Decodificador: A adição de cabeças de decodificador envolvendo agregação multiescala e interpolação (ex: upsampling bilinear) amplia ainda mais os erros propagados do backbone.
Heterogeneidade de Operadores: Os ViTs contêm diversos operadores (Linear, MatMul, LayerNorm, GELU, Softmax) com formas distributivas distintas, tornando difícil uma estratégia unificada apenas com inteiros.
Limitações Existentes: Métodos de quantização atuais frequentemente dependem de recuos de precisão mista (FP32) para operadores críticos ou falham em manter a precisão em configurações de Quantização Pós-Treinamento (PTQ), especialmente com dados de calibração mínimos.

Metodologia

Os autores introduzem o I-Segmenter, o primeiro framework de segmentação de ViT totalmente apenas com inteiros. Construído sobre a arquitetura Segmenter, o método substitui sistematicamente todas as operações de ponto flutuante (FP32) por contrapartes apenas com inteiros para permitir a execução end-to-end com inteiros.

1. Framework de Quantização Central

Quantização Uniforme Simétrica: Todos os parâmetros (pesos, vieses, embeddings) e ativações são quantizados usando quantização uniforme simétrica.
Aritmética Diádica: Os fatores de escala são aproximados como razões de inteiros e potências de dois ( $S \approx b/2^c$ ), permitindo que as operações de escala sejam implementadas via multiplicação de inteiros e deslocamento de bits (bit-shifting), evitando a divisão de ponto flutuante.
Gerenciamento de Precisão:
- Camadas lineares usam pesos e vieses INT8, acumulando produtos em INT32.
- Conexões residuais mantêm precisão INT16 para preservar a fidelidade do sinal.
- A operação mais sensível, Shiftmax (Softmax de inteiro), é executada em INT16.

2. Ativação Inovadora: $\lambda$ -ShiftGELU

Os autores identificam que as aproximações de inteiros padrão para GELU (ex: ShiftGELU) introduzem erros significativos, particularmente para valores negativos e outliers. Eles propõem o $\lambda$ -ShiftGELU, uma função de ativação modificada que:

Introduz um parâmetro escalar ajustável $\lambda$ para relaxar o limite inferior da distribuição de entrada durante a aproximação exponencial.
Evita o clamping excessivamente restritivo de valores negativos informativos encontrado em métodos anteriores.
Parâmetros otimizados ( $\lambda=6$ , $k_{inter}=23$ ) equilibram precisão e eficiência computacional, reduzindo significativamente o Erro Quadrático Médio (RMSE) em comparação com o baseline ShiftGELU.

3. Adaptações Arquiteturais para Execução Apenas com Inteiros

Para garantir que todo o grafo computacional permaneça apenas com inteiros, os autores modificaram o decodificador do Segmenter:

Remoção da Normalização L2: A camada de normalização L2, que requer aproximações não lineares complexas, foi removida. Sua função de suavizar distribuições é substituída pela quantização uniforme simétrica das matrizes projetadas.
Upsampling de Vizinho Mais Próximo (Nearest-Neighbor): A interpolação bilinear, que depende de aritmética de ponto flutuante, é substituída pelo upsampling de vizinho mais próximo. Embora isso introduza alguns artefatos de discretização, garante compatibilidade estrita com inteiros.
Quantização de Embedding: Ao contrário de alguns trabalhos anteriores, o I-Segmenter quantiza os embeddings de classe e posicionais, garantindo que nenhum dado de ponto flutuante permaneça no armazenamento ou execução do modelo.

Principais Contribuições

Framework I-Segmenter: O primeiro framework de segmentação de ViT totalmente apenas com inteiros, permitindo a implantação em hardware otimizado para aritmética de inteiros (ex: ARM Cortex-M, Google Edge TPU).
$\lambda$ -ShiftGELU: Uma função de ativação inovadora que mitiga as limitações da quantização uniforme em distribuições de cauda longa, estabilizando tanto o Treinamento com Consciência de Quantização (QAT) quanto a Quantização Pós-Treinamento (PTQ).
Redesenho Arquitetural Sistemático: Uma adaptação abrangente dos componentes do ViT (removendo L2 Norm, substituindo interpolação bilinear) para alcançar inferência verdadeiramente apenas com inteiros sem recuos de precisão mista.
Capacidade de PTQ de Passo Único (One-Shot): Demonstração de que o framework alcança precisão competitiva mesmo com uma única imagem de calibração, reduzindo drasticamente o custo de implantação.

Resultados Experimentais

Experimentos foram conduzidos nos datasets ADE20K e Cityscapes usando backbones ViT-Tiny, Small, Base e Large.

Precisão:
- PTQ: Com $\lambda$ -ShiftGELU, o I-Segmenter atinge precisão dentro de uma margem razoável do baseline FP32 (queda média de ~5.1%). Notavelmente, o PTQ de passo único ( $S=1$ ) produz resultados comparáveis ao uso de 500 amostras de calibração.
- QAT: Estreita ainda mais a lacuna de precisão, com reduções não superiores a 3.5 pontos de mIoU no ADE20K.
- Comparação: O $\lambda$ -ShiftGELU supera significativamente o baseline ShiftGELU, que colapsa sob condições de PTQ.
Eficiência:
- Tamanho do Modelo: Reduções de até 3.8 $\times$ em comparação com modelos FP32.
- Velocidade de Inferência: Até 1.2 $\times$ mais rápido em runtimes otimizados (TensorRT, TVM).
- Tráfego de Memória: Uma redução de 2.3 $\times$ –3.3 $\times$ no total de bits lidos/escritos para operações chave.
Implantação:
- Backend TVM: O único backend a impor execução estritamente apenas com inteiros até os cálculos de kernel. Embora a compilação do TVM tenha introduzido uma queda menor de 1–2 mIoU devido a nuances de tradução, o modelo permaneceu competitivo.
- Custo de Calibração: A calibração PTQ leva aproximadamente 1 segundo para configurações de passo único, comparado a horas para QAT.

Significância e Alegações

O artigo afirma que o I-Segmenter representa um passo crítico em direção à implantação prática de Vision Transformers em dispositivos de borda. Ao provar que a inferência totalmente apenas com inteiros é viável para tarefas de predição densa sem perda catastrófica de precisão, o trabalho aborda um grande gargalo na implantação de IA.

Os autores enfatizam que sua abordagem é particularmente significativa para:

Implantação no mundo real: A capacidade de implantar em hardware restrito (NPUs, microcontroladores) sem exigir suporte de hardware de precisão mista complexo.
Eficiência: A redução drástica no tamanho do modelo e nos requisitos de largura de banda de memória.
Robustez: A demonstração de que a adaptação arquitetural cuidadosa (especificamente o $\lambda$ -ShiftGELU e a remoção de camadas dependentes de ponto flutuante) pode superar a fragilidade inerente dos ViTs sob quantização de baixa taxa de bits.

O artigo conclui que, embora trabalhos adicionais sejam necessários para melhorar as aproximações de upsampling e normalização apenas com inteiros para recuperar a lacuna de precisão restante, o I-Segmenter desbloqueia com sucesso o potencial da implantação apenas com inteiros para segmentação semântica.