💻 computer science

ClustViT: Clustering-based Token Merging for Semantic Segmentation

ClustViT aborda a complexidade quadrática dos Vision Transformers em segmentação semântica ao introduzir um módulo Cluster treinável que funde tokens semelhantes guiados por pseudo-agrupamentos e um módulo Regenerator que restaura detalhes finos, alcançando eficiência computacional significativa e inferência mais rápida sem comprometer a precisão.

Autores originais: Fabio Montello, Ronja Güldenring, Lazaros Nalpantidis

Publicado 2026-05-04

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Fabio Montello, Ronja Güldenring, Lazaros Nalpantidis

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando descrever uma pintura complexa a um amigo pelo telefone. A pintura tem um céu azul enorme e entediante, algumas árvores distintas e um pássaro minúsculo e detalhado.

Um "Vision Transformer" padrão (o modelo de IA que este artigo aprimora) tenta descrever cada centímetro quadrado dessa pintura com igual detalhe. Ele gasta tanto tempo e poder de processamento descrevendo o céu azul vazio quanto descrevendo o pequeno pássaro. Isso é incrivelmente preciso, mas também é lento e consome muita energia — como tentar carregar uma mochila pesada cheia de pedras apenas para ir até a caixa de correio.

Os autores deste artigo, ClustViT, perguntaram: "Por que descrever cada pixel se já sabemos quais partes são iguais?"

Veja como a solução deles funciona, dividida em etapas simples:

1. O Problema: Excesso de Ruído

Os modelos de IA atuais para "segmentação semântica" (que é apenas uma maneira sofisticada de dizer "rotular cada pixel em uma imagem") são ótimos em reconhecer coisas. Mas são lentos porque tratam cada parte da imagem como igualmente importante. Se você é um robô tentando dirigir por um campo, não precisa analisar cada lâmina de grama individualmente; você só precisa saber "isso é grama".

2. A Solução: A Estratégia de "Agrupamento"

Os autores criaram um novo sistema chamado ClustViT. Pense nele como um editor inteligente que olha para a imagem e diz: "Ok, esses 100 pixels são todos apenas 'céu', então vamos agrupá-los e tratá-los como uma única peça de informação."

Eles fazem isso usando duas ferramentas especiais dentro do cérebro da IA:

O Módulo de Cluster (A Ferramenta de Agrupamento):
Imagine que você tem uma pilha de blocos de Lego misturados. Em vez de olhar para cada bloco individualmente, você os separa rapidamente em baldes: "Vermelhos", "Azuis" e "Peças Especiais".
Na IA, esse módulo olha para a imagem e usa uma "cola de dicas" (aprendida a partir dos rótulos verdadeiros) para encontrar pixels que pertencem à mesma categoria semântica (como "água" ou "grama"). Ele funde todos esses pixels semelhantes em um único token representativo.
- O Resultado: A IA agora precisa processar 100 pixels como se fossem apenas 1. Isso torna a matemática muito mais rápida.
O Módulo Regenerador (O Restaurador de Detalhes):
Aqui está a parte complicada: Se você apenas fundir os pixels, perde os detalhes finos necessários para desenhar a imagem final perfeitamente.
Então, depois que a IA faz seu processamento rápido e agrupado, o Regenerador entra em ação. Ele pega aquela única peça de informação "agrupada" e diz: "Ok, sei que isso representa o céu, então vou expandi-lo de volta para preencher o espaço original."
- O Resultado: A IA ganha a velocidade do grupo, mas a saída final ainda parece ter todos os detalhes finos originais.

3. A "Cola de Dicas" (Pseudo-Clusters)

Como a IA sabe quais pixels agrupar? Ela usa um truque inteligente de treinamento. Durante o treinamento, a IA recebe a "resposta correta" (o mapa perfeito da imagem). Ela usa esse mapa para criar um guia de "pseudo-cluster". Ela aprende: "Ah, vejo que todos esses pixels estão rotulados como 'água', então devo fundi-los." Ela aprende a agrupar coisas com base no significado, não apenas em similaridade aleatória.

4. Os Resultados: Mais Rápido, Mais Leve, Ainda Inteligente

Os autores testaram isso em três tipos diferentes de imagens:

ADE20K: Uma mistura de cenas internas e externas (muito complexas).
SUIM: Cenas subaquáticas (majoritariamente água, alguns objetos).
RumexWeeds: Campos agrícolas (majoritariamente grama/ervas daninhas).

O que aconteceu?

Velocidade: O novo modelo foi até 1,64 vezes mais rápido que o modelo padrão.
Eficiência: Usou até 2,18 vezes menos poder de processamento (energia).
Precisão: Permaneceu quase tão preciso quanto o modelo lento e pesado.

O Ponto Ideal:
O artigo observa que isso funciona melhor em cenários "robóticos" onde há muito fundo (como um robô olhando para um campo ou subaquático). Nesses casos, a IA pode fundir grandes pedaços de "fundo" em tokens únicos, economizando quantidades massivas de energia. Em imagens muito caóticas e complexas, as economias são menores, mas o modelo ainda funciona bem.

Resumo

ClustViT é como um assistente inteligente que percebe que, ao descrever um quarto, você não precisa listar cada grão de poeira no chão. Você pode dizer "o chão" (agrupando a poeira) e depois dar zoom apenas nos móveis importantes. Isso torna a descrição muito mais rápida de gerar, mas o ouvinte ainda obtém uma imagem clara do quarto.

Isso permite que robôs "vejam" e entendam seu mundo muito mais rápido e com menos bateria, sem perder a capacidade de detectar detalhes importantes.

1. Declaração do Problema

Os Vision Transformers (ViTs) alcançaram desempenho state-of-the-art em visão computacional, mas sofrem de complexidade computacional quadrática em relação ao tamanho da entrada. Embora técnicas de poda e fusão de tokens (token skimming) tenham reduzido com sucesso os custos para classificação de imagens, elas lutam em segmentação semântica (uma tarefa de previsão densa).

O Conflito: A classificação pode descartar tokens "irrelevantes", mas a segmentação exige preservar detalhes espaciais para cada pixel para garantir compatibilidade com cabeças decodificadoras padrão.
A Lacuna: Métodos existentes frequentemente dependem de similaridade de baixo nível entre tokens ou compressão estruturada de tamanho fixo (por exemplo, fundindo apenas patches de $2\times2$ ), o que falha em adaptar-se ao conteúdo semântico da imagem ou generaliza mal para tarefas de previsão densa.

2. Metodologia: ClustViT

Os autores propõem o ClustViT, uma arquitetura que integra um Módulo de Cluster treinável e um Módulo Regenerador em um backbone ViT padrão. A inovação central é o uso de informação semântica derivada de máscaras de segmentação ground-truth para guiar a fusão de tokens, em vez de simples proximidade de pixels.

A. Visão Geral da Arquitetura

Backbone ViT Padrão: O processo começa como um ViT padrão, dividindo a imagem em patches e projetando-os em tokens.
Módulo de Cluster (Ponto de Injeção): Em uma camada predefinida ($ip$) dentro do codificador, um MLP leve prevê atribuições de cluster para cada token.
- Pseudo-Clusters: Durante o treinamento, o modelo usa máscaras ground-truth para gerar "pseudo-clusters". Se todos os pixels em um patch pertencem à mesma classe semântica, o patch é atribuído a esse ID de classe; caso contrário, é marcado como misto (0).
- Fusão: Tokens atribuídos ao mesmo cluster são agregados em um único token representativo (via média pooling). Tokens em regiões complexas/mistas permanecem não agrupados para preservar detalhes.
- Resultado: O comprimento da sequência é reduzido, diminuindo o custo computacional das camadas subsequentes do Transformer.
Módulo Regenerador: Após a camada final do codificador, a sequência comprimida deve ser restaurada para a resolução original para o decodificador.
- O módulo usa as atribuições de cluster armazenadas para expandir os tokens representativos de volta às suas posições originais.
- Um MLP de refinamento reconstrói os recursos de alta granularidade, garantindo que a sequência de saída corresponda ao comprimento de entrada e seja compatível com cabeças de segmentação prontas para uso (por exemplo, Segmenter, UPerNet).

B. Estratégia de Treinamento

Função de Perda de Dupla Tarefa: O modelo é treinado de ponta a ponta com uma função de perda combinada:
$L = L_{segm} + \lambda L_{clust}$
- $L_{segm}$ : Perda padrão de entropia cruzada para segmentação semântica.
- $L_{clust}$ : Perda de entropia cruzada forçando o módulo de cluster a prever os pseudo-clusters derivados da máscara ground-truth.
- $\lambda$ : Um hiperparâmetro de balanceamento (definido como 0,1 nos experimentos).

3. Contribuições Principais

Fusão de Tokens Guiada por Semântica: Diferentemente de métodos anteriores que fundem com base em similaridade visual ou grades fixas, o ClustViT funde tokens com base no conteúdo semântico (derivado de máscaras de segmentação), permitindo compressão não estruturada e adaptativa ao conteúdo.
Backbone Treinável de Ponta a Ponta: O componente de cluster é integrado diretamente ao backbone ViT e treinado conjuntamente com a tarefa de segmentação, eliminando a necessidade de redes de política separadas ou etapas de pré-treinamento.
Regenerador para Previsão Densa: A introdução de um módulo Regenerador resolve o problema de compatibilidade, permitindo que representações de tokens comprimidas sejam totalmente restauradas para cabeças de previsão densa sem perder resolução espacial.
Compromisso Eficiência-Acurácia: O método reduz significativamente o custo computacional (GFLOPs) e o tempo de inferência, mantendo acurácia competitiva, particularmente em cenários com grandes áreas de fundo comuns em robótica.

4. Resultados Experimentais

Os autores avaliaram o ClustViT em três conjuntos de dados: ADE20K (cenas gerais), SUIM (robótica subaquática) e RumexWeeds (robótica agrícola). Eles compararam com o ViT padrão e o método state-of-the-art Content-aware Token Sharing (CTS).

Métricas de Desempenho:
- Eficiência Computacional: Alcançou até 2,18× menos GFLOPs e 1,64× inferência mais rápida (imagens por segundo) em comparação com o ViT baseline.
- Acurácia: Mantive acurácia de segmentação comparável (mIoU). No ADE20K, a melhor configuração (ClustViT-bk3,ip3) alcançou um speedup de 1,47× com apenas uma queda de ~1,66 pontos de mIoU.
- Cenários de Robótica: O método se destacou em conjuntos de dados com grandes áreas de fundo (SUIM e RumexWeeds). Por exemplo, no RumexWeeds, alcançou ganhos de 1,54× FPS e 2,12× GFLOP, enquanto melhorou ligeiramente o mIoU sobre o baseline.
Estudos de Ablação:
- Contagem de Clusters ( $k$ ): Aumentar $k$ (mais clusters) melhora a velocidade, mas reduz a acurácia à medida que mais detalhes são fundidos. $k=3$ ofereceu o melhor equilíbrio.
- Ponto de Injeção ($ip$): Comprimir mais cedo na rede ($ip=2$) maximizou a velocidade, mas prejudicou a acurácia. Um ponto de injeção intermediário ($ip=3$ ou $4$) forneceu o compromisso ótimo.
- Escala do Modelo: Os ganhos de eficiência foram mais pronunciados em modelos maiores (Base/Large), onde a sobrecarga do MLP de cluster foi negligenciável em comparação com as economias no cálculo de atenção.

5. Significado e Impacto

Aplicabilidade em Robótica: O artigo aborda um gargalo crítico para a implantação de ViTs em sistemas robóticos do mundo real (por exemplo, agricultura autônoma, exploração subaquática), onde os recursos computacionais são limitados e as cenas frequentemente contêm grandes fundos uniformes.
Mudança de Paradigma: Demonstra que a compressão de tokens em previsão densa não exige sacrificar a fidelidade espacial se a fusão for guiada pelo entendimento semântico em vez de apenas similaridade visual.
Generalizabilidade: Ao suportar cabeças decodificadoras padrão (Segmenter e UPerNet), o ClustViT oferece uma substituição direta para backbones ViT existentes, tornando-o altamente prático para a comunidade mais ampla de visão computacional.

Em conclusão, o ClustViT conecta com sucesso a lacuna entre a alta acurácia dos Vision Transformers e os requisitos de eficiência da percepção robótica em tempo real, introduzindo um mecanismo de fusão de tokens treinável e consciente semanticamente.