🤖 machine learning

Clustering and Token Denoising for Faster and More Robust VLMs

O artigo apresenta o ClustRS, um algoritmo livre de treinamento que combina agrupamento ponderado por atenção e redução de ruído por encolhimento residual, o qual reduz significativamente os tokens visuais em até 97%, ao mesmo tempo em que aumenta a robustez ao ruído de imagem e mantém ou melhora o desempenho em benchmarks de VLM como ScienceQA-IMG e MM-VET.

Autores originais: Baptiste Rossigneux, Inna Kucher, Vincent Lorrain, Emmanuel Casseau

Publicado 2026-08-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Baptiste Rossigneux, Inna Kucher, Vincent Lorrain, Emmanuel Casseau

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um computador que pode ver uma fotografia e, em seguida, responder a perguntas sobre ela, descrever uma cena ou resolver um quebra-cabeça com base no que vê. Esta é a promessa dos modernos modelos visuais-linguísticos, um tipo de inteligência artificial que combina a capacidade de compreender imagens com a capacidade de gerar texto semelhante ao humano. Para que estes sistemas funcionem, eles devem primeiro traduzir uma imagem numa longa lista de blocos de construção digitais, chamados tokens, que o cérebro do computador processa para formar uma resposta. Quanto mais detalhada for a imagem, mais longa se torna esta lista. Embora isto permita uma grande precisão, cria um enorme gargalo: processar centenas destes tokens requer uma enorme capacidade de computação, tornando difícil executar estes sistemas inteligentes em dispositivos menores, como smartphones ou drones. Os investigadores procuram há muito tempo formas de reduzir esta lista, removendo as partes desnecessárias enquanto mantêm as importantes, mas os métodos existentes frequentemente têm dificuldades quando as imagens são imperfeitas ou ruidosas, que é como a maioria das fotos do mundo real realmente se parece.

Uma equipa de investigadores desenvolveu um novo método leve para resolver este problema sem necessidade de retreinar os complexos modelos de IA do zero. A sua abordagem, que chamam de ClustRS, atua como um editor altamente eficiente para a lista de tokens da imagem. Em vez de simplesmente escolher as partes mais óbvias de uma imagem ou tentar manter uma grande variedade de partes, o seu sistema primeiro agrupa peças de informação semelhantes. Em seguida, seleciona apenas um representante de cada grupo, garantindo que a lista final cubra as diferentes ideias na imagem sem se repetir. Crucialmente, este processo de agrupamento é concebido para ignorar o "estático" visual ou ruído que frequentemente assombra as fotos do mundo real, como granulação ou desfoque, impedindo que o sistema seja enganado por dados corrompidos.

Após selecionar os melhores representantes, o método aplica uma segunda etapa de refinamento. Ele pega nos tokens escolhidos e suaviza suavemente o ruído dentro deles, utilizando as características médias do seu grupo para corrigir quaisquer erros. Este processo é inteiramente automático e não requer treino adicional, o que significa que pode ser aplicado imediatamente a modelos existentes. Os investigadores testaram esta técnica em benchmarks padrão que medem o quão bem estes modelos conseguem raciocinar sobre imagens, incluindo tarefas que exigem a descrição de cenas complexas ou a resposta a questões científicas. Eles descobriram que o seu método superou significativamente as técnicas anteriores, especialmente quando as imagens estavam fortemente distorcidas por ruído ou quando o número de tokens permitidos era drasticamente reduzido. Nos testes mais extremos, onde o sistema foi forçado a trabalhar com apenas dezesseis tokens em vez dos habituais centenas, o seu método manteve uma alta precisão enquanto outros falharam, provando que uma forma mais inteligente de selecionar e limpar a informação é mais valiosa do que simplesmente ter mais dados.

O sucesso desta abordagem destaca uma mudança na forma como podemos construir inteligência artificial eficiente. Em vez de tentar tornar os modelos maiores ou mais complexos para lidar com condições difíceis, os investigadores mostraram que um processo simples de dois passos de agrupamento e limpeza pode tornar os sistemas existentes muito mais robustos. As suas descobertas sugerem que, para estes modelos serem verdadeiramente úteis no mundo real, onde as imagens raramente são perfeitas e a capacidade de computação é frequentemente limitada, o foco deve estar na qualidade e resiliência da informação que está a ser processada, não apenas na quantidade. Ao demonstrar que estas melhorias podem ser alcançadas sem o elevado custo de retreino, o trabalho abre as portas para a implementação de inteligência visual poderosa numa gama muito mais ampla de dispositivos cotidianos.

Resumo Técnico: Agrupamento e Denoising de Tokens para VLMs Mais Rápidos e Robustos

Declaração do Problema

Modelos de Linguagem-Visão (VLMs) recentes, como o LLaVA, alcançaram resultados impressionantes ao integrar codificadores de visão pré-treinados com Grandes Modelos de Linguagem (LLMs). No entanto, existe um gargalo significativo: os codificadores de visão tipicamente geram um grande número de tokens visuais (por exemplo, 576 ou 729), impondo um fardo computacional quadrático aos mecanismos de autoatenção do LLM. Isso dificulta a implantação eficiente em dispositivos de borda (edge devices).

Embora existam técnicas de poda (pruning) de tokens para mitigar isso, elas enfrentam duas limitações primárias:

Métodos baseados em treinamento: Exigem retreinamento custoso e mudanças arquiteturais especializadas.
Métodos livres de treinamento (training-free): Embora leves, seu desempenho sob ruído de imagem do mundo real (ex: ruído Gaussiano, ruído sal e pimenta) é subexplorado. Seletores existentes livres de treinamento frequentemente dependem apenas de escores de atenção (levando à redundância e fragilidade sob ruído) ou apenas de diversidade (ignorando a saliência do token).

Os autores propõem duas questões críticas: O quanto o ruído degrada severamente a poda livre de treinamento atual, e se um seletor leve e resiliente ao ruído pode ser projetado sem retreinamento?

Metodologia: ClustRS

O artigo apresenta o ClustRS, um algoritmo de duas partes, livre de treinamento, projetado para uma poda de tokens robusta. Ele consiste em Agrupamento + distância de Huber (C + H) para seleção e Encolhimento Residual Robusto (RRS) para denoising (redução de ruído).

1. Agrupamento + Distância de Huber (C + H)

Este componente aborda o equilíbrio entre a saliência do token e a diversidade, garantindo simultaneamente a robustez a outliers causados por ruído.

Agrupamento Pós-Projeção: Diferente dos métodos que agrupam características CLIP brutas, o ClustRS agrupa tokens após a camada de projeção visão-linguagem. Isso garante que o agrupamento ocorra no espaço de incorporação semântica do LLM, refletindo a própria compreensão do modelo sobre relações conceituais.
Objetivo Ponderado pela Atenção: O objetivo de agrupamento minimiza uma distorção dentro do cluster ponderada pela atenção. Tokens com escores de atenção mais altos exercem uma força de atração maior sobre os centroides de seus clusters, garantindo que regiões salientes sejam priorizadas.
Inicialização K-means++: O algoritmo utiliza uma estratégia K-means++ consciente da atenção para semear os centroides, espalhando-os pelo espaço de características com base tanto na distância quanto nos escores de atenção.
Distância de Huber: Para neutralizar a sensibilidade das distâncias de erro quadrático padrão a outliers induzidos por ruído, a distância Euclidiana é substituída pela distância de Huber. Esta função de perda comporta-se quadraticamente para resíduos pequenos (preservando a formação de clusters compactos) mas linearmente para resíduos grandes (impedindo que outliers desviem os centroides).

2. Encolhimento Residual Robusto (RRS)

A seleção sozinha não consegue remover o ruído dos tokens restantes. O RRS atua como uma etapa de denoising de passagem única nos tokens selecionados.

Análise de Resíduo: Para cada token selecionado $v_i$ em um cluster com centroide $c_j$ , o token é visto como a soma do centroide e um resíduo ( $r_i = v_i - c_j$ ). Assume-se que o resíduo contém a maior parte da variância do ruído.
Encolhimento Adaptativo: Inspirado no estimador de James-Stein, o RRS encolhe o vetor do token em direção ao centroide do cluster. O fator de encolhimento $\alpha_i$ é adaptativo, determinado pela razão entre a escala robusta do cluster (mediana da norma do resíduo) e a norma do resíduo específico do token.
Preservação de Semântica: A regra de atualização $\tilde{v}_i = \alpha_i v_i + (1 - \alpha_i) c_j$ é uma combinação convexa que reduz a variância sem renormalizar o vetor, preservando assim as estatísticas direcionais esperadas pelo LLM.
Adaptação para SigLIP: Para modelos baseados em SigLIP (como o LLaVA-OneVision), os autores introduzem um termo de saliência consciente da norma. Como os mapas de atenção do SigLIP são mais planos que os do CLIP, eles aumentam o escore de atenção com a magnitude do vetor de característica (que codifica a saliência no SigLIP) para restaurar um sinal de ranking dinâmico.

Principais Contribuições

Novo Agrupamento Robusto (C + H): Um procedimento de agrupamento ponderado pela atenção e livre de treinamento, utilizando a distância de Huber para selecionar representantes de tokens diversos, porém salientes, que são resilientes a outliers induzidos por ruído.
Encolhimento Residual Robusto (RRS): Um aprimoramento leve de passagem única que atenua seletivamente o componente de ruído dos tokens selecionados no espaço de características, preservando as direções semânticas e evitando desvios de distribuição.
Avaliação Abrangente: Demonstração de que o ClustRS alcança ganhos consistentes nos benchmarks MM-VET e ScienceQA-IMG sob uma ampla gama de corrupções Gaussianas e de sal e pimenta, superando métodos de estado da arte livres de treinamento (FasterVLM, DivPrune, VisionZip), particularmente sob compressão extrema ( $k=16$ tokens) e alto ruído.
Pronto para Implantação: Todo o pipeline é livre de treinamento e compatível com otimizações de inferência existentes (ex: KV-cache, flash-attention), tornando-o imediatamente implantável. Ele também se adapta a backbones mais novos baseados em SigLIP com modificações mínimas.

Resultados Experimentais

Os experimentos foram conduzidos no LLaVA-1.5-7B (baseado em CLIP) e no LLaVA-OneVision (baseado em SigLIP) utilizando os benchmarks MM-VET (raciocínio de código aberto) e ScienceQA-IMG (múltipla escolha).

Compressão Extrema ( $k=16$ ): O ClustRS superou os baselines em até 20% sob condições de ruído extremo. Em imagens limpas do MM-VET, obteve pontuação de 0,271, superando o FasterVLM (0,211) e o DivPrune (0,232). Sob ruído Gaussiano severo ( $\sigma=3,0$ ), manteve uma pontuação de 0,140, superando todos os baselines.
Resiliência ao Ruído: O ClustRS alcançou consistentemente as pontuações mais altas através de várias densidades de ruído para ruídos Gaussianos e de sal e pimenta, particularmente em regimes de poucos tokens, onde a redundância é mínima.
Adaptação SigLIP: No LLaVA-OneVision, a adaptação consciente da norma permitiu que o ClustRS alcançasse uma acurácia limpa de 0,272 com apenas 16 tokens, superando dramaticamente o FasterVLM (0,138) e o DivPrune (0,164).
Sobrecarga Computacional: O método adiciona um custo computacional negligenciável (aproximadamente 1ms de overhead em uma GPU A100 para $k=16$ ), o que representa menos de 1,6% do tempo total de geração de uma resposta típica.

Significância e Alegações

O artigo afirma que o ClustRS oferece uma alternativa simples, porém poderosa, para as regras de poda existentes que dependem apenas de escores ou diversidade. Ao combinar o agrupamento robusto com o encolhimento residual, o método aborda a lacuna crítica entre eficiência computacional e resiliência ao ruído.

Os autores enfatizam que sua abordagem:

Não requer retreinamento, tornando-a adaptável a mudanças de arquitetura.
Melhora a robustez a diversas corrupções (ruído aditivo e impulsivo) sem sacrificar o desempenho em dados limpos.
Permite a implantação em borda (edge) ao reduzir drasticamente a contagem de tokens (até 97% de redução) enquanto mantém ou melhora a acurácia.

O estudo conclui que, embora os métodos de seleção de tokens como C+H forneçam representações robustas, há potencial para trabalhos futuros no refinamento das estratégias de denoising, particularmente para lidar com tokens espacialmente distintos, mas semanticamente similares, que podem ser descartados pelo agrupamento no espaço de características.