💻 computer science

RS $^3$ -Prune: Read-Sparse, Store-Sparse Token Pruning for Video Object Segmentation

O RS $^3$ -Prune é um método de poda de tokens livre de treinamento para segmentação de objetos em vídeo que reduz a latência de inferência e o uso de memória de pico ao restringir seletivamente as consultas de atenção entre quadros e as entradas do banco de memória a tokens geometricamente relevantes, permitindo assim o processamento eficiente de vídeos de longa duração em hardware com restrição de memória sem sacrificar a precisão.

Autores originais: Avilasha Mandal, Sarvesh Shashikumar

Publicado 2026-08-25

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Avilasha Mandal, Sarvesh Shashikumar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da visão computacional, existe uma tarefa chamada segmentação de objetos em vídeo. Imagine assistir a um vídeo caseiro e pedir a um computador para desenhar um contorno perfeito ao redor de um cachorro correndo em cada quadro, distinguindo o animal da grama, do céu e das pessoas no fundo. Por muito tempo, os melhores programas de computador para este trabalho funcionavam memorizando tudo o que viam. Enquanto o vídeo era reproduzido, o software construía uma biblioteca massiva e crescente de detalhes visuais, armazenando um pequeno pedaço de informação para cada pixel em cada quadro. Essa biblioteca permitia que o computador reconhecesse o cachorro mesmo se ele corresse para trás de uma árvore ou mudasse de direção. No entanto, essa abordagem possui uma falha grave: quanto mais longo o vídeo, maior se torna a biblioteca. Eventualmente, o computador fica sem memória, forçando-o a parar ou a diminuir a velocidade drasticamente. Isso torna quase impossível usar esses sistemas avançados em filmes longos ou em dispositivos pequenos como smartphones, que possuem armazenamento limitado.

Uma equipe de pesquisadores encontrou uma maneira de quebrar esse gargalo sem tornar o computador menos preciso. Eles desenvolveram um novo método que altera a forma como o software decide o que lembrar e o que ignorar. Em vez de acumular todos os detalhes de cada quadro, o sistema agora age como um arquivista cuidadoso que mantém apenas os documentos mais essenciais. Ao aplicar dois filtros específicos — um que decide no que focar no momento atual e outro que decide o que salvar para depois — os pesquisadores conseguiram reduzir drasticamente a quantidade de memória que o computador precisa. O trabalho deles mostra que um sistema de segmentação de vídeo pode rodar muito mais rápido e usar muito menos memória, mantendo o rastreamento de objetos com a mesma alta precisão dos sistemas originais não modificados.

Os pesquisadores, Avilasha Mandal e Sarvesh Shashikumar, focaram em um tipo específico de sistema de análise de vídeo conhecido como rede de "banco de memória" (memory-bank). Esses sistemas trabalham em duas etapas principais. Primeiro, eles observam um novo quadro de vídeo e o decompõem em uma grade de pequenos pedaços, chamados tokens, que representam a informação visual. Segundo, eles comparam esses novos pedaços com um banco de memórias crescente de quadros anteriores para descobrir onde estão os objetos. O problema surge porque os sistemas modernos tentam comparar cada um dos tokens do novo quadro contra cada um dos tokens no banco de memória. À medida que um vídeo fica mais longo, esse banco de memória incha, e o computador precisa fazer uma quantidade enorme de cálculos para cada novo quadro, esgotando rapidamente seus recursos.

Para resolver isso, a equipe introduziu uma técnica que chamam de RS3-Prune. O nome significa "Read-Sparse, Store-Sparse" (Leitura Esparsa, Armazenamento Esparso), o que descreve os dois lugares onde eles reduziram os dados. O primeiro corte acontece quando o computador está lendo a memória. Em vez de perguntar ao banco de memória sobre todas as partes da imagem atual, o sistema agora pergunta apenas sobre as partes que provavelmente contêm o objeto que está rastreando. Ele utiliza uma regra simples baseada na forma do objeto: se um pedaço da imagem está longe da localização conhecida do objeto, o sistema o ignora. Isso significa que o computador pula uma enorme quantidade de cálculos desnecessários, acelerando significamente o processo.

O segundo corte acontece quando o computador está escrevendo novas informações em seu banco de memória. Nos sistemas antigos, cada quadro adicionava um conjunto completo de dados ao banco, independentemente de os dados serem úteis ou não. O novo método faz uma pergunta diferente antes de salvar qualquer coisa: "Este pedaço da imagem pertence ao objeto que estamos rastreando?". Se a resposta for não, essa informação é descartada imediatamente e nunca é armazenada. Isso evita que o banco de memória se encha com ruídos de fundo, como o céu ou paredes, garantindo que o banco permaneça pequeno e gerenciável mesmo após horas de vídeo.

Os pesquisadores testaram este método em cinco diferentes conjuntos de dados de vídeo, variando de clipes curtos a sequências muito longas, e o aplicaram a cinco diferentes modelos de segmentação de vídeo de última geração. Eles descobriram que a nova abordagem fez os sistemas rodarem muito mais rápido. Em média, a velocidade aumentou quase 39 por cento, o que significa que o computador poderia processar quase 40 por cento mais quadros por segundo. Ao mesmo tempo, a quantidade de memória necessária para rodar o software caiu cerca de 13 por cento. Talvez o mais surpreendente seja que a precisão do rastreamento não sofreu. Na verdade, em alguns vídeos difíceis com muito ruído de fundo, o sistema teve um desempenho melhor porque não estava mais se confundindo com detalhes irrelevantes.

Um dos aspectos mais importantes desta descoberta é que ela não exige o retreinamento dos modelos de computador. Os pesquisadores simplesmente adicionaram um pequeno conjunto de instruções que agem como um porteiro, posicionadas à frente do software existente. Eles não precisaram ensinar nada novo ao computador ou mudar seu cérebro central. Isso torna a solução muito fácil de usar; ela pode ser aplicada a qualquer sistema moderno de segmentação de vídeo que utilize um banco de memória, transformando um requisito fixo e caro em uma configuração flexível que pode ser ajustada.

A equipe também explorou por que este método funciona tão bem. Eles perceberam que os objetos sendo rastreados geralmente possuem uma forma e textura distintas, enquanto o fundo é frequentemente suave e uniforme. Ao focar apenas nos tokens que carregam a maior energia visual e que estão localizados dentro dos limites do objeto, o sistema filtra naturalmente o ruído. Isso é semelhante a como uma pessoa assistindo a um filme foca nos atores e ignora os assentos vazios no teatro; o computador aprende a fazer o mesmo automaticamente.

Embora o método seja altamente eficaz, os pesquisadores reconhecem que não é perfeito para todos os cenários. Se um objeto se mover muito longe de onde foi visto pela primeira vez, o sistema pode ter dificuldade em rastreá-lo se o banco de memória for muito restritivo. No entanto, eles construíram um mecanismo de segurança que expande a área de busca se o objeto desaparecer por alguns quadros, garantindo que ele possa ser encontrado novamente. Esse equilíbrio entre filtragem estrita e recuperação flexível permite que o sistema lide com a maioria dos vídeos do mundo real sem intervenção humana.

As implicações deste trabalho vão além de apenas tornar o software mais rápido. Ao reduzir a memória e o poder de processamento necessários, esses sistemas tornam-se viáveis para uso em dispositivos que antes eram fracos demais para suportá-los. Isso pode permitir a análise de vídeo em tempo real em smartphones, drones ou câmeras vestíveis, abrindo novas possibilidades para aplicações que exigem o rastreamento de objetos por longos períodos. Os pesquisadores demonstraram que o limite desses sistemas não era a inteligência dos algoritmos, mas sim o volume massivo de dados que eles eram forçados a processar. Ao podar esses dados de forma inteligente, eles desbloquearam um novo nível de eficiência, provando que, às vezes, saber o que esquecer é tão importante quanto saber o que lembrar.

Resumo Técnico: RS3-Prune

Definição do Problema

As redes modernas de Segmentação de Objetos em Vídeo (VOS) convergiram para uma arquitetura de "banco de memória" (memory-bank), onde um codificador de imagem gera uma grade densa de tokens para cada quadro e um codificador de memória anexa esses tokens a um banco crescente para condicionar predições futuras. Embora esses modelos alcancem alta precisão em benchmarks curtos, eles enfrentam um teto crítico de implementação: à medida que a duração do vídeo aumenta, o orçamento de tokens (o número de tokens fluindo pelo pipeline de memória) faz com que o consumo de pico de memória da GPU cresça linearmente e o rendimento (throughput) de inferência degrade.

Os autores argumentam que o principal gargalo não é a capacidade algorítmica das redes, mas sim o crescimento ilimitado do orçamento de tokens. Os métodos existentes de poda de tokens (token pruning) operam tipicamente apenas na fronteira de consulta de atenção (comprimindo o que é lido), deixando o próprio banco de memória (o que é escrito) cheio e não otimizado. Isso impede a implementação eficiente em vídeos de longa duração ou em aceleradores com restrição de memória.

Metodologia: RS3-Prune

O RS3-Prune é uma receita de tempo de inferência, livre de treinamento, que se instacia como um conjunto de hooks sobre redes VOS existentes. Ele opera em duas fronteiras estruturais distintas para comprimir o orçamento de tokens:

1. Poda do Lado da Leitura (A Alavanca de Velocidade)

Localização: Entre o codificador de imagem e a leitura de atenção de memória (memory-attention readout).
Mecanismo: Em vez de usar todos os $m \times n$ $m \times n$ tokens do quadro atual como consultas para o banco de memória, o RS3-Prune seleciona um subconjunto esparso ( $K_r$ $K_{r}$ ) baseado em dois critérios:
- Prior Espacial: Um portão geométrico derivado da caixa delimitadora (bounding box) do objeto. Para o primeiro quadro, este baseia-se em máscaras de verdade fundamental (ground-truth); para quadros subsequentes, ele se propaga a partir das próprias predições anteriores do modelo. Para lidar com oclusões ou objetos saindo de cena, um fallback de "caixa delimitadora com contagem de rastro" expande o raio de busca se um objeto desaparecer por quadros consecutivos.
- Energia Visual: Dentro do prior espacial, os tokens são classificados pelo seu $\ell_2$ norm (energia visual). Teoricamente, baseado na desigualdade de Cauchy-Schwarz, tokens com normas mais altas contribuem mais significativamente para a leitura de atenção. A fração superior de $\rho$ tokens dentro do prior espacial é mantida.
Implementação: A camada de atenção de memória é modificada para coletar consultas apenas dos índices mantidos. Rotary Positional Embeddings (RoPE) também são coletados para corresponder às coordenadas espaciais específicas dos tokens retidos, garantindo equivalência numérica à pipeline densa.

2. Poda do Lado da Escrita (A Alavanca de Memória)

Localização: Entre o codificador de memória e o banco de memória.
Mecanismo: Esta intervenção decide quais tokens têm permissão para entrar no banco de memória de longo prazo em primeiro lugar.
- Seleção Baseada em Semente: O conjunto de manutenção de escrita ( $K_w$ ) é computado uma única vez no "quadro semente" (o primeiro quadro em que o objeto aparece). Ele consiste na união da máscara inicial do objeto, reduzida em escala para a grade do codificador e dilatada por uma margem fixa ( $D_w$ ).
- Passo Fixo (Fixed Stride): Este conjunto $K_w$ permanece fixo para toda a sequência de vídeo para um determinado objeto. Apenas os tokens que caem dentro desta região geométrica são passados ao codificador de memória e anexados ao banco.
Segurança: Os autores argumentam que isso é seguro porque o prior de leitura ( $P^{(t)}$ ) é um subconjunto do conjunto de manutenção de escrita ( $K_w$ ) (desde que $D_w$ seja suficientemente grande), garantindo que cada posição consultada pelo lado da leitura tenha uma entrada correspondente no banco de memória.

3. Pós-processamento

Para mitigar buracos do tipo "sal e pimenta" causados pelo zeramento de tokens não mantidos na saída da atenção, uma única operação de fechamento morfológico (dilatação seguida de erosão) é aplicada às máscaras binárias preditas antes da seleção final de argmax.

Principais Contribuições

Identificação do Gargalo: O artigo postula que o orçamento de tokens, e não a lacuna algorítmica entre redes, é o verdadeiro teto de implementação para VOS com banco de memória.
Poda de Dupla Localização: O RS3-Prune introduz uma receita simétrica que comprime tokens tanto nas fronteiras de leitura (consulta) quanto de escrita (armazenamento), uma distinção que os autores afirmam ser única para VOS em comparação com a poda de tokens de domínio de imagem anterior.
Adaptação Livre de Treinamento: O método não requer novo treinamento, ajuste fino (fine-tuning) ou novos parâmetros. Ele funciona como um patch em checkpoints pré-treinados e congelados.
Justificativa do Prior Geométrico: Os autores fornecem uma justificação matemática (via limites de Cauchy-Schwarz sobre a contribuição da atenção) de por que um prior geométrico combinado com a classificação de energia do token isola efetivamente os tokens mais informativos sem a necessidade de um seletor baseado em características aprendidas.

Resultados Experimentais

O método foi avaliado em cinco benchmarks (DAVIS-17, SA-V, YouTube-VOS, MOSE, LVOSv2) através de cinco arquiteturas (STM, XMem, Cutie, SAM2, SAM3.1).

Ganhos de Eficiência: Em todas as arquiteturas e conjuntos de dados, o RS3-Prune alcançou um aumento médio de 38,8% no FPS e uma redução média de 13,1% no VRAM de pico.
- Ganhos específicos variaram por modelo: STM viu +58% FPS / -32% VRAM; XMem viu +26% FPS / -16% VRAM; Cutie viu +60% FPS / -7% VRAM.
Preservação de Acurácia: O método preservou pontuações J & F competitivas. Em vários casos (ex: SAM2 em SA-V e MOSE), a acurácia na verdade melhorou (por vários pontos) em comparação com o modelo original. Os autores atribuem isso ao fato de a poda atuar como um "denoiser" (redutor de ruído), removendo o contexto de fundo que seria integrado como ruído por uma leitura de softmax completa.
Comparação com Baselines: Diferente de métodos anteriores de poda de tokens eficientes (SparseViT, DynamicViT, VLTP), que frequentemente causam quedas significativas de acurácia em configurações de vídeo devido à falta de priors de objeto, o RS3-Prune manteve alta acurácia ao alavancar a máscara geométrica do objeto.

Significância e Alegações

O artigo afirma que o RS3-Prune transforma o orçamento de tokens de uma constante arquitetural em um controle ajustável (tunable knob), permitindo que modelos VOS executem vídeos de longa duração e hardware com restrição de memória sem sacrificar a "maquinaria de consolidação" das redes originais.

Os autores enfatizam que o método é ortogonal ao prompting; os ganhos de eficiência mantêm-se independentemente de o sistema ser executado em modo semissupervisionado (usando máscaras semente) ou modo interativo (com interação humana). A significância reside em sua capacidade de desbloquear regimes de implementação (vídeos longos, transmissões em tempo real) que eram anteriormente inacessíveis devido à exaustão de memória, enquanto mantém ou até melhora a qualidade da segmentação ao filtrar tokens de fundo irrelevantes.

Limitações

Os autores reconhecem que o conjunto de manutenção de escrita é fixo com base na pegada do quadro semente. Se um objeto se mover significativamente para fora desta pegada dilatada, o método pode falhar ao rastreá-lo (se a dilatação for muito pequena) ou perder eficiência (se a dilatação for muito grande). Eles sugerem que um conjunto de manutenção de escrita aprendido e consciente do histórico de movimento poderia endereçar isso, mas observam que a abordagem fixa atual é suficiente para os cenários testados e não interrompe a saída para outros objetos se um objeto sair de cena.