Tokenizing Semantic Segmentation with RLE

Este artigo apresenta uma abordagem unificada para segmentação semântica em imagens e vídeos que utiliza modelagem de linguagem para gerar máscaras como sequências de tokens discretos baseados em codificação por comprimento de execução (RLE), incorporando estratégias de compressão e informações de instância para alcançar desempenho competitivo com o estado da arte.

O essencial

Imagine que você está tentando ensinar um computador a "pintar" uma imagem, dizendo exatamente quais pixels pertencem a um objeto (como um carro, uma árvore ou uma célula) e quais pertencem ao fundo. Tradicionalmente, os computadores faziam isso gerando mapas complexos e contínuos, como se estivessem desenhando com um pincel digital.

Este artigo apresenta uma ideia nova e brilhante: em vez de desenhar, vamos escrever uma história.

Aqui está a explicação do trabalho, usando analogias do dia a dia:

1. A Ideia Central: Transformar Imagens em "Palavras"

A maioria dos modelos de visão computacional vê imagens como uma grade de números. Mas os autores dizem: "E se tratássemos a imagem como um texto?"

Eles usam uma técnica chamada Codificação por Comprimento de Execução (RLE). Pense no RLE como uma forma super inteligente de fazer uma "lista de compras" para pintar uma imagem.

• O jeito antigo: "Pinte o pixel 1 de vermelho, o pixel 2 de vermelho, o pixel 3 de vermelho..." (Isso é chato e demorado).
• O jeito deles (RLE): "Pinte 3 pixels de vermelho começando no número 1".

Eles transformam essa lista de instruções ("comece aqui, pinte por quanto tempo, qual cor") em uma sequência de tokens (palavras ou símbolos). O computador, então, usa um modelo de linguagem (como um ChatGPT, mas treinado para ver) para "adivinhar" a próxima palavra dessa lista, uma por uma, até reconstruir a imagem inteira.

2. O Desafio do Vídeo: A "Maratona" de Palavras

Fazer isso para uma foto estática é fácil. Mas e se for um vídeo?
Imagine que uma foto é uma frase curta. Um vídeo é um livro inteiro. Se você tentar escrever a lista de instruções para 100 quadros de vídeo de uma só vez, a lista ficaria tão longa que o computador "esqueceria" o começo antes de chegar ao fim (o limite de memória).

A Solução Criativa:
Os autores inventaram formas de "encurtar" essa história:

• Compressão de Tempo (Time-As-Class): Em vez de dizer "No quadro 1, pinte vermelho. No quadro 2, pinte vermelho...", eles criam uma "super-palavra" que significa "Pinte vermelho nos quadros 1 e 2". É como usar um emoji que resume uma frase inteira.
• Janelas Deslizantes: Em vez de tentar ver a imagem inteira de uma vez (que é gigante), eles cortam a imagem em pedaços menores (como recortes de um jornal) e os processam um por um, juntando as peças depois.

3. O "Segredo" para Entender Objetos Individuais (Panoptic Segmentation)

O modelo não só diz "isso é um carro", mas também "este é o carro A e aquele é o carro B".
Para fazer isso, eles adicionam um "etiqueta de nome" na sequência de palavras. É como se, ao descrever a cena, o computador dissesse: "Aqui começa o Carro Vermelho (token de classe), pinte 50 pixels... Aqui começa o Carro Azul (outro token de classe), pinte 30 pixels...". Isso permite que o computador conte e identifique objetos individuais, não apenas as cores.

4. Os Resultados e os Obstáculos

Eles testaram isso em duas áreas:

1. Gelo em Rios (ARIS): Identificando gelo e água. O modelo funcionou incrivelmente bem, quase tão bem quanto os melhores modelos tradicionais.
2. Células em Microscópio (IPSC): Identificando tipos de células. Novamente, o desempenho foi competitivo.

O "Mas":
O maior problema foi o hardware. O computador ficou "ofegante". Processar essas listas de palavras para imagens de alta resolução exige muita memória. Eles conseguiram fazer funcionar, mas tiveram que usar imagens um pouco menores do que o ideal para não estourar a memória do computador. É como tentar dirigir um carro de Fórmula 1 em uma estrada de terra: o carro é rápido, mas a estrada limita o quanto você pode acelerar.

Resumo em uma Frase

Os autores transformaram o problema de "pintar imagens" em um problema de "escrever textos", usando atalhos inteligentes para que o computador possa ler e entender vídeos longos sem se perder no meio do caminho, tudo isso mantendo a precisão dos melhores modelos atuais.

Por que isso é legal?
Porque abre um novo caminho. Em vez de criar modelos específicos apenas para "ver", eles mostram que podemos usar a mesma inteligência que usamos para "ler e escrever" (Linguagem) para "ver e entender" (Visão). É como se o computador finalmente aprendesse a ler a linguagem dos pixels.

Resumo técnico

Resumo Técnico: Tokenizando Segmentação Semântica com RLE

1. O Problema

Os modelos de visão computacional tradicionais geralmente produzem saídas de tamanho fixo e valores contínuos (ex: mapas de densidade ou máscaras de pixel a pixel). Essa abordagem é inadequada para tarefas onde a saída é inerentemente esparsa e discreta, como detecção de objetos e rastreamento. Embora a segmentação semântica seja uma tarefa de reconhecimento denso, ela também pode se beneficiar da modelagem como uma sequência discreta.

O desafio principal abordado neste trabalho é como representar máscaras de segmentação (tanto em imagens estáticas quanto em vídeos) como sequências de tokens discretos para serem processadas por modelos de linguagem (Language Modeling), mantendo a eficiência computacional e a capacidade de generalização, especialmente em vídeos onde a complexidade temporal aumenta drasticamente o comprimento da sequência.

2. Metodologia

Os autores propõem uma abordagem unificada baseada no framework Pix2Seq, adaptando-o para gerar máscaras de segmentação através de modelagem de linguagem autoregressiva. A metodologia central baseia-se em três pilares:

• Codificação por Comprimento de Execução (RLE):

  • Em vez de prever pixels individualmente ou usar polígonos, as máscaras de segmentação são achatadas (em ordem row-major ou column-major) e convertidas em uma sequência de pares (ou trios) de inteiros: (início, comprimento, [classe]).
  • O RLE é escolhido por ser uma técnica de compressão sem perdas, robusta a ruídos de tokens (um erro em um token afeta apenas uma pequena região da máscara) e fácil de implementar.

• Estratégias de Tokenização para Imagens Estáticas:

  • Lengths-As-Class (LAC): Para reduzir o comprimento da sequência, os autores combinam o token de "comprimento" e o token de "classe" em um único token composto. Isso reduz a sequência de 3 tokens por execução para 2, sem aumentar exponencialmente o vocabulário para conjuntos de dados com poucas classes.
  • Janelas Deslizantes (Sliding Windows): Para lidar com imagens de alta resolução que gerariam sequências de tokens maiores que a capacidade de memória (limitada a ~4K tokens), as imagens são divididas em patches menores (ex: 640x640) e processadas individualmente.
  • Subamostragem: As máscaras são subamostradas (ex: de 640x640 para 80x80 ou 160x160) antes da geração do RLE para manter o comprimento da sequência viável, com perda mínima de qualidade métrica (<10%).

• Extensão para Vídeo:

  • Time-As-Class (TAC): Para vídeos com $N$ quadros, a dimensão temporal é fundida com os IDs de classe. Cada combinação possível de classes ao longo dos $N$ quadros torna-se um token único. Isso permite que a máscara 3D seja tratada como uma máscara 2D com um vocabulário expandido, eliminando a dependência linear do número de tokens de início em relação a $N$.
  • Length-and-Time-As-Class (LTAC): Combina LAC e TAC para representar cada execução no vídeo com apenas 2 tokens, comprimindo ainda mais a sequência.
  • Tokenização por Instância (IW): Para segmentação panóptica, os tokens são gerados por instância de objeto em vez de apenas por classe, permitindo a distinção entre objetos da mesma categoria.

3. Principais Contribuições

1. Abordagem Unificada: Apresentação de um método único para segmentação semântica em imagens e vídeos usando modelagem de linguagem autoregressiva.
2. Novas Estratégias de Compressão: Proposta das técnicas LAC (para imagens) e TAC/LTAC (para vídeo), que comprimem significativamente a sequência de tokens, tornando viável o processamento de múltiplos quadros e múltiplas classes.
3. Segmentação Panóptica via Tokenização: Demonstração de como incorporar informações de instância na sequência de tokens para realizar segmentação panóptica (semântica + instância) sem mudar a arquitetura fundamental do modelo.
4. Análise de Limitações e Otimizações: Identificação de gargalos de hardware (memória GPU) e exploração de técnicas como background-as-class e decodificadores multi-cabeça para reduzir o consumo de memória.

4. Resultados

Os modelos foram avaliados nos conjuntos de dados ARIS (segmentação de gelo fluvial) e IPSC (células-tronco), além de experimentos preliminares em COCO e Cityscapes.

• Desempenho Competitivo: Os modelos baseados em linguagem (P2S-SEG e P2S-VIDSEG) alcançaram desempenho competitivo com o estado da arte (SOTA) em cenários específicos, especialmente no conjunto de dados ARIS, onde superaram modelos convencionais em métricas de recall.
• Robustez e Generalização: Os modelos demonstraram ser particularmente eficazes em tarefas agnósticas à classe (ex: distinguir gelo da água), superando modelos tradicionais nessas métricas.
• Limitações Computacionais: O desempenho em conjuntos de dados grandes e complexos (como COCO com 133 classes) foi limitado pela capacidade de processamento (GPUs RTX 3090 com 24GB de RAM). A necessidade de manter o comprimento da sequência ($L$) abaixo de 4.096 tokens e o vocabulário ($V$) abaixo de 32K restringiu a resolução das máscaras e o número de classes tratáveis.
• Vídeo vs. Estático: Não houve melhoria consistente e significativa ao adicionar mais quadros ($N$) em comparação com modelos estáticos, sugerindo que a redundância temporal não foi totalmente explorada ou que o modelo não conseguiu integrar informações temporais de forma eficaz com as configurações atuais.

5. Significância e Conclusão

Este trabalho é significativo por expandir o paradigma de tokenização de visão (iniciado com detecção de objetos) para tarefas de reconhecimento denso como a segmentação semântica.

• Mudança de Paradigma: Demonstra que a segmentação não precisa ser tratada como uma regressão contínua de pixels, mas sim como uma tarefa de previsão de sequências discretas, alinhando visão computacional e processamento de linguagem natural.
• Viabilidade para Vídeo: As técnicas de compressão (TAC/LTAC) abrem caminho para a aplicação de modelos generativos em vídeos longos, algo que seria proibitivo com representações de pixel bruto.
• Futuro: Os autores destacam que, com hardware mais potente e arquiteturas mais eficientes (como Transformers de maior escala ou melhor equalização de pesos de classes), essa abordagem tem potencial para superar os modelos convencionais em cenários de larga escala e alta resolução.

O código e os modelos treinados foram disponibilizados publicamente para fomentar pesquisas futuras nesta direção.