Resumo Técnico: X2SAM: Qualquer Segmentação em Imagens e Vídeos

1. Declaração do Problema

Enquanto os Modelos de Linguagem Multimodal de Grande Escala (MLLMs) avançaram significativamente na compreensão e raciocínio visual global (por exemplo, legendagem de imagens, VQA), sua capacidade de gerar saídas densas em nível de pixel para compreensão espacial e temporal precisa permanece limitada. Por outro lado, modelos fundacionais de segmentação como SAM e SAM2 produzem máscaras de alta qualidade, mas dependem de prompts visuais de baixo nível (pontos, caixas) e carecem da capacidade de interpretar nativamente instruções textuais conversacionais complexas.

Os MLLMs de segmentação existentes tentam preencher essa lacuna, mas sofrem de fragmentação estrutural:

• Modelos apenas para imagens (por exemplo, LISA) processam texto, mas não suportam prompts visuais e entradas de vídeo.
• Modelos apenas para vídeo (por exemplo, VISA, VideoLISA) suportam a geração de máscaras a partir de texto temporal, mas frequentemente carecem de arquiteturas unificadas para imagens estáticas e prompts visuais.
• Limitações atuais: Nenhum framework único suporta nativamente tanto prompts textuais quanto visuais em imagens estáticas e vídeos dinâmicos, mantendo simultaneamente a consistência temporal.

2. Metodologia: Framework X2SAM

O X2SAM é um MLLM orientado à segmentação unificado, projetado para estender as capacidades de "qualquer segmentação" de imagens para vídeos. Ele integra um MLLM com um módulo de Memória de Máscara especializado para lidar com tarefas diversas sob um único paradigma de seguimento de instruções.

2.1 Formulação Unificada

O framework trata objetos de interesse como estados condicionais e instruções de linguagem como entradas contextuais. Utiliza tokens especiais <p> e </p> para demarcar condições de objeto e um token dedicado <SEG> para indicar a máscara de segmentação. A representação oculta do token <SEG> serve como uma diretriz semântica que guia o decodificador de máscara. Esta formulação suporta 14 tarefas distintas em imagens e vídeos, incluindo:

• Segmentação Genérica, de Vocabulário Aberto, de Referência e de Raciocínio.
• Geração de Conversa Fundamentada (GCG).
• Segmentação Interativa e Visualmente Fundamentada (VGD).

2.2 Arquitetura

O modelo emprega uma extração visual de dupla ramificação e um pipeline de geração unificado:

1. Codificadores Visuais:
   • Codificador de Visão: Baseado no Qwen3-VL, extrai representações visuais globais ($Z_v$) de imagens ou quadros de vídeo (aumentados com carimbos de tempo).
   • Codificador de Máscara: Baseado no SAM2, captura características de alta resolução e finas ($Z_m$) essenciais para a previsão densa de máscaras.
   • Amostrador de Região: Um módulo sem parâmetros que extrai incorporações de prompts visuais localizados a partir de $Z_m$ usando amostragem por pontos e agrupamento adaptativo, permitindo a injeção de dicas visuais (pontos/caixas) no LLM.
2. Modelo de Linguagem de Grande Escala (LLM):
   • Processa instruções textuais tokenizadas e incorporações visuais.
   • Gera autoregressivamente a resposta em linguagem ($Y_q$) e uma incorporação latente SEG dedicada. Esta incorporação atua como uma ponte semântica entre a compreensão da linguagem e a previsão de máscaras.
3. Decodificador de Máscara:
   • Redesenho do X-SAM, integra Atenção de Token para Imagem e Atenção de Consulta para Imagem.
   • Recebe a incorporação projetada do token SEG ($Z_p$), consultas de máscara aprendíveis ($Q_m$) e características visuais refinadas temporalmente ($Z_w$).
   • A inicialização zero é usada para os parâmetros de atenção de Token para Imagem para garantir treinamento estável.
4. Módulo de Memória de Máscara:
   • Crucial para tarefas de vídeo, este módulo mantém um cache First-In-First-Out (FIFO) de características de visão guiadas a partir de quadros anteriores.
   • Atenção de Memória: Foca nas características guiadas de quadros anteriores para produzir características refinadas temporalmente para o quadro atual.
   • Codificador de Memória: Codifica características de visão subamostradas e logits de máscara atuais em novas características guiadas para armazenamento.
   • Este mecanismo substitui a decodificação independente quadro a quadro, garantindo consistência de máscara em sequências de vídeo.

2.3 Estratégia de Treinamento

O X2SAM utiliza uma estratégia de Treinamento Conjunto Unificado sobre conjuntos de dados heterogêneos de imagens e vídeos:

• Fase 1 (Segmentador Agnóstico): O codificador de máscara é congelado; o decodificador de máscara é treinado no SA-1B (apenas máscara) para aprender priores de forma e limite independentes de classe.
• Fase 2 (Treinamento Conjunto): O modelo é co-treinado em 14 tarefas de segmentação e conjuntos de dados de chat.
  • Pipeline de Mudança de Dimensão: Tensores de vídeo são transpostos e divididos em tensores em nível de quadro para processá-los através da interface em nível de imagem, com dependências temporais tratadas pela Memória de Máscara.
  • Agrupamento Consciente de Modalidade: Para gerenciar restrições de memória, os lotes de vídeo são mantidos pequenos (tamanho de lote 1 por dispositivo) enquanto os lotes de imagem são expandidos (múltiplo de 4), permitindo o uso eficiente do paralelismo da GPU.
  • Função de Perda: Um objetivo conjunto combina perda autoregressiva (linguagem), perda de máscara (BCE + Dice) e perda focal (classificação).

3. Contribuições Principais

1. Framework Unificado: O X2SAM é o primeiro modelo a suportar nativamente sete tarefas de segmentação (genérica, vocabulário aberto, referência, raciocínio, conversa fundamentada, centrada em objeto e fundamentada visualmente) em ambos imagens e vídeos dentro de uma única interface de seguimento de instruções.
2. Módulo de Memória de Máscara: Introduz um módulo inovador que acopla fundamentação semântica com propagação temporal, permitindo a geração de máscaras temporalmente consistentes para vídeos sem depender de propagação em cascata ou independência quadro a quadro.
3. Benchmark V-VGD (Fundamentado Visualmente em Vídeo): Propõe um novo benchmark que avalia a capacidade de segmentar rastros de objetos em vídeos usando prompts visuais interativos (pontos/caixas), preenchendo uma lacuna nos protocolos de avaliação existentes.
4. Treinamento Conjunto Eficiente: Demonstra uma estratégia de treinamento unificada que reduz os custos de treinamento (3,3 mil horas de GPU versus 5,2 mil para treinamento conjunto simples) enquanto mantém desempenho equilibrado entre modalidades.

4. Resultados Experimentais

O X2SAM foi avaliado em 14 tarefas em benchmarks de imagem e vídeo, mostrando desempenho forte em ambos os domínios:

• Segmentação de Imagem: O X2SAM permanece competitivo com generalistas especializados em imagem (por exemplo, X-SAM). Alcança resultados state-of-the-art ou próximos do state-of-the-art em segmentação de referência (RefCOCOg) e segmentação de raciocínio, enquanto melhora significativamente a segmentação de vocabulário aberto (I-OV) em comparação com métodos anteriores baseados em MLLM.
• Segmentação de Vídeo: O X2SAM supera generalistas de vídeo existentes baseados em MLLM (por exemplo, VISA, VideoLISA, UniPixel) na maioria dos benchmarks.
  • Segmentação Genérica: Alcança 65,1 mIoU no VSPW e 69,9/88,4 AP/AP50 no YT-VIS19.
  • Referência e Raciocínio: Estabelece novo state-of-the-art em tarefas de referência em vídeo (Ref-YT21, Ref-DV17) e raciocínio (ReVOS), superando modelos especializados não-MLLM como o ReferFormer-B em tarefas de raciocínio.
  • Conversa Fundamentada: Melhora o mIoU V-GCG em +21,5 sobre o VideoGLaMM.
• Fundamentado Visualmente (V-VGD): No novo benchmark V-VGD, o X2SAM supera substancialmente o SAM2-H (por exemplo, 74,4 AP versus 54,0 AP no YT-VIS19 com prompts de caixa), validando a eficácia do amostrador de região e da memória de máscara na propagação de prompts visuais.
• Capacidades de Chat: Apesar do foco na segmentação, o X2SAM preserva fortes capacidades gerais de chat em imagem e vídeo, superando muitos modelos especializados em chat em benchmarks como MMBench e VideoMME.

5. Significado e Alegações

O artigo afirma que o X2SAM unifica com sucesso o paradigma de "qualquer segmentação" de imagens estáticas para vídeos dinâmicos. Ao integrar um MLLM com um módulo de Memória de Máscara, ele supera as limitações de abordagens fragmentadas anteriores, oferecendo uma única interface para instruções multimodais complexas (texto e visual) em tarefas diversas.

Os autores enfatizam que o X2SAM estabelece uma base prática para compreensão espaço-temporal em nível de pixel unificada. Embora reconheça que modelos especializados ainda podem superá-lo em tarefas de foco estreito (por exemplo, segmentação de objetos em vídeo otimizada sem linguagem), o X2SAM demonstra que um modelo generalista pode alcançar um forte equilíbrio entre cobertura de tarefas, precisão e preservação de capacidades conversacionais gerais. A introdução do benchmark V-VGD e da estratégia de treinamento conjunto unificado são destacadas como passos-chave rumo a sistemas visão-linguagem mais robustos e versáteis.