Resumo Técnico: LlamaSeg

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) tenham unificado com sucesso várias tarefas de visão e linguagem sob um framework autorregressivo, estender esse paradigma para a segmentação de imagens densa permanece um desafio significativo. As abordagens autorregressivas existentes para segmentação sofrem de três limitações primárias:

1. Métodos baseados em embeddings: Predizem tokens latentes (ex: <SEG>) e dependem de modelos especialistas externos (como o SAM) para a geração ao nível de pixel, minando o objetivo de um framework unificado e de ponta a ponta.
2. Métodos baseados em coordenadas: Codificam máscaras como sequências de vértices de polígonos. Embora alinhados com a previsão do próximo token, exigem sequências longas para capturar fronteiras intrincadas, reduzindo a eficiência e a escalabilidade.
3. Métodos condicionados a texto: Formulam a segmentação como geração de texto (emitindo tokens de categoria ou descrições) que devem ser convertidos em máscaras posteriormente, o que inevitavelmente limita a precisão espacial.

Os métodos atuais falham em fornecer uma segmentação de ponta a ponta e de grão fino dentro de uma única arquitetura autorregressiva unificada.

Metodologia: LlamaSeg

Os autores propõem o LlamaSeg, um framework autorregressivo visual que reformula a segmentação de imagem como uma tarefa de geração visual. Em vez de prever coordenadas ou texto, o modelo gera diretamente máscaras de segmentação como sequências de tokens visuais discretos.

Arquitetura Central

• Tokenização de Máscara: As máscaras de segmentação são tratadas como estruturas semelhantes a imagens (pixels pretos e brancos) e discretizadas em sequências de tokens usando VQGAN (Rede Adversária Generativa de Quantização Vetorial). O codificador transforma a máscara normalizada em características, que são quantizadas em índices de código discretos a partir de um codebook.
• Gerador Autorregressivo: Um Transformer no estilo LLaMA é empregado para a previsão do próximo token.
  • Entrada: O modelo recebe prompts de texto concatenados, características de imagem (codificadas pelo SigLIP) e tokens separadores aprendíveis (<BOI>, <BOM>).
  • Saída: O modelo gera autoregressivamente tokens de máscara (índices de código).
  • Decodificação: Durante a inferência, a sequência de tokens prevista é mapeada de volta para o codebook, remodelada em um mapa de características 2D e decodificada pelo decodificador VQGAN para reconstruir a máscara de segmentação.
• Variantes de Treinamento:
  • Do Zero (From Scratch): Utiliza uma arquitetura LLaMA base com codificadores de imagem/texto congelados e adaptadores treináveis.
  • Adaptação de MLLM Pré-treinado: Aproveita um MLLM pré-treinado (Janus Pro) com LoRA (Adaptação de Baixo Ranking) para um ajuste fino eficiente, mantendo os componentes generativos congelados.

Construção de Dados: SA-OVRS

Para enfrentar a falta de dados de treinamento em larga escala para este paradigma, os autores construíram o SA-OVRS, um conjunto de dados contendo 2 milhões de máscaras de segmentação anotadas com mais de 5.800 rótulos de vocabulário aberto e diversas descrições textuais.

• Pipeline: Um processo de anotação de dois estágios foi desenvolvido:
  1. Geração e Correspondência de Rótulos: Utiliza o Qwen2-VL para gerar candidatos a rótulos de vocabulário aberto e o GroundingDINO para correspondê-los com as máscaras do SA-1B, aplicando filtragem rigorosa (limiares de IoU, pontuações de confiança).
  2. Geração de Dados Textuais: Gera expressões de referência únicas e descrições de raciocínio para cada instância, verificadas via verificação cruzada para garantir a não ambiguidade.

Métrica de Avaliação: dAHD

O artigo introduz a distância de Hausdorff média (dAHD) sob limiares de IoU de múltiplos níveis como uma métrica composta. Diferente do IoU padrão, que mede a sobreposição de regiões, o dAHD avalia a fidelidade do contorno calculando a distância euclidiana bidirecional entre os pontos da fronteira previstos e da verdade fundamental (ground-tuth). Isso é crítico para avaliar a qualidade de modelos de segmentação generativos.

Principais Contribuições

1. Framework LlamaSeg: Um framework de segmentação autorregressiva visual que unifica a segmentação dentro da arquitetura LLM, permitindo a previsão nativa do próximo token para máscaras de alta fidelidade e grão fino sem especialistas externos.
2. Dataset SA-OVRS: Um dataset de larga escala (2M de instâncias) com rótulos de vocabulário aberto e ricas descrições textuais, acompanhado de um pipeline de anotação reutilizável para facilitar pesquisas futuras.
3. Métrica dAHD: Uma nova métrica de avaliação projetada para melhor avaliar a fidelidade do contorno da máscara em modelos generativos, abordando as limitações de métricas baseadas em região.

Resultados Experimentais

Experimentos foram conduzidos em múltiplos benchmarks, incluindo ADE20K, COCO-Stuff, PC-459, PC-59, PAS-20 e datasets de segmentação de referência (refCOCO, refCOCO+, refCOCOg).

• Segmentação Semântica: O LlamaSeg supera consistentemente modelos generativos visuais existentes (ex: série Unified-IO) em todos os benchmarks. O LlamaSeg-L (1.5B de parâmetros) alcança 52.0 mIoU no ADE20K e 55.7 mIoU no COCO-Stuff, superando modelos maiores como o Unified-IO2-XXL (6.6B) com menos parâmetros. Entradas de maior resolução (384px) melhoram ainda mais o desempenho.
• Segmentação de Referência: O modelo supera outras abordagens generativas visuais em tarefas de segmentação de referência, alcançando 60.5 cIoU no refCOCO testA (LlamaSeg-L), embora permaneça ligeiramente atrás de modelos discriminativos especializados.
• Precisão de Fronteira: O LlamaSeg demonstra uma precisão de fronteira significativamente superior. Na métrica dAHD, o LlamaSeg-L alcança pontuações de 25.54 (ADE20K) e 10.45 (refCOCO), substancialmente menores (melhores) do que as variantes do Unified-IO (ex: pontuações do Unified-IO2-XXL ~79.72 no ADE20K), indicando um alinhamento de contorno muito maior.
• Eficiência: Embora seja mais lento que modelos discriminativos paralelos (LAVT), o LlamaSeg é significativamente mais rápido que outras abordagens generativas (Unified-IO2-Large), demonstrando melhor eficiência dentro do paradigma generativo.
• Estudos de Ablação:
  • Tokenização: O VQGAN pré-treinado (congelado) supera as versões ajustadas finamente em dados de máscara, sugerindo que o pré-treinamento em imagens coloridas captura bordas de forma eficaz.
  • Decodificação: A busca gananciosa (greedy search) é a estratégia mais eficaz para a geração determinística de máscaras.
  • Dados: O pré-treinamento no SA-OVRS é crucial para o desempenho, gerando ganhos claros sobre modelos treinados sem ele.

Significância e Alegações

O artigo afirma que o LlamaSeg consegue preencher a lacuna entre a modelagem de linguagem autorregressiva e a predição visual densa. Ao tratar as máscaras como tokens visuais, o método permite uma segmentação unificada e de ponta a ponta que escala com o tamanho do modelo e a resolução. Os autores afirmam que sua abordagem entrega máscaras de segmentação mais finas e precisas com melhor preservação de bordas em comparação com os métodos generativos existentes. A introdução do SA-OVRS e da métrica dAHD fornece recursos e ferramentas essenciais para avançar o campo da segmentação autorregressiva, indo além da dependência de módulos externos ou representações de coordenadas grosseiras.