SAM3-I: Segment Anything with Instructions

1. O Problema

O modelo SAM3 (Segment Anything Model 3) representa um avanço significativo na segmentação de objetos baseada em conceitos, permitindo que os usuários segmentem todas as instâncias de um conceito usando prompts curtos de frases nominais (NPs), como "jogador de futebol". No entanto, o SAM3 enfrenta limitações críticas em cenários do mundo real:

• Complexidade de Instruções: Interações humanas reais raramente se limitam a NPs curtas. Elas envolvem instruções ricas em linguagem natural que combinam atributos, relações espaciais, ações, estados e raciocínio implícito (ex: "o jogador de futebol à direita, vestindo azul, que está deslizando na grama").
• Abordagem Atual Ineficiente: Para lidar com instruções complexas, o SAM3 atual depende de agentes multimodais externos (como LLMs de visão) para traduzir instruções longas em NPs curtas e, em seguida, realizar filtragem iterativa de máscaras.
• Consequências: Essa abordagem "agente-orientada" separa o raciocínio linguístico da segmentação visual, adiciona sobrecarga computacional significativa e, mais importante, perde a especificidade da instância ao reduzir instruções detalhadas para conceitos grosseiros, falhando em delimitar objetos específicos em cenários complexos.

2. Metodologia: SAM3-I

Os autores propõem o SAM3-I, uma extensão do modelo SAM3 que unifica a fundamentação de nível de conceito e o raciocínio de nível de instrução em um único framework de segmentação.

Arquitetura e Mecanismos Principais

• Adaptação em Cascata Consciente de Instrução (Instruction-Aware Cascaded Adapter):
  • O modelo mantém o backbone do SAM3 congelado para preservar suas capacidades originais de recall de conceitos.
  • Introduz-se um mecanismo de adaptação hierárquico inserido no codificador de texto do SAM3, composto por dois adaptadores:
    1. S-Adapter (Simple): Aprende semântica de atributos, posições e relações para lidar com instruções simples (que ainda mencionam o NP do alvo).
    2. C-Adapter (Complex): Construído sobre o S-Adapter, lida com instruções complexas que omitem o NP explícito e exigem raciocínio contextual e funcional.
  • Durante o treinamento, instruções complexas ativam a cascata completa, refinando a representação gerada pelo S-Adapter.
• Perdas de Alinhamento de Distribuição: Para garantir coerência entre os diferentes níveis de instrução, são introduzidas quatro perdas de alinhamento além da perda de segmentação padrão:
  1. Perda Contrastiva de Instrução: Garante que diferentes expressões para a mesma instância tenham representações semânticas consistentes, enquanto mantém a distinção entre instâncias diferentes.
  2. Perda de Ancoragem de Conceito (Parent-rank): Força as embeddings de instrução a permanecerem dentro dos limites semânticos do seu conceito pai, evitando desvios semânticos.
  3. Perda de Alinhamento de Distribuição de Máscara: Usa divergência KL para alinhar as previsões das ramificações simples e complexas, garantindo consistência nas saídas.
  4. Perda de Supervisão de Regiões Difíceis (Uncertainty-Aware): Identifica regiões ambíguas (baseado na discordância entre as ramificações) e foca o aprendizado nessas áreas críticas.
• Treinamento em Múltiplos Estágios: O modelo é treinado em três estágios curriculares:
  1. Treinamento do S-Adapter com instruções simples.
  2. Treinamento do C-Adapter (inicializado a partir do S-Adapter) com instruções complexas.
  3. Ajuste fino conjunto de ambos com todas as perdas de alinhamento.

3. Contribuições Chave

1. Novo Paradigma (PIS): Introdução da Segmentação de Instrução Promptável (Promptable Instruction Segmentation), que estende o paradigma de segmentação do SAM para suportar instruções de linguagem natural livre, desde referências simples até raciocínio complexo, sem depender de agentes externos.
2. Dataset HMPL-Instruct: Criação de um dataset de grande escala e centrado em instruções, derivado de benchmarks existentes (PACO-LVIS).
   • Hierarquia: Cobre níveis conceituais, instruções simples e complexas.
   • Granularidade: Suporta segmentação em nível de objeto e de parte.
   • Cardinalidade: Inclui cenários desafiadores de um-para-muitos (selecionar um subconjunto específico de objetos similares), que são frequentemente negligenciados em datasets anteriores.
   • Construção: Utiliza um pipeline "humano-no-loop" com verificação por agentes e correção humana para garantir alta qualidade e precisão.
3. Eficiência e Desempenho: Demonstra que é possível adicionar capacidades de raciocínio complexo a um modelo fundacional de segmentação sem sacrificar sua capacidade original de fundamentação de conceitos, mantendo o modelo leve e de inferência única (single-pass).

4. Resultados Experimentais

Os experimentos foram conduzidos no dataset HMPL-Instruct e em benchmarks padrão (RefCOCO, Ref-ZOM).

• Comparação com SAM3 e Agentes:
  • O SAM3-I supera significativamente o SAM3 com agente externo (baseado em Qwen3-VL). Enquanto o agente falha em instruções complexas devido à simplificação excessiva, o SAM3-I atinge 49.0 gIoU em instruções complexas, contra 26.4 gIoU do agente.
  • O SAM3-I preserva o desempenho de nível de conceito do SAM3 original (29.5 gIoU), provando que o aprendizado de instruções não causa "esquecimento catastrófico".
• Cenários Um-para-Muitos: O modelo demonstra superioridade notável na tarefa de selecionar subconjuntos de objetos visualmente similares (ex: "os dois copos brancos atrás da pizza"), onde o agente e outros modelos de base tendem a segmentar todos os objetos da categoria ou falhar.
• Eficiência: O SAM3-I opera em um único passo de inferência com apenas 1.1B de parâmetros treináveis, enquanto a abordagem baseada em agente requer múltiplas passagens e modelos muito maiores (8.8B+).
• Ablação: Estudos mostram que a arquitetura em cascata (S-Adapter + C-Adapter) e o treinamento em múltiplos estágios são essenciais para o desempenho, superando variantes com adaptador único ou treinamento em estágio único.

5. Significado e Impacto

O trabalho SAM3-I representa um passo crucial na evolução dos modelos fundacionais de segmentação:

• Unificação: Fecha a lacuna entre a segmentação baseada em conceitos (abstrata) e a segmentação baseada em instruções (específica e contextual), permitindo que o modelo entenda não apenas "o que" é um objeto, mas "qual" objeto específico é necessário com base em contexto complexo.
• Aplicações Práticas: A capacidade de seguir instruções ricas e raciocinar sobre relações e funções é fundamental para robótica doméstica, direção autônoma e realidade aumentada, onde os sistemas devem interpretar comandos humanos naturais e precisos.
• Recursos Abertos: A liberação do modelo, do dataset HMPL-Instruct e do pipeline de anotação estabelece um novo padrão e uma base sólida para pesquisas futuras em segmentação guiada por instruções, promovendo o desenvolvimento de modelos mais inteligentes e interativos.

Em resumo, o SAM3-I transforma o SAM3 de um segmentador de conceitos em um assistente visual capaz de raciocínio instrucional, mantendo a eficiência e a robustez do modelo original.