Resumo Técnico: ActiveSAM

Definição do Problema

A Segmentação Semântica de Vocabulário Aberto (OVSS) visa gerar máscaras densas ao nível de pixel para vocabulários de classes arbitrários sem exigir o retreinamento por categoria ou novas anotações de nível de pixel. Embora modelos de fundação recentes como o SAM 3 ofereçam fortes capacidades de mascaramento espacial impulsionadas por prompts conceituais, a aplicação direta deles à OVSS cria um gargalo computacional significativo. As abordagens padrão decodificam todo o vocabulário do conjunto de dados em resolução total para cada imagem, apesar de o fato de que qualquer imagem individual normalmente contém apenas um pequeno subconjunto ativo de classes. Esta estratégia de "decodificação de vocabulário total" é ineficiente, levando a tempos de inferência lentos que escalam linearmente com o tamanho do vocabulário, mesmo quando a maioria das classes está ausente na cena.

Metodologia: ActiveSAM

O ActiveSAM é um framework de inferência zero-shot livre de treinamento projetado para transformar o modelo SAM 3 congelado em um "segmentador de vocabulário ativo". Ele alcança isso através da poda dinâmica do vocabulário para cada imagem antes da decodificação em resolução total, de modo a desacoplar o custo computacional do tamanho total do vocabulário. O framework opera através de quatro estágios principais:

1. Expansão de Prompt Contextual (CPE):
   Para abordar a esparsidade semântica de nomes de classes brutos (ex: "windowpane" vs. "window pane"), o ActiveSAM canonicaliza os rótulos de entrada e os enriquece com contexto.

   • Canonicalização Lexical: Uma função fixa normaliza os nomes das classes (ex: convertendo "tie" para "necktie").
   • Contexto Semântico: O framework recupera as $M_s$ classes vizinhas mais próximas no espaço de embedding de texto congelado e inclui seus tokens.
   • Contexto de Hiperônimos: Ele incorpora até $M_t$ hiperônimos de substantivos do WordNet para cada classe.
     Estes prompts expandidos ($\bar{Z}_c$) são pré-computados e armazenados em cache, proporcionando um alinhamento semântico mais rico para o codificador de texto do SAM 3 congelado.

2. Seleção de Classe Baseada em Visualização Prévia (Preview):
   Antes da decodificação cara em resolução total, o ActiveSAM executa uma "visualização de presença" de baixa resolução ($672 \times 672$) usando o codificador de imagem e a cabeça de presença congelados do SAM 3.

   • Ele computa uma pontuação de presença $q_c$ para cada classe no vocabulário.
   • Para conjuntos de dados com grandes vocabulários ($V > 40$), ele seleciona um conjunto ativo específico da imagem $A(I)$ baseado em um limiar de quantil adaptativo. Classes com baixas pontuações de presença são descartadas.
   • Crucialmente, este estágio pula a computação da cabeça de segmentação, usando apenas o sinal de presença para filtrar candidatos.

3. Decodificação em Resolução Total por Baldes (Buckets):
   A imagem em resolução total ($1008 \times 1008$) é codificada uma única vez. O decodificador de aterramento (grounding) do SAM 3 processa apenas as classes ativas retidas $A(I)$.

   • Para otimizar ainda mais a velocidade, os prompts ativos são agrupados em "baldes" (tamanho $K=32$). O decodificador processa esses baldes em paralelo, compartilhando as características da imagem entre os prompts dentro de um balde.
   • As pontuações de instância e semânticas do SAM 3 são fundidas via maximização pixel a pixel para gerar mapas de pontuação de classe.

4. Calibração de Background Consciente de Margem (MABC):
   Para conjuntos de dados com rótulos de background explícitos, um limiar simples na pontuação principal frequentemente classifica erroneamente pixels ambíguos. O ActiveSAM introduz o MABC, que calcula uma pontuação de confiança calibrada baseada na margem entre as duas principais pontuações de classe ($s_1$ e $s_2$):
   $$c_{MABC}(p) = \frac{s_1(p)}{\sqrt{s_1(p) - s_2(p)}}$$
   Pixels com baixa confiança calibrada são reatribuídos à classe de background, melhorando a precisão das bordas sem exigir o ajuste de limiares específicos do conjunto de dados.

Principais Contribuições

• Poda de Vocabulário Ativo: O artigo introduz um novo paradigma de inferência onde a cabeça de presença atua como um sinal de roteamento precoce, em vez de um filtro pós-decodificação. Isso reduz a complexidade computacional da decodificação de $O(V)$ para $O(|A(I)|)$, onde $|A(I)| \ll V$.
• Arquitetura Livre de Treinamento: O ActiveSAM não requer treinamento no conjunto de dados alvo, nenhuma atualização de peso no modelo de fundação e nenhum rótulo de presença de classe oráculo. Ele depende inteiramente dos pesos congelados do SAM 3 e de hiperparâmetros universais.
• Prompting e Calibração Aprimorados: A integração da Expansão de Prompt Contextual (CPE) e da Calibração de Background Consciente de Margem (MABC) melhora a qualidade da segmentação, abordando a ambiguidade visual-linguística e o ruído de fundo, respectivamente.

Resultados Experimentais

O ActiveSAM foi avaliado em oito benchmarks padrão de OVSS (incluindo Pascal VOC, Pascal Context, COCO-Stuff, Cityscapes e ADE20K) sob uma configuração zero-shot.

• Acurácia: O ActiveSAM atinge um mIoU (Intersection over Union média) de estado da arte de 65,3% nos oito benchmarks. Isso supera o atual melhor método baseado em SAM 3, o SegEarth-OV3, por +1,4 mIoU, e o modelo base SAM 3 por +7,8 mIoU.
• Eficiência: Em conjuntos de dados de grande vocabulário, o ActiveSAM roda aproximadamente 5,5× mais rápido que o SegEarth-OV3. Por exemplo, no ADE20K (150 classes), ele atinge 1,92 FPS comparado aos 0,35 FPS do SegEarth-OV3, enquanto simultaneamente melhora o mIoU em 2,4 pontos.
• Robustez: Sob corrupções do ImageNet-C (ruído Gaussiano, desfoque de movimento, compressão JPEG, névoa), o ActiveSAM mantém um desempenho superior comparado às baselines baseadas em CLIP (que sofrem degradação severa) e ao SegEarth-OV3. Ele demonstra que o decodificador aterrado em texto do SAM 3 permanece robusto mesmo quando as imagens de entrada estão degradadas.
• Estudos de Ablação: Remover o passo de poda de classes resulta em perda de acurácia negligível ($\Delta \approx 0$), mas elimina o ganho de velocidade, confirmando que a poda não sacrifica o desempenho. Remover o CPE ou MABC leva a quedas mensuráveis no mIoU, validando sua contribuição para a qualidade.

Significância e Alegações

O artigo afirma que o ActiveSAM aborda com sucesso a ineficiência de aplicar modelos de fundação a tarefas de vocabulário aberto onde o vocabulário é grande, mas a relevância específica da imagem é esparsa. Ao utilizar o sinal de "presença" como um mecanismo de portão (gating), o ActiveSAM permite o implante de modelos de segmentação poderosos e congelados em cenários de tempo real e com recursos limitados (ex: direção autônoma, IA incorporada) sem a necessidade de retreinamento.

Os autores posicionam o ActiveSAM como um passo significativo em direção à percepção prática de mundo aberto, observando que ele mantém alta robustez sob mudanças de distribuição (simuladas por corrupções de imagem) e oferece uma solução escalável para vocabulários dinâmicos. No entanto, o artigo admite modestamente limitações: o mecanismo de poda pode reduzir o recall para objetos extremamente pequenos ou ocluídos que falham no check de presença de baixa resolução, e a dependência de WordNet e canonicalização centrada no inglês pode limitar a aplicabilidade em domínios altamente especializados e não ingleses.