Decomposed Vision-Language Alignment for Fine-Grained Open-Vocabulary Segmentation

Resumo Técnico: Alinhamento Visão-Linguagem Decomposto para Segmentação Aberta de Vocabulário Fino

Declaração do Problema
Modelos de segmentação de vocabulário aberto (OVS), embora capazes de generalizar para nomes de categorias não vistos por meio de pré-treinamento visão-linguagem, lutam para generalizar para combinações não vistas de categorias de objetos e atributos (por exemplo, distinguir um "edifício industrial com telhado plano" de um "edifício residencial com telhado plano" quando a combinação específica não foi vista durante o treinamento). Abordagens existentes tipicamente codificam todo o prompt textual como uma única sequência holística. Essa codificação holística entrelaça semânticas de categoria e atributo dentro de uma representação compartilhada, impedindo que o modelo decomponha e recomponha unidades semânticas no momento da inferência. Consequentemente, os modelos falham em impor as restrições lógicas "E" necessárias para o raciocínio composicional fino, levando a desempenho degradado em composições não vistas de atributo–categoria.

Metodologia
Os autores propõem uma estrutura de Alinhamento Visão-Linguagem Decomposto projetada para fatorizar explicitamente prompts textuais e impor restrições composicionais tanto no nível de características quanto no nível de pontuação. O método é agnóstico ao modelo, mas aqui é instanciado dentro da arquitetura SAM3.

1. Decomposição Explícita do Prompt:
   Em vez de concatenar o texto em uma única frase, a estrutura codifica a categoria e cada atributo independentemente. Para resolver ambiguidade geométrica (por exemplo, "telhado plano" aplicando-se a qualquer superfície plana), os atributos são condicionados à categoria durante a codificação (por exemplo, codificando "telhado plano" como "edifício de telhado plano"). Isso produz uma representação estruturada consistindo de uma sequência de tokens de categoria ($t_c$), um conjunto de sequências de tokens de atributo ($t_{a_k}$) e uma máscara de presença de atributo ($m$).

2. Atenção Cruzada com Portão de Características:
   A estrutura realiza atenção cruzada decomposta entre consultas visuais e cada unidade semântica.

   • Interação de Categoria: Atenção cruzada padrão é usada para alinhar consultas com o token de categoria.
   • Portões de Atributo: Para cada atributo, um ramo separado de atenção cruzada gera um mapa de portão ($G_{a_k}$) via ativação sigmoide. Esses portões atuam como "filtros de condição necessária".
   • Composição E: A saída final de características é obtida pela multiplicação elemento a elemento das características alinhadas à categoria e todos os portões de atributo ativos ($F_{out} = Q_c \odot \prod G_{a_k}$). Essa agregação multiplicativa impõe que uma característica visual seja preservada apenas se satisfizer todas as restrições de atributo simultaneamente.

3. Pontuação Composicional E no Espaço Logarítmico:
   Para evitar instabilidade numérica e vanishing de gradiente associados à multiplicação de probabilidades, o mecanismo de pontuação opera no espaço logarítmico.

   • Logits de correspondência para a categoria e cada atributo são computados independentemente.
   • Esses logits são convertidos em probabilidades via sigmoide, depois mapeados para log-probabilidades.
   • A pontuação composicional final é a soma dessas log-probabilidades, normalizada pelo número de componentes ativos. Essa formulação aproxima matematicamente a operação lógica E ($\log(\prod \pi) = \sum \log(\pi)$) enquanto mantém gradientes estáveis durante a otimização.

Principais Contribuições

• Alinhamento Visão-Linguagem Decomposto: Uma estrutura que se integra perfeitamente a arquiteturas de segmentação baseadas em transformadores, desacoplando explicitamente interações de categoria e atributo para melhorar a OVS fina.
• Atenção Cruzada com Portão de Características: Um módulo inovador onde atributos funcionam como filtros espaciais, desacoplando a aprendizagem de características específica de atributo e impondo restrições composicionais via portagem multiplicativa.
• Pontuação Composicional E no Espaço Logarítmico: Uma estratégia de pontuação que modela explicitamente relações lógicas E entre unidades semânticas, oferecendo estabilidade numérica e comportamento de otimização aprimorado em comparação à multiplicação direta de probabilidades.
• Protocolo de Avaliação de Generalização Composicional: A introdução de um protocolo de avaliação rigoroso que divide dados em composições de atributo–categoria vistas e não vistas, utilizando métricas como AP não visto, Lacuna Visto–Não Visto ($R_d$) e Eficiência-E para medir capacidades de raciocínio composicional.

Resultados Experimentais
O método foi avaliado no conjunto de dados de edifícios UBC e no conjunto de dados PACO-LVIS sob uma configuração de generalização composicional onde combinações específicas de atributo–categoria foram mantidas de fora do treinamento.

• Ganhos de Desempenho: No conjunto de dados UBC, o método proposto aumentou o AP não visto de 4,0 (linha de base SAM3) para 7,1, enquanto a métrica de Eficiência-E melhorou significativamente de 0,533 para 0,959. No PACO-LVIS, o AP não visto subiu de 37,9 para 39,2, e a Eficiência-E de 0,874 para 0,907.
• Estudos de Ablação: Experimentos confirmaram que a codificação holística limita a generalização. Substituir a codificação holística por codificação independente e agregação média melhorou os resultados, mas o mecanismo completo de E no Espaço Logarítmico forneceu os ganhos mais significativos. Além disso, o método superou métodos adaptados de Aprendizagem Zero-Shot Composicional (CZSL) (por exemplo, AttrAsOp, CGE), demonstrando que a portagem espacial em nível de pixel é superior a vetores de composição globais para tarefas de previsão densa.
• Análise Qualitativa: Visualizações dos portões de características mostraram que o modelo aprendeu com sucesso a suprimir instâncias que correspondiam à categoria, mas violavam restrições específicas de atributo (por exemplo, suprimindo edifícios comerciais quando o prompt exigia "residencial"), confirmando a eficácia do mecanismo de portagem multiplicativa.

Significância
O artigo afirma que sua significância primária reside em abordar o viés sistemático de modelos visão-linguagem no raciocínio composicional fino. Ao transferir a insight de decomposição da Aprendizagem Zero-Shot Composicional em nível de imagem para o domínio em nível de pixel da segmentação, o trabalho demonstra que a fatorização explícita de unidades semânticas e a imposição de restrições lógicas no nível de características são críticas para generalizar para composições não vistas. Os autores postulam que essa estrutura fornece uma base robusta para desenvolver sistemas de percepção de mundo aberto mais confiáveis, capazes de lidar com descrições semânticas complexas e estruturadas.