Resumo Técnico: Rumo a Modelos de Segmentação Visão-Linguagem Semântica-Agnóstica e Consciente da Forma

1. Declaração do Problema

Avanços recentes em Modelos Visão-Linguagem (VLMs) permitiram tarefas de segmentação guiadas por instruções em linguagem natural. No entanto, os modelos mais avançados atuais (por exemplo, LISA, GSVA) dependem fortemente de categorias de objetos semânticos de alto nível (por exemplo, "placa de pare", "cachorro") encontrados em conjuntos de dados padrão como COCO ou LVIS. Essa dependência semântica cria uma limitação significativa: esses modelos têm dificuldade em raciocinar sobre propriedades visuais intrínsecas, como forma, geometria, textura ou cor, quando rótulos semânticos explícitos estão ausentes.

Consequentemente, os VLMs existentes falham em lidar efetivamente com consultas não semânticas. Por exemplo, um modelo treinado principalmente em categorias semânticas pode falhar ao segmentar um "objeto octogonal vermelho" se não conseguir alinhar a descrição com um rótulo de classe específico como "placa de pare". Essa limitação restringe a generalização e a controlabilidade dos modelos de segmentação em aplicações do mundo real, onde é necessário controle preciso sobre propriedades visuais (por exemplo, restrições anatômicas, formas geométricas específicas) sem classes semânticas pré-definidas.

2. Metodologia

Os autores introduzem a segmentação SANSA (Semântica-Agnóstica e Consciente da Forma), um novo paradigma que exige que os modelos segmentem objetos com base exclusivamente em descrições perceptivas (forma, cor, textura, propriedades espaciais) em vez de categorias semânticas. A metodologia consiste em duas etapas principais:

A. Geração de Prompts de Segmentação SANSA

Para abordar a falta de conjuntos de dados semântica-agnósticos, os autores propõem um pipeline automatizado para gerar prompts de segmentação usando um VLM de descrição (InternVL 2.5). Para evitar que o VLM vaze informações semânticas (por exemplo, nomeando o objeto), são empregadas duas estratégias complementares:

1. DISP (Prompts de Segmentação Baseados em Dicionário):

   • Restrição: O VLM de descrição é forçado a gerar tokens exclusivamente a partir de um dicionário pré-definido de atributos semântica-agnósticos (cores, texturas, formas, padrões, iluminação e conectores).
   • Pós-processamento: Um LLM externo (Mistral 7B) reformula essas saídas restritas pelo dicionário em prompts de segmentação fluentes e naturais, preservando estritamente as restrições perceptivas originais.
   • Pré-processamento de Entrada: Os objetos-alvo são recortados usando suas máscaras binárias antes de serem alimentados no VLM para minimizar o vazamento semântico contextual.

2. EXSP (Prompts de Segmentação Baseados em Exemplos):

   • Orientação: Em vez de um dicionário fixo, o VLM é orientado por exemplos positivos (descrições semântica-agnósticas) e exemplos negativos (descrições contendo palavras semânticas) dentro do prompt de instrução.
   • Filtragem por LLM como Juiz (LLMJ): Como a estratégia EXSP é não restrita, aplica-se uma etapa de filtragem onde um LLM separado classifica as descrições geradas como "semânticas" ou "semântica-agnósticas" com base apenas no texto. Descrições identificadas como contendo informações semânticas são removidas do conjunto de dados.

B. Ajuste Fino do Modelo

Os autores realizam o ajuste fino de um VLM de segmentação de última geração, LISA 7B, usando os prompts SANSA gerados.

• Arquitetura: Eles empregam LoRA (Adaptação de Baixo Rango) para ajustar fino o modelo multimodal (LLaVA) responsável por gerar tokens de segmentação e o decodificador de visão.
• Função de Perda: O treinamento utiliza uma combinação ponderada de entropia cruzada binária pixel a pixel (BCE) e perda Dice.
• Dados: Os modelos são treinados em um subconjunto do COCO (10 mil imagens) convertido em prompts SANSA, com avaliação realizada em conjuntos de teste retidos e em um conjunto "Prompt Humano" (HP) curado manualmente.

3. Contribuições Principais

• Paradigma de Segmentação SANSA: A introdução de uma tarefa de segmentação que depende exclusivamente de propriedades visuais (forma, geometria, cor, textura) sem categorias de objetos semânticos.
• Estratégias Automatizadas de Geração de Prompts: A proposta de duas estratégias escaláveis (DISP e EXSP) para gerar prompts de segmentação semântica-agnósticos, superando a dificuldade de anotação manual para descrições não semânticas.
• Melhoria de Desempenho: Demonstração de que o ajuste fino em prompts SANSA melhora significativamente a precisão de segmentação em tarefas não semânticas em comparação com modelos pré-treinados, mantendo o desempenho em tarefas semânticas padrão.

4. Resultados Experimentais

Os experimentos foram conduzidos em um subconjunto do conjunto de dados COCO (2 mil imagens de teste) e em um conjunto de Prompt Humano (HP) (160 imagens).

• Desempenho Quantitativo:
  • Os modelos SANSA ajustados finamente alcançaram até 20% de melhoria no mIoU na tarefa SANSA em comparação com modelos pré-treinados de última geração (LISA, GSVA, PolyFormer).
  • A estratégia EXSP produziu o mIoU médio mais alto (37,46% em conjuntos de teste automáticos, 42,98% em HP), sugerindo que gera prompts que generalizam bem para descrições semântica-agnósticas escritas por humanos.
  • A estratégia DISP mostrou desempenho robusto, particularmente no conjunto de teste EXSP+LLMJ filtrado, confirmando a eficácia da restrição do dicionário.
• Desempenho Qualitativo:
  • Modelos pré-treinados (LISA, GSVA) falharam em interpretar prompts semântica-agnósticos (por exemplo, "Segmentar o objeto octogonal vermelho"), frequentemente falhando em segmentar o alvo ou segmentando objetos incorretos.
  • Os modelos SANSA ajustados finamente segmentaram com precisão objetos com base apenas em descrições de forma e cor.
• Robustez e Generalização:
  • Preservação Semântica: O ajuste fino em prompts SANSA não degradou o desempenho na tarefa original de segmentação semântica; o mIoU em prompts semânticos padrão permaneceu comparável à linha de base LISA pré-treinada (queda inferior a 1%).
  • Eficácia da Filtragem: O filtro LLMJ alcançou 82,5% de precisão e 94% de precisão na detecção de vazamento semântico em prompts EXSP.

5. Significado

O artigo argumenta que a dependência atual de alinhamento semântico em VLMs limita sua capacidade de raciocinar sobre propriedades visuais intrínsecas. Ao deslocar o foco para o raciocínio visual de baixo e médio nível, a segmentação SANSA demonstra que os modelos podem ser tornados mais generalizáveis e controláveis.

Os autores destacam que essa abordagem é particularmente valiosa para domínios onde rótulos semânticos estão indisponíveis, insuficientes ou onde é necessário controle preciso sobre propriedades de segmentação (como o número de componentes conectados ou restrições geométricas específicas). O trabalho estabelece uma base para expandir os VLMs além da compreensão apenas semântica, permitindo que operem efetivamente em descrições puramente perceptivas.