Show or Tell? Effectively prompting Vision-Language Models for semantic segmentation

Resumo Técnico: Mostrar ou Contar? Prompting Eficaz de Modelos de Linguagem-Visão para Segmentação Semântica

Declaração do Problema

O artigo aborda o desafio de realizar o prompting eficaz de Modelos de Linguagem-Visão (VLMs) para segmentação semântica sem a necessidade de ajuste fino (fine-tuning) específico para a tarefa. Embora os VLMs tenham se estabeleado como backbones robustos para o raciocínio cross-modal, sua capacidade de funcionar como "modelos de fundação" para tarefas de predição densa, como a segmentação, permanece não comprovada. Os autores investigam se prompts de texto (TP) ou prompts visuais (VP) são mais expeditos para delinear objetos em imagens, particularmente em cenários fora da distribuição (OOD).

Uma distinção crítica é feita entre o aprendizado few-shot tradicional, que requer o ajuste fino do modelo, e o protocolo proposto de Segmentação Semântica com Prompt de Poucos Exemplos (FPSS). No FPSS, o modelo permanece congelado; o usuário fornece um pequeno conjunto de exemplos anotados (prompts visuais) ou uma descrição textual (prompts de texto) para guiar o modelo em novas imagens não vistas. O artigo postula que, enquanto os prompts de texto são frequentemente genéricos (ex: "segmente todos os gatos"), os prompts visuais são tipicamente específicos da imagem. No entanto, os autores defendem uma abordagem de prompting visual escalável onde um conjunto fixo de exemplos anotados serve como um prompt para um conjunto de teste arbitrariamente grande, incorrendo apenas em um overhead constante.

Metodologia

Estrutura de Avaliação

Os autores avaliam vários modelos na coleção de datasets MESS, um benchmark que compreende 22 datasets de segmentação diversos em cinco domínios: Geral, Terra, Médico, Engenharia e Agricultura. A avaliação adere estritamente a um protocolo livre de treinamento para avaliar as capacidades de generalização inerentes dos modelos, evitando o vazamento de informações de benchmarks padrão como COCO ou Pascal VOC, que podem sobrepor-se aos dados de pré-treinamento.

O estudo compara três categorias de modelos:

1. Modelos Baseados em Prompt de Texto: Modelos de segmentação de vocabulário aberto (CAT-Seg, NACLIP) e VLMs (Florence-2, PALI-Gemma, LISA).
2. Modelos Baseados em Prompt Visual: Modelos treinados com pistas visuais (SEEM, DINOv) e frameworks livres de treinamento que utilizam algoritmos de correspondência (Matcher, SoftMatcher, SoftMatcher+).
3. Baselines Supervisionados: Modelos específicos de domínio treinados no próprio domínio, servindo como o limite superior (upper bound) de desempenho.

Análise Chave: Ensembles Oráculo

Para entender a natureza complementar das duas modalidades, os autores constroem ensembles "Oráculo":

• Ensemble Oráculo: Seleciona o método com melhor desempenho (TP ou VP) por base de dataset.
• Ensemble Oráculo+: Seleciona o método com melhor desempenho por imagem.

Esta análise revela que os prompts de texto e visuais são altamente complementares; cada modalidade falha em exemplos que a outra consegue resolver. O Ensemble Oráculo+ alcança uma melhoria de 11% sobre o melhor baseline puramente baseado em texto, destacando o potencial de combinar as modalidades.

Framework Proposto: PromptMatcher

Motivado pelas forças complementares de TP e VP, os autores propõem o PromptMatcher, um framework livre de treinamento que integra ambas as modalidades. O framework opera em dois estágios:

1. Geração de Máscaras:
   • Ramo de Texto: Utiliza o LISA (um VLM que integra LLaVA, CLIP e SAM) para processar prompts de texto, gerando máscaras de segmentação via um token especializado <SEG>.
   • Ramo Visual: Utiliza o SoftMatcher+ (uma versão melhorada do SoftMatcher utilizando recursos AM-RADIO) para processar prompts visuais (imagens de referência com máscaras), gerando prompts de pontos para o SAM criar propostas de máscara.
2. Verificação e Fusão:
   • Um módulo de verificação, baseado no pipeline de rejeição do SoftMatcher+, atua como um "crítico" para ambos os ramos. Ele testa a consistência da máscara contra a imagem de referência.
   • Máscaras que falham nos testes de consistência (ex: alucinações do ramo de texto ou ruído do ramo visual) são descartadas.
   • As máscaras restantes verificadas são combinadas via união binária para produzir a saída de segmentação final.

Principais Resultados

Lacuna de Desempenho

O estudo constata que mesmo os VLMs mais avançados ficam significativamente atrás de modelos especialistas treinados para tarefas específicas. Em média, os VLMs ficam atrás dos baselines supervisionados por aproximadamente 30% em Interseção sobre União (IoU) no dataset MESS.

Comparação de Modalidades

• Prompts de Texto: Geralmente apresentam melhor desempenho médio, mas lutam com descrições ambíguas (ex: "Roupas superiores") ou termos altamente específicos e incomuns (ex: "Pássaro comedor de vermes").
• Prompts Visuais: Embora geralmente apresentem desempenho médio inferior aos prompts de texto, eles se destacam em domínios técnicos (Engenharia, Médico) e para classes onde as descrições textuais são ambíguas. Por exemplo, o SoftMatcher+ supera o LISA em domínios técnicos.
• Complementaridade: A análise das 10 principais classes com as maiores diferenças de IoU mostra que os prompts visuais podem superar os prompts de texto em até 80% para classes específicas, principalmente devido à ambiguidade da linguagem.

Desempenho do PromptMatcher

O PromptMatcher alcança resultados de estado da arte no cenário de poucos exemplos (few-shot):

• Ele supera o melhor VLM baseado em prompt de texto (LISA) em 2,5%.
• Ele supera o melhor VLM baseado em prompt visual em 3,5%.
• Embora não feche a lacuna para modelos de domínio específicos totalmente supervisionados, ele reduz significativamente a diferença de desempenho em comparação com abordagens de modalidade única.

Significância e Alegações

O artigo alega que os atuais VLMs ainda não são verdadeiros "modelos de fundação" capazes de resolver múltiplas tarefas de maneira zero-shot com desempenho comparável a modelos especializados. Os autores enfatizam que:

1. Complementaridade de Modalidade: Os prompts de texto e visuais não são intercambiáveis; eles abordam diferentes modos de falha. A incapacidade de antecipar a modalidade mais eficaz leva ao desempenho subótimo.
2. Ambiguidade da Linguagem: Uma limitação primária do prompting de texto é a ambiguidade e especificidade inerentes da linguagem natural, que os prompts visuais podem contornar efetivamente.
3. Viabilidade Livre de Treinamento: É possível alcançar resultados de estado da arte em segmentação few-shot sem fine-tuning através da combinação eficaz de modalidades por meio de um simples mecanismo de verificação.

O trabalho sugere que futuros modelos de fundação para visão devem suportar e integrar nativamente tanto mecanismos de prompting de texto quanto de visual para superar as limitações da instrução unimodal.