VP Lab: a PEFT-Enabled Visual Prompting Laboratory for Semantic Segmentation

Resumo Técnico: VP Lab – Um Laboratório de Prompting Visual Baseado em PEFT para Segmentação Semântica

Definição do Problema
Modelos de fundação de visão de grande escala pré-treinados, como o Segment Anything Model (SAM), revolucionaram a visão computacional ao permitir capacidades de zero-shot, como a segmentação semântica. No entanto, esses modelos frequentemente apresentam desempenho inferior quando aplicados a domínios técnicos especializados (ex: imagens médicas, inspeção visual industrial), onde as características visuais divergem significativamente das distribuições de treinamento de escala de internet dos modelos. Embora os pipelines de prompting visual existentes (ex: aqueles que dependem do DINOv2 para correspondência de características e do SAM para segmentação) funcionem bem em cenários genéricos, eles têm dificuldade em gerar máscaras coerentes para objetos de domínios específicos. Além disso, as abordagens tradicionais de ajuste fino (fine-tuning) são frequentemente dispendiosas do ponto de vista computacional, exigindo horas e múltiplas GPUs, o que dificulta o desenvolvimento de fluxos de trabalho interativos de poucos disparos (few-shot) necessários para a adaptação rápida a novos casos de uso fora da distribuição (OOD).

Metodologia
O artigo apresenta o VP Lab, um framework iterativo projetado para preencher a lacuna entre o prompting visual genérico e a segmentação robusta de domínios específicos. O fluxo de trabalho opera através de um ciclo de quatro etapas:

1. Prompting Visual e Validação: Usuários fornecem anotações de pontos esparsos em uma imagem de referência para indicar uma classe de objeto. O SAM gera uma máscara de referência inicial.
2. Geração de Pseudolabels: Um algoritmo de prompting visual (SoftMatcher) calcula pseudolabels para um conjunto de dados alvo com base na referência.
3. Refinamento de Rótulos: Usuários utilizam uma ferramenta de anotação baseada na web integrada para refinar esses pseudolabels, corrigindo erros e validando a saída.
4. Refinamento do Modelo: A inovação central, E-PEFT (Ensemble de Ajuste Fino de Parâmetros Eficientes), é empregada para realizar o ajuste fino do decodificador de máscara do SAM usando os rótulos refinados. Este processo é projetado para ser rápido (minutos) e eficiente em recursos.

Inovação Principal: E-PEFT
O E-PEFT é um ensemble escalável de técnicas de ajuste fino de parâmetros eficientes (PEFT) especificamente otimizado para cenários de poucos disparos (few-shot) e adaptação em tempo de teste. Ao contrário de métodos que adicionam milhões de parâmetros ou exigem pipelines complexos, o E-PEFT foca no cabeçalho do decodificador do SAM, onde o ajuste de parâmetros produz o maior impacto. Ele integra quatro técnicas ortogonais:

• LoRA (Low-Rank Adaptation): Decompõe matrizes de pesos de camadas lineares em aproximações de baixo posto.
• IA3: Escala mecanismos de atenção e MLPs usando três parâmetros aprendidos por camada linear.
• Visual Prompt Tuning (VPT): Adiciona tokens de memória treináveis às sequências de entrada do decodificador.
• Adaptador Leve (Lightweight Adapter): Compartilha a representação média da imagem com o prompt via MLP para uma melhor inicialização.

Ao alavancar as forças complementares desses métodos, o E-PEFT maximiza a capacidade do modelo enquanto mantém uma baixa contagem de parâmetros, garantindo uma convergência rápida mesmo com dados mínimos.

Resultados
Os autores validam o framework em diversos conjuntos de dados técnicos e médicos, incluindo Kvasir-Seg, HQ-44k, Kvasir-Inst., PaxRay, DeepCrack e Corrosion CS.

• Eficiência de Parâmetros: O E-PEFT atinge o estado da arte no desempenho em Kvasir-Seg (88.97 mIoU) e HQ-44k (90.50 mIoU) com apenas 201.1K parâmetros, superando o HQ-SAM (que utiliza 5.1M de parâmetros) e outros baselines de PEFT único.
• Desempenho Few-Shot: Em cenários de 1-shot e 5-shot, o E-PEFT supera significativamente o HQ-SAM. Por exemplo, no Kvasir-Seg, o E-PEFT atinge 72.34 mIoU (1-shot) e 82.25 mIoU (5-shot), comparado aos 59.30 e 75.71 do HQ-SAM, respectivamente.
• Integração com Prompting Visual: Quando integrado ao pipeline do SoftMatcher, o E-PEFT melhora drasticamente o desempenho em datasets técnicos OOD. Usando apenas 5 imagens validadas, o framework alcança um aumento médio de 50% no mIoU em datasets como Kvasir-Inst. e PaxRay. Alguns datasets mostram até 80% de melhoria.
• Eficiência: O processo de ajuste fino para 5 imagens é concluído em menos de um minuto em uma única GPU NVIDIA V100; o ajuste com 40 imagens leva aproximadamente 2,5 minutos.

Significância e Alegações
O artigo posiciona o VP Lab como um novo paradigma para implantação de modelos rápida, eficiente e interativa em domínios desafiadores. A principal significância reside em transformar um framework de prompting visual estático em um "laboratório" interativo onde os usuários podem observar resultados progressivamente melhores em tempo quase real. Ao combinar o E-PEFT com um fluxo de trabalho de correção de rótulos, o sistema permite a criação de modelos de segmentação robustos para casos de uso técnicos especializados em minutos, utilizando apenas um punhado de imagens validadas. Esta abordagem aborda as limitações de escalabilidade do prompting visual isolado, permitindo que os usuários colaborem efetivamente com o modelo para superar as limitações de backbones pré-treinados genéricos em cenários fora da distribuição. O trabalho é apresentado como uma demonstração de um fluxo de trabalho usuário-modelo totalmente interativo, validado através de um caso de uso médico real no dataset PaxRay.