Love Me, Love My Label: Rethinking the Role of Labels in Prompt Retrieval for Visual In-Context Learning

Título: Love Me, Love My Label: Rethinking the Role of Labels in Prompt Retrieval for Visual In-Context Learning

Autores: Tianci Luo, Haohao Pan, Jinpeng Wang, et al. (Tsinghua University, HIT Shenzhen, Northeastern University)
Evento: CVPR 2026 (Preprint)

---

1. Problema e Motivação

O Aprendizado em Contexto Visual (VICL - Visual In-Context Learning) permite que modelos de fundação visuais realizem múltiplas tarefas utilizando exemplos demonstrativos (prompts). O desempenho do VICL depende criticamente da seleção desses prompts.

• Limitação das Abordagens Atuais: Trabalhos anteriores focam quase exclusivamente na similaridade visual entre a imagem de consulta (query) e as imagens dos prompts. Eles ignoram as etiquetas (labels) associadas aos prompts (como máscaras de segmentação, mapas de profundidade ou rótulos de classe).
• O Desafio: Abordagens "agnósticas a rótulos" podem recuperar prompts visualmente semelhantes, mas com rótulos inconsistentes. Por exemplo, para uma consulta de um "gato", o sistema pode recuperar uma imagem que contém um gato e uma flor, mas que está rotulada apenas como "flor". Essa inconsistência degrada o desempenho do modelo.
• Observação Chave: Os autores demonstram empiricamente que existe uma correlação positiva entre a consistência de rótulos entre a consulta e o prompt e o desempenho final do VICL. No entanto, durante a inferência, o rótulo da consulta é desconhecido, tornando difícil alinhar os prompts corretamente.

2. Metodologia: LaPR (Label-aware Prompt Retrieval)

O LaPR é um novo paradigma de recuperação de prompts que integra explicitamente informações de rótulos no processo de seleção, utilizando uma arquitetura baseada em Mistura de Especialistas (MoE).

Arquitetura e Componentes Principais:

1. Representação Conjunta Imagem-Rótulo (Prompt Side):

   • Ao contrário dos métodos anteriores que usam apenas a imagem do prompt, o LaPR funde as características da imagem do prompt ($I^p$) com as características do seu rótulo ($L^p$) para criar uma representação conjunta. Isso injeta explicitamente a informação semântica do rótulo na base de dados de prompts.

2. Mistura de Especialistas (MoE) e Roteador Adaptativo:

   • Lado da Consulta (Query): Como o rótulo da consulta é desconhecido no momento do teste, o modelo utiliza um mecanismo de MoE. Vários "especialistas" ($E_k$) são treinados para capturar diferentes modos ou características específicas (ex: formatos de bico, presença de chifres, texturas).
   • Roteador (Router): Um roteador condicional à consulta analisa a imagem de entrada e infere pesos de mistura suaves ($\pi_q$). Esses pesos estimam implicitamente o rótulo da consulta e determinam quais especialistas (modos) são mais relevantes para aquela entrada específica.
   • Embeddings Adaptativos: O embedding final da consulta é uma combinação ponderada das saídas dos especialistas, criando uma representação "consciente do rótulo" mesmo sem o rótulo explícito.

3. Recuperação de Prompts Relevantes:

   • O sistema calcula a similaridade entre o embedding da consulta (adaptado pelo roteador) e os embeddings dos prompts (que também são processados por especialistas simétricos). O objetivo é recuperar o prompt cuja combinação imagem-rótulo seja mais consistente com a estimativa do rótulo da consulta.

Processo de Otimização (Alternada):

Para evitar conflitos de aprendizado entre a extração de características e a seleção de modos, o LaPR utiliza uma otimização alternada em dois passos por mini-batch:

• Passo do Especialista (Expert Step): Os especialistas são atualizados usando uma função de perda contrastiva guiada pelo desempenho (Performance-Guided). O objetivo é garantir que os embeddings capturem modos que levam a previsões de VICL de alta qualidade. O roteador é congelado aqui.
• Passo do Roteador (Router Step): O roteador é atualizado usando uma função de perda contrastiva guiada por rótulos (Label-Guided). O objetivo é alinhar a mistura de modos inferida com os rótulos verdadeiros (ground truth) da consulta. Os especialistas são congelados aqui.
• Regularização: Adiciona-se uma perda de balanceamento de carga (load-balancing loss) para garantir que todos os especialistas sejam utilizados e evitar que apenas um domine o processo.

3. Contribuições Principais

1. Primeira Abordagem Consciente de Rótulos: O LaPR é o primeiro trabalho a tratar explicitamente a inconsistência de rótulos na recuperação de prompts para VICL, oferecendo novos insights conceituais sobre a seleção de prompts.
2. Arquitetura Híbrida MoE: Propõe a injeção de rótulos nos prompts e o uso de múltiplos especialistas em ambos os lados (consulta e prompt), com um roteador adaptativo que estima o rótulo implícito da consulta para guiar a recuperação.
3. Otimização Desacoplada: Desenvolveu um esquema de treinamento alternado que separa o aprendizado de representações específicas de modos (especialistas) da inferência de proporções de mistura (roteador), resultando em maior estabilidade e eficácia.
4. Generalização Robusta: O método demonstra superioridade não apenas em tarefas específicas, mas também na generalização entre diferentes extratores de características e cenários de transferência cruzada (cross-fold).

4. Resultados Experimentais

Os autores avaliaram o LaPR em três tarefas fundamentais de VICL:

1. Segmentação de Primeiro Plano (Foreground Segmentation): Dataset Pascal-5i.
2. Detecção de Objeto Único (Single-Object Detection): Dataset Pascal VOC 2012.
3. Colorização de Imagem (Image Colorization): Dataset ImageNet-1K.

Desempenho Quantitativo:

• Supremacia Geral: O LaPR alcançou o estado da arte (SOTA) em todas as três tarefas, superando métodos baseados em recuperação (como SupPR) e reclassificação (como RH-Partial2Global).
• Ganhos Significativos: Em comparação com a melhor linha de base baseada em reclassificação (RH-Partial2Global), o LaPR (baseado em recuperação) obteve ganhos de 6,00% em segmentação e 3,46% em detecção.
• Transferência Cruzada (Cross-Fold): Em cenários onde o modelo é treinado em uma partição de dados e testado em outras, o LaPR superou os métodos concorrentes por margens amplas (ex: +14,8% sobre o SupPR), demonstrando que os especialistas capturam modos mais finos e generalizáveis do que simples categorias.
• Robustez: O método manteve o desempenho superior mesmo ao trocar o extrator de características (de CLIP para DINOv2), provando que a melhoria vem da estratégia de recuperação e não apenas do backbone visual.

Análise Qualitativa:
Visualizações mostram que métodos agnósticos a rótulos frequentemente selecionam prompts com imagens similares, mas rótulos errados (ex: recuperar um prompt de "mesa de jantar" para uma consulta de "cachorro" se a imagem for parecida, mas o rótulo for diferente), levando a previsões com IoU (Interseção sobre União) de 0.00. O LaPR, ao contrário, seleciona consistentemente prompts com rótulos compatíveis, resultando em previsões visualmente precisas.

5. Significado e Conclusão

O trabalho LaPR estabelece uma nova fundação para a recuperação de prompts em aprendizado em contexto visual. A principal conclusão é que a informação de rótulo é um sinal auxiliar crucial que não deve ser descartado, mesmo quando o rótulo da consulta é desconhecido.

Ao utilizar uma arquitetura de Mistura de Especialistas para modelar modos específicos e um roteador para inferir a intenção semântica da consulta, o LaPR resolve o problema da inconsistência semântica que limita os métodos atuais. Isso sugere que futuras pesquisas em VICL devem integrar mais profundamente a semântica de rótulos no processo de seleção de exemplos, indo além da mera similaridade visual. O código do projeto está disponível publicamente para reprodução e avanço da área.