PromptHub: Enhancing Multi-Prompt Visual In-Context Learning with Locality-Aware Fusion, Concentration and Alignment

Resumo Técnico: PromptHub

1. O Problema

O Aprendizado de Contexto Visual (VICL - Visual In-Context Learning) visa completar tarefas de visão computacional imitando demonstrações em nível de pixel. Embora métodos recentes, como o CONDENSER, tenham introduzido a fusão de prompts (combinar múltiplas demonstrações para melhorar o contexto), eles apresentam limitações críticas:

• Fusão por "Patch" (Patch-wise): A fusão ocorre localmente em pequenos blocos de imagem, o que impede a captura de informações contextuais ricas e globais.
• Supervisão Agnóstica ao Modelo: A supervisão no nível de entrada não é suficiente para garantir que o modelo de backbone (a rede neural principal) confie e utilize efetivamente o prompt fundido.
• Discrepância e Desconfiança: Frequentemente, existe uma discrepância entre o prompt fundido e o par de consulta (query), fazendo com que o backbone ignore a representação fundida e recorra à sua capacidade interna, anulando os benefícios do aprendizado de contexto.

2. Metodologia: PromptHub

O PromptHub propõe um framework holístico para fortalecer o aprendizado com múltiplos prompts através de três pilares principais: Fusão Consciente de Localidade, Concentração e Alinhamento.

A. Fusão Consciente de Localidade (Locality-Aware Fusion)

• Diferente da fusão global ou por patches, o PromptHub utiliza um prior de localidade que aplica pesos que decaem espacialmente a partir do patch atual.
• Utiliza distribuições de prior (Gaussiana ou Laplaciana) controladas por um hiperparâmetro $\sigma$.
• Mecanismo: Para cada token da imagem de consulta, o modelo calcula uma matriz de atenção local que pondera as características dos prompts com base na proximidade espacial. Isso permite capturar informações contextuais globais enquanto mitiga o ruído de borda, criando uma representação fundida mais coerente.

B. Objetivos de Aprendizado Complementares (A "Cadeia" Fusion-Utilization-Prediction)
O treinamento é guiado por três objetivos que trabalham em conjunto:

1. Perda de Predição de Rótulo ($\mathcal{L}_p$): Mantida do CONDENSER, serve como supervisão base para garantir que o modelo mantenha o comportamento de predição contextual do VICL.
2. Perda de Alinhamento Semântico ($\mathcal{L}_s$): Alinha os tokens contínuos do prompt fundido com os tokens discretos do par de consulta (agindo como prompt). Isso garante a integridade semântica e força a fusão a ser semanticamente próxima da tarefa desejada.
3. Perda de Utilização ($\mathcal{L}_u$): Uma perda de similaridade de cosseno projetada para reduzir a discrepância entre o par de consulta e o prompt fundido. O objetivo é forçar o backbone a confiar e utilizar o prompt fundido em vez de ignorá-lo.

C. Aumento de Dados Específico para VICL
Durante o treinamento, o PromptHub emprega uma estratégia de aumento de dados onde pares de prompts são substituídos aleatoriamente por:

• Pares de consulta (para minimizar a discrepância e reforçar $\mathcal{L}_u$).
• Pares aleatórios (para introduzir ruído controlado e reforçar a robustez e o alinhamento $\mathcal{L}_s$).

3. Contribuições Chave

1. Estratégia de Fusão Aprimorada: Introdução de uma fusão que equilibra a localidade espacial e o campo receptivo global, superando as limitações da fusão por patches.
2. Tríade de Objetivos de Aprendizado: Proposição de três objetivos cooperativos que melhoram a qualidade da fusão, fortalecem a concentração do modelo no prompt fundido e melhoram a predição contextual.
3. Paradigma Confiável: Estabelecimento de um novo paradigma para fusão de prompts que supera abordagens anteriores, demonstrando ser mais robusto a cenários de distribuição fora do domínio (OOD) e diferentes estratégias de recuperação (retrieval).

4. Resultados Experimentais

O PromptHub foi avaliado em três tarefas fundamentais de visão: Segmentação de Foreground, Detecção de Objetos e Colorização de Imagens.

• Desempenho Superior:
  • Na tarefa de Segmentação (Pascal-5i), o PromptHub superou o estado da arte (CONDENSER) em +2,3% (configuração de 1 prompt) e +2,5% (16 prompts) em mIoU.
  • Na Detecção, houve um ganho de +3,0% (1 prompt) e +2,1% (16 prompts).
  • Na Colorização, o ganho foi de +5,1% (1 prompt) e +7,2% (16 prompts) em MSE.
• Transferibilidade: Em testes de transferência de domínio (treinado em COCO-5i, testado em Pascal-5i), o PromptHub superou o CONDENSER em 4,1% no cenário de múltiplos prompts, demonstrando maior capacidade de generalização.
• Robustez: O modelo mostrou-se significativamente mais robusto a desalinhamentos espaciais (rotação/flipping) e a diferentes estratégias de recuperação de prompts (incluindo seleção aleatória), mantendo a performance onde outros métodos degradam.
• Qualidade Visual: Visualizações mostram que os prompts fundidos pelo PromptHub são visualmente mais suaves e semanticamente alinhados com a consulta, enquanto os do CONDENSER tendem a ser ruidosos e desordenados.

5. Significado e Impacto

O trabalho do PromptHub representa um avanço significativo no campo do VICL ao demonstrar que a simples agregação de prompts não é suficiente; a forma como eles são fundidos e como o modelo é treinado para confiar nessa fusão é crucial.

• Paradigma Localidade-Aware: Move o campo além das abordagens de patch-wise, estabelecendo que a consideração da estrutura espacial local durante a fusão é vital para a extração de informações eficazes.
• Solução Confiável: Oferece uma solução robusta e transferível para o aprendizado de contexto visual, capaz de lidar com a incerteza na recuperação de prompts e variações de domínio, tornando os modelos de visão mais versáteis e eficientes em cenários de poucos exemplos (few-shot).

Em suma, o PromptHub não apenas melhora os resultados quantitativos em tarefas padrão, mas também resolve problemas fundamentais de confiança do modelo e coerência semântica na fusão de múltiplas demonstrações visuais.