Resumo Técnico: Aprendizado Multi-granularidade em Forma de U para Modelos de Visão-Linguagem (UPrompt)

1. Declaração do Problema

Modelos de Visão-Linguagem (VLMs) adaptados via aprendizado de prompts enfrentam um dilema de granularidade fundamental. Os métodos existentes tipicamente otimizam em uma granularidade única e fixa, criando um compromisso inerente:

• Prompts Globais: Estratégias como o CoOp capturam um contexto amplo, mas carecem de consciência semântica detalhada, falhando em codificar características locais necessárias para o raciocínio detalhado (ex: desempenho inferior no conjunto de dados FGVCAircraft).
• Prompts Locais: Prompts finamente estruturados preservam detalhes locais, mas lutam para integrar contexto global suficiente ou modelar relações composicionais entre regiões.

Esta limitação restringe o desempenho de adaptação e a generalização em diversas tarefas, como recuperação cross-modal, classificação de poucos disparos (few-shot) e generalização de base-para-novo (base-to-novel). Embora arquiteturas hierárquicas como a U-Net tenham unificado com sucesso representações de múltiplos níveis em tarefas de predição densa (operando em grades de pixels espaciais), transferir esses princípios para o aprendizado de prompts não é trivial. O aprendizado de prompts opera em um espaço de embedding abstrato onde os prompts textuais carecem de estrutura geométrica inerente, tornando a construção de representações de multi-granularidade significativas e o fluxo de informação bidirecional um desafio considerável.

2. Metodologia: UPrompt

Os autores propõem o UPrompt, um framework de aprendizado de prompt de multi-granularidade em forma de U, inspirado na U-Net. Ele constrói representações de multi-granularidade paralelas em ambas as modalidades, visual e textual, conectadas por mecanismos de fluxo de informação bidirecional.

2.1 Construção de Multi-granularidade em Forma de U

O framework estende os codificadores CLIP para versões de multi-granularidade ($k \in [1, K]$), abrangendo desde os níveis mais grosseiros até os mais finos.

• Modalidade Visual: Constrói hierarquias de patches aninhadas via agrupamento espacial progressivo (progressive spatial pooling) no espaço de embedding. Partindo dos tokens de patch mais finos ($E^{(K)}_{patch}$), representações mais grosseiras são derivadas recursivamente ($E^{(k)}_{patch} = Pool^{(k)}(E^{(k+1)}_{patch})$). Prompts aprendíveis são concatenados com esses embeddings agrupados antes de serem alimentados no codificador de visão.
• Modalidade Textual: Constrói hierarquias semânticas via enriquecimento progressivo. Semânticas centrais são extraídas ($T^{(1)}_{embed}$), e níveis subsequentes são gerados adicionando iterativamente elaborações específicas de granularidade ($T^{(k)}_{embed} = T^{(k-1)}_{embed} \oplus \Phi^{(k)}_{refine}(t)$). Estes são instanciados usando Grandes Modelos de Linguagem (LLMs) para gerar descrições textuais hierárquicas (ex: de conceitos abstratos para descrições detalhadas).

2.2 Mecanismos de Conexão Bidirecional

Para garantir consistência entre níveis e aprendizado complementar, o UPrompt introduz dois mecanismos chave análogos às conexões de salto (skip connections) da U-Net:

1. Melhoria em Cascata de Grosseiro para Fino (CE - Coarse-to-Fine Cascaded Enhancement):

   • Objetivo: Abordar a deficiência de contexto onde embeddings finos carecem de orientação global.
   • Mecanismo: Injeta informação contextual de granularidade grossa em embeddings mais finos usando atenção de multi-granularidade. O embedding aprimorado $\hat{X}^{(k)}$ é computado atendendo à representação aprimorada do nível mais grosseiro $\hat{X}^{(k-1)}$.
   • Efeito: Permite que características finas extraiam informações contextualmente relevantes das representações globais, melhorando a modelagem local.

2. Supervisão Hierárquica de Fino para Grosseiro (HS - Fine-to-Coarse Hierarchical Supervision):

   • Objetivo: Abordar inconsistência de otimização e deriva semântica em granularidades grosseiras.
   • Mecanismo: Utiliza as características do nível mais fino (que possuem correspondência cross-modal ótima) como "sinais de professor" para supervisionar níveis mais grosseiros via destilação de conhecimento. A divergência KL entre a distribuição de similaridade do nível grosseiro e a distribuição do nível fino (desconectada) é minimizada.
   • Efeito: Garante a consistência semântica entre escalas, evitando que as representações grosseiras derivem enquanto mantém sua natureza complementar.

2.3 Objetivo Geral

O objetivo de treinamento combina a perda de alinhamento contrastivo através de todos os $K$ níveis de granularidade com a perda de supervisão hierárquica ($L_{guide}$). Durante a inferência, o sistema pode selecionar flexivelmente os níveis de granularidade para equilibrar desempenho e eficiência, utilizando por padrão o nível mais fino para precisão ótima.

3. Principais Contribuições

• Framework UPrompt: Um framework inspirado na U-Net que introduz uma hierarquia estruturada na adaptação de visão-linguagem, superando as limitações de escala única através de caminhos de multi-granularidade paralelos.
• Fluxo de Informação Bidirecional: A introdução da Melhoria em Cascata de Grosseiro para Fino (injetando contexto global em detalhes locais) e da Supervisão Hierárquica de Fino para Grosseiro (regularizando granularidades grosseiras com o alinhamento de nível fino) para garantir consistência semântica e aprendizado complementar.
• Validação Abrangente: Demonstração de desempenho superior em 17 benchmarks, incluindo recuperação cross-modal, classificação de poucos disparos, generalização base-para-novo e cenários fora de distribuição (out-of-distribution).

4. Resultados Experimentais

Experimentos extensivos validam a eficácia do UPrompt:

• Recuperação Cross-Modal:
  • No MSCOCO, o UPrompt supera o MAMET e o VPKE em 4.1 e 7.3 rSum, respectivamente.
  • No Flickr30K, alcança um rSum de 571.1, superando métodos recentes de ajuste fino como DoPL, MAMET e VPKE.
• Generalização Base-para-Novo:
  • Alcança uma Média Harmônica (HM) de 82.12% em 11 conjuntos de dados, superando o CoCoA-Mix em 5.09% e superando o TAP e o SurPL-G.
  • Ganhos notáveis são observados em conjuntos de dados desafiadores como FGVCAircraft (+0.79% HM).
• Classificação de Poucos Disparos (Few-Shot):
  • Alcança 85.13% de acurácia média em 11 conjuntos de dados com 16 disparos, superando GalLoP, ProVP-Ref e MMA.
• Eficiência e Adaptabilidade:
  • Inferência Adaptativa: Usando uma estratégia de saída antecipada em cascata, o UPrompt iguala a acurácia de granularidade fina enquanto reduz o custo computacional para 48%, alcançando um aceleração de 2.1×.
  • Custo-Desempenho: A configuração de granularidade média (UPrompt-M) iguala a acurácia do PSRC com apenas 1/3 dos FLOPs.
• Robustez:
  • Demonstra forte generalização fora de distribuição (OOD) (61.22% de média em variantes do ImageNet), superando métodos como GalLoP e HiCroPL.
  • O desempenho permanece estável através de diferentes LLMs (Qwen3, Llama3) usados para a geração da hierarquia de texto.

5. Significância e Alegações

O artigo afirma que o UPrompt fornece uma solução fundamentada para a adaptação de visão-linguagem ao transpor os princípios de aprendizado de representação hierárquica da U-Net para os VLMs baseados em prompts.

• Resolução de Compromissos: Ele resolve com sucesso a limitação das abordagens de granularidade única ao estabelecer um framework unificado que alcança tanto a compreensão global quanto a precisão local através do fluxo de informação bidirecional.
• Consistência Semântica: O framework garante que a consistência semântica seja mantida entre as escalas de representação, evitando a degradação frequentemente vista em módulos de multi-granularidade isolados.
• Flexibilidade: O design hierárquico permite compromissos flexíveis entre desempenho e eficiência, permitindo que o modelo se adapte a restrições de recursos sem perda significativa de acurácia.

Os autores reconhecem que, embora eficaz, a profundidade hierárquica atual é limitada, e trabalhos futuros explorarão arquiteturas de multi-granularidade mais profundas para modelar estruturas semânticas mais ricas.