Resumo Técnico: CMAP – Prompting Adaptativo Cross-Modal para Aprendizado Incremental de Tarefa em Múltiplos Domínios

1. Definição do Problema

O artigo aborda o Aprendizado Incremental de Tarefa em Múltiplos Domínios (MTIL), um cenário onde um modelo deve aprender sequencialmente tarefas de domínios visualmente diversos sem acesso a dados passados e sem conhecer a identidade da tarefa no momento da inferência. Este cenário apresenta dois desafios principais:

• Esquecimento Catastrófico: A tendência de um modelo sobrescrever conhecimento previamente adquirido ao adaptar-se a novas tarefas.
• Esquecimento Progressivo: A degradação da capacidade do modelo de generalizar para tarefas não vistas ao adaptar-se de forma muito agressiva às tarefas vistas.

Embora métodos de ajuste fino eficiente em parâmetros (PEFT) baseados em Modelos Visão-Linguagem (VLMs) congelados, como o CLIP, tenham mostrado promessa, as abordagens existentes sofrem de uma limitação fundamental: elas dependem exclusivamente de características visuais para roteamento de tarefas, estimativa de confiança e adaptação do codificador. Isso ignora o rico espaço de incorporação textual cross-modal semanticamente estável inerente ao CLIP, tratando um modelo cross-modal como se fosse apenas visual.

2. Metodologia: CMAP

Os autores propõem o CMAP (Prompting Adaptativo Cross-Modal), um framework que integra consciência cross-modal em cada etapa do processo de inferência e adaptação. O método constrói-se sobre a linha de base IAP (que usa gateamento Hard Gumbel por camada e confiança Gaussiana visual), introduzindo três mecanismos cross-modal específicos:

2.1 Roteamento de Tarefa no Espaço Textual

Métodos existentes roteiam tarefas calculando a log-probabilidade de características visuais sob Gaussianas visuais específicas de tarefa. O CMAP substitui isso pela similaridade de cosseno com protótipos de texto congelados do CLIP.

• Mecanismo: Para cada tarefa $t$, um protótipo de texto $\tau_t$ é computado pela média das incorporações de texto congeladas de todos os nomes de classes no conjunto de rótulos daquela tarefa.
• Inferência: Na inferência, a característica visual da imagem de entrada é comparada a todos os $\tau_t$ via similaridade de cosseno para selecionar a tarefa mais provável.
• Vantagem: Isso não requer parâmetros adicionais aprendíveis, é invariante à ordem de chegada das tarefas e permanece robusto mesmo com dados de treinamento escassos, pois depende de conhecimento semântico pré-treinado em vez de estatísticas visuais aprendidas.

2.2 Confiança Visual-Textual Multi-Protótipo (MPVTC)

Trabalhos anteriores modelam a confiança da classe usando uma única Gaussiana visual e limiares globais fixos. O CMAP introduz uma estratégia de estimativa de confiança mais robusta:

• Visuals Multi-Protótipo: Em vez de um único centróide, cada classe é representada por $K$ centróides de clusters visuais (via K-means) para lidar com distribuições visuais multi-modais (por exemplo, diferentes ângulos de objetos).
• Alinhamento Cross-Modal: A pontuação de confiança para uma classe combina a similaridade máxima com protótipos visuais com a similaridade à incorporação de texto da classe.
• Limiares Adaptativos à Tarefa: Em vez de usar limiares globais fixos, o CMAP calibra automaticamente os limiares superior e inferior de confiança com base nos percentis 80 e 20 da distribuição de treinamento para cada tarefa específica.
• Saída: Um peso de prompting dinâmico é derivado dessa pontuação de confiança conjunta, determinando se aplicar prompts (alta confiança), suprimi-los (baixa confiança) ou aplicá-los proporcionalmente.

2.3 Gateamento Cross-Modal Simétrico

Na linha de base, apenas o codificador de imagem é gateado. Se o gate da imagem se fechar (por exemplo, em entradas fora da distribuição), o codificador de texto ainda recebe prompts específicos de tarefa, quebrando o alinhamento cross-modal que o CLIP foi treinado para manter.

• Mecanismo: O CMAP estende o mecanismo de gateamento Hard Gumbel simetricamente para o codificador de texto.
• Condicionamento: A decisão de gateamento para o codificador de texto é condicionada às características médias da imagem do lote.
• Resultado: Tanto o codificador de imagem quanto o de texto abrem ou fecham seus mecanismos de injeção de prompts simultaneamente. Isso garante que a coerência cross-modal seja preservada mesmo quando o modelo encontra entradas fora da distribuição.

3. Contribuições Principais

O artigo identifica três lacunas específicas na literatura existente de MTIL e as aborda da seguinte forma:

1. Roteamento de Tarefa no Espaço Textual: Substitui o roteamento Gaussiano visual pela similaridade de cosseno com protótipos de texto congelados, alcançando roteamento independente da ordem com zero parâmetros adicionais aprendíveis.
2. Confiança Visual-Textual Multi-Protótipo (MPVTC): Combina protótipos visuais via K-means com pontuações de alinhamento cross-modal e limiares adaptativos à tarefa para fornecer estimativa de confiança confiável ao nível de instância.
3. Gateamento Cross-Modal Simétrico: Estende o gateamento por camada para o codificador de texto condicionado às características da imagem, garantindo co-adaptação e co-supressão consistentes de ambas as modalidades.

4. Resultados Experimentais

O método foi avaliado no benchmark MTIL, abrangendo 11 conjuntos de dados e 1.201 classes, sob duas ordenações de tarefa (Ordem-I e Ordem-II) e um cenário de escassez de dados com 16 exemplos.

• Desempenho (Ordem-I): O CMAP alcançou 73,6% de Transferência, 81,4% de Média e 88,9% no Último. Isso supera o estado da arte anterior (IAP) em 4,4, 4,6 e 3,2 pontos percentuais, respectivamente.
• Eficiência de Dados: No cenário de 16 exemplos, a lacuna na métrica de Transferência sobre a linha de base Gaussiana visual ampliou-se para 6,2%, demonstrando que os protótipos de texto escalam com elegância onde as estatísticas visuais degradam devido à limitação de amostras.
• Eficiência de Parâmetros: O método introduz apenas 0,09M parâmetros adicionais (para gateamento de texto), trazendo o total de parâmetros treináveis para 2,5M. Isso é significativamente menor do que o ajuste fino completo (211M) ou MoE-Adapter (59,8M), enquanto os supera.
• Estudos de Ablação:
  • Remover o roteamento no espaço textual causou a maior queda no desempenho de Transferência.
  • Remover o gateamento simétrico causou as maiores quedas nas métricas Média e Último, destacando seu papel na retenção de conhecimento.
  • Combinar sinais de confiança visual e textual produziu melhores resultados do que usar qualquer modalidade isoladamente, confirmando que capturam informações complementares.

5. Significado e Alegações

O artigo alega que a principal fonte de potencial não explorado nos métodos atuais de MTIL é a falha em utilizar o espaço de incorporação textual cross-modal de VLMs pré-treinados. Ao tratar o CLIP como um modelo apenas visual, os métodos existentes perdem a estabilidade semântica e as capacidades de generalização zero-shot inerentes ao codificador de texto.

O significado do CMAP reside em demonstrar que explorar o alinhamento cross-modal pré-treinado é uma estratégia de adaptação mais eficiente em parâmetros do que simplesmente escalar a capacidade do modelo ou depender de buffers de memória complexos. Os autores afirmam que sua abordagem alcança desempenho de estado da arte em todas as métricas com parâmetros treináveis mínimos e sem dados externos, provando que sinais cross-modal são críticos para aprendizado incremental robusto em cenários de escassez de dados e domínios diversos.