Resumo Técnico: Recuperação Contínua de Imagem-Texto via Destilação de Banzhaf sob a Perspectiva de Jogos Coalicionais

Declaração do Problema

A Recuperação Contínua de Imagem-Texto (CITR) visa realizar tarefas de recuperação cross-modal utilizando dados multimídia sequenciais em vez de um único conjunto de dados estático. Este cenário introduz três desafios principais:

1. Desordem Espacial e Multigranularidade: Dados cross-modais (imagens e textos) exibem semântica multigranular e desordem espacial. Sem rótulos de categoria prévios, as pistas de correspondência seguem diferentes distribuições espaciais, causando degradação de desempenho em modelos pré-treinados.
2. Estrutura Heterogênea e Hierarquia de Conhecimento: As estruturas semânticas dos tokens de imagem e dos tokens de texto diferem. Sessões incrementais frequentemente levam ao equilíbrio inadequado entre o conhecimento antigo e o novo, comprometendo as relações hierárquicas entre os tokens.
3. Alienação de Conhecimento: Durante o aprendizado incremental, as pistas de correspondência sofrem deslocamentos (ex: patches de imagem, palavras de texto ou mudanças de escala), levando à "alienação de conhecimento", onde o modelo falha em distinguir entre o conhecimento cross-modal específico da tarefa e o geral.

Métodos existentes, como aqueles que utilizam meta-aprendizes baseados em LSTM ou codificadores de grosso para fino, frequentemente sofrem de ignorância semântica estrutural (falha em capturar características semânticas globais além de simples sequências) e alienação de conhecimento inter-tarefa (desvio severo em deslocamentos semânticos ou mudanças de escala). Além disso, embora os Transformers tenham demonstrado sucesso em capturar semântica estrutural de alto nível, o design de configurações de tokenização que aliviem a ignorância estrutural e o viés em CITR permanece uma questão em aberto.

Metodologia: Rede de Destilação de Banzhaf (BDNet)

Os autores propõem a BDNet, um framework que modela pares de tokens de imagem-texto como participantes em um jogo cooperativo para preservar o conhecimento estrutural de grão fino. A ideia central é que o valor de Banzhaf da teoria dos jogos coalicionais pode caracterizar a semântica multigranular de pares imagem-texto ao modelar a interação de pares de tokens em relação a outros tokens.

1. Visão Geral do Framework

A BDNet consiste em três componentes principais:

• Codificador de Imagem-Texto com Prompts (IETE): Utiliza backbones ViT e BERT. Para facilitar a interação de grão fino, o modelo introduz prompts de imagem e texto aprendíveis ($P^k_I, P^k_T$) específicos para cada tarefa $k$. Uma estratégia de correspondência de prompt-chave é empregada para selecionar o prompt apropriado com base no token de classe não-prompt da amostra de entrada, garantindo adaptabilidade entre diferentes tarefas.
• Módulo de Aprendizado Contrastivo e Destilação (CLD):
  • Intra-tarefa: Realiza aprendizado contrastivo ($L_{CL}$) para alinhar as modalidades de imagem e texto dentro da tarefa atual.
  • Inter-tarefa: Realiza destilação contrastiva ($L_{CD}$) para manter a invariância da matriz de similaridade imagem-texto através das tarefas usando dados de ensaio (rehearsal), mitigando assim o esquecimento catastrófico.
• Módulo de Destilação de Banzhaf (CBD): A inovação central do artigo.
  • Supervisão de Banzhaf Intra-tarefa: Uma rede de Interação de Banzhaf (BI) aprendível ($\Psi$) avalia o valor de Banzhaf $B(u, v)$ para pares de tokens $(u, v)$. Este valor mede a tendência de um par específico de token de imagem e token de texto de contribuir para o alinhamento semântico ao interagir com outros tokens. O modelo é supervisionado por uma rede BI pré-treinada ($\Psi^*$) para herdar o conhecimento prévio dessas interações.
  • Destilação de Banzhaf Inter-tarefa: Para evitar o esquecimento, o modelo minimiza a divergência de Kullback-Leibler (KL) entre as intensidades de interação (derivadas dos valores de Banzhaf) do modelo antigo ($\Theta_{k-1}$) e do novo modelo ($\Theta_k$) nos dados de ensaio. Isso preserva as relações cross-modais de grão fino entre as tarefas.

2. Aproximação do Valor de Banzhaf

Calcular o valor exato de Banzhaf é computacionalmente caro ($O(2^N)$). Os autores projetaram uma rede BI leve ($\Psi$) composta por camadas convolucionais e uma camada de autoatenção de cabeça única para aproximar o valor de Banzhaf. Durante o pré-treinamento, os valores de Banzhaf "ground-truth" são estimados usando uma abordagem de matriz de similaridade ordenada com complexidade reduzida de $O(L_I L_T (\log L_I + \log L_T))$, onde $L_I$ e $L_T$ são o número de tokens de imagem e texto, respectivamente.

3. Objetivo de Treinamento

A função de perda total combina correspondência de prompt, aprendizado contrastivo, destilação contrastiva e supervisão/destilação de Banzhaf:
$$L_{total} = L_{prompt} + L_{CL} + L_{CD} + \alpha L_{Banzhaf} + \beta L_{BD}$$

Principais Contribuições

1. Perspectiva de Jogo Coalicional para CITR: O artigo introduz uma nova perspectiva onde tokens de imagem e texto são tratados como jogadores em um jogo cooperativo. Utiliza o valor de Banzhaf para modelar relações de alta ordem entre tokens, capturando semânticas de grão fino que os métodos tradicionais de similaridade token por token perdem.
2. Rede de Destilação de Banzhaf (BDNet): Um framework que integra a modelagem de interação de Banzhaf com aprendizado de prompt semântico dinâmico e destilação contrastiva. Ele preserva efetivamente o conhecimento cross-modal estrutural e mitiga a alienação de conhecimento durante sessões incrementais.
3. Desempenho de Estado da Arte: O método proposto alcança desempenho superior tanto em cenários de conjunto único quanto de múltiplos conjuntos comparado às linhas de base existentes como LWF, EWC, RATT e CLCMR.

Resultados Experimentais

Os autores avaliaram a BDNet em seis cenários utilizando datasets incluindo Pascal Sentence, Wikipedia, MS-COCO, Flickr30K, IAPR TC-12, ECommerce-T2I e RSICD.

• Cenários de Conjunto Único: No Pascal Sentence (Cenário 1) e Wikipedia (Cenário 2), a BDNet superou todas as linhas de base. Por exemplo, no Cenário 1, alcançou um mAP médio de 0,8216, 0,8748 e 0,8410 através de três tarefas, superando significativamente o próximo melhor método. Também apresentou os melhores escores de Precisão Média (ACC), Precisão Incremental Média (AIA) e Transferência Retroativa (BWT).
• Cenários de Múltiplos Conjuntos: Em cenários envolvendo aprendizado de cross-dataset (Cenários 3–5), a BDNet demonstrou forte capacidade de generalização e de anti-esquecimento, particularmente em sequências de tarefas longas.
• Grande Gap de Domínio: No Cenário 6 (combinando cinco datasets diversos), a BDNet teve um bom desempenho, mas não alcançou o primeiro lugar em todas as métricas. Os autores atribuem isso ao grande gap de domínio, observando que a destilação de Banzhaf inter-tarefa atual (que mantém a invariância da intensidade de interação) pode não ser suficiente para pistas de tokens esparsamente distribuídas em domínios altamente heterogêneos.
• Estudos de Ablação: A remoção do módulo CBD ou do esquema de aprendizado de prompt resultou em quedas significativas de desempenho, confirmando que tanto a modelagem de Banzhaf de grão fino quanto o prompting adaptativo são críticos. Visualizações das matrizes de similaridade de tokens mostraram que a BDNet aloca corretamente a atenção para regiões semânticas chave (ex: "prédios" em uma cena de pista de pouso) onde os modelos de linha de base falharam.

Significância e Limitações

O artigo afirma que a BDNet aborda efetivamente a ignorância semântica estrutural e a alienação de conhecimento inter-tarefa em CITR ao utilizar a teoria dos jogos coalicionais. Ao modelar interações de tokens via valores de Banzhaf, o método captura semânticas de grão fino que são cruciais para a recuperação cross-modal sequencial.

Limitações reconhecidas pelos autores:

1. Eficiência Computacional: Embora a rede BI aproxime os valores de Banzhaf de forma eficiente, a avaliação de alta eficiência continua sendo um requisito. A soma atual sobre subconjuntos poderia potencialmente ser otimizada com atenção esparsa.
2. Dependência de Rehearsal: A BDNet depende de dados de ensaio (buffers de memória) para destilação e não pode ser aplicada em cenários sem rehearsal.
3. Grandes Gaps de Domínio: O método enfrenta dificuldades em cenários de múltiplos conjuntos com gaps de domínio muito grandes (ex: Cenário 6), sugerindo a necessidade de estratégias de destilação de conhecimento de grão fino mais sofisticadas ou mecanismos de correção de afinidade em trabalhos futuros.

O trabalho é apoiado pela National Natural Science Foundation of China e pela Beijing Natural Science Foundation. O código está disponível no repositório GitHub fornecido.