Quantum-Gated Task-interaction Knowledge Distillation for Pre-trained Model-based Class-Incremental Learning

---

1. Problema e Motivação

O Aprendizado Incremental de Classes (CIL) visa treinar um único classificador que acumule conhecimento continuamente a partir de um fluxo de tarefas, onde novas classes são introduzidas ao longo do tempo, sem acesso às identidades das tarefas durante o teste.

• Desafio Principal: O fenômeno do esquecimento catastrófico, onde o aprendizado de novas tarefas sobrescreve o conhecimento de tarefas anteriores.
• Limitação dos Métodos Atuais (PTM-based CIL): Embora os Modelos Pré-treinados (PTMs) tenham melhorado o CIL ao congelar o backbone e usar módulos leves (como adapters ou prompts), eles ainda sofrem com o emaranhamento de subespaços de tarefas.
  • Métodos baseados em prompts dependem de similaridade local, que se torna ruidosa quando os subespaços das tarefas se sobrepõem.
  • Métodos baseados em adapters tratam cada tarefa como um subespaço quase independente, ignorando correlações cruzadas entre tarefas.
  • Falta de Mecanismo Explícito: Não existe um mecanismo aprendível para quantificar dinamicamente a relevância entre uma amostra atual e tarefas históricas, nem para decidir como transferir conhecimento ou rotear inferência de forma adaptativa.

2. Metodologia Proposta: QKD

Os autores propõem o QKD (Quantum-Gated Task-interaction Knowledge Distillation), um framework que integra Machine Learning Quântico (QML) ao CIL baseado em PTMs para resolver o emaranhamento de subespaços.

O framework consiste em dois componentes principais:

A. Módulo de Modulação de Tarefa com Portão Quântico (QGTM)

O objetivo é quantificar a relevância "amostra-tarefa" de forma não linear e geométrica.

1. Codificação de Tarefas: Para cada tarefa histórica $i$, os parâmetros do adapter são condensados em uma matriz e reduzidos via SVD (Decomposição em Valores Singulares) truncada para criar um vetor de representação de tarefa ($\tilde{s}_i$).
2. Codificação Quântica:
   • A representação da amostra atual ($\tilde{h}_t$) e os vetores de tarefas históricas são mapeados para um espaço de Hilbert de alta dimensão usando um circuito quântico parametrizado.
   • O circuito utiliza rotações de um único qubit (para codificação de dados e variáveis aprendíveis) e cadeias de emaranhamento (CNOT) para capturar dependências de alta ordem.
3. Medição de Fidelidade: A relevância é calculada medindo a fidelidade quântica (sobreposição de estados) entre o estado da amostra e o estado de cada tarefa histórica.
4. Geração de Pesos: Os resultados são normalizados via softmax para produzir coeficientes de relevância ($\alpha_i$), que atuam como pesos de atenção para a tarefa. Uma regularização de esparsidade ($L_1$) é aplicada para focar apenas nas tarefas mais relevantes.

B. Distilação de Conhecimento de Interação de Tarefa (TIKD)

Utiliza os pesos de relevância quântica ($\alpha_i$) para guiar a transferência de conhecimento.

• Em vez de usar apenas a confiança dos logits, o modelo realiza uma distilação de características ponderada pela correlação.
• O adapter atual aprende a absorver conhecimento seletivamente dos adapters históricos mais relevantes (alta $\alpha_i$) e suprime a interferência das tarefas não relacionadas.
• Inferência: Durante o teste (sem identidade de tarefa), os mesmos pesos $\alpha_i$ são usados para fundir adaptativamente as saídas dos adapters históricos, permitindo uma discriminação robusta.

Função de Perda Total:
A otimização combina a perda de classificação cruzada ($L_{CE}$), a perda de distilação ponderada quanticamente ($L_{QKD}$) e a regularização de esparsidade ($L_s$):
$$L_{total} = L_{CE} + \lambda_{kd}L_{QKD} + \lambda_{s}L_{s}$$

3. Contribuições Principais

1. Primeiro Framework de Roteamento Quântico para CIL: Introduz o uso de circuitos quânticos para modelar interações entre tarefas, explorando superposição e interferência para codificar compactamente dependências complexas entre subespaços sobrepostos.
2. Mecanismo de Relevância Aprendível: Substitui heurísticas simples (como similaridade de cosseno) por um mecanismo dinâmico que quantifica a informação mútua entre amostras e tarefas, aplicável tanto no treinamento quanto na inferência.
3. Estratégia de Distilação Guiada por Relevância: Permite a transferência seletiva de conhecimento, mitigando o esquecimento catastrófico ao focar apenas nas interações de tarefas que são geometricamente relevantes.

4. Resultados Experimentais

O QKD foi avaliado em cinco benchmarks de CIL sem exemplares (exemplar-free): CIFAR-100, CUB-200, ImageNet-A, ImageNet-R e VTAB.

• Desempenho: O QKD alcançou o estado da arte (SOTA) em todos os conjuntos de dados, superando métodos baseados em prompts (como L2P, DualPrompt) e adapters (como EASE, MoTE).
  • Exemplo: No CIFAR-100 (B0-Inc10), o QKD atingiu 94.08% de acurácia final, superando o segundo melhor (MoTE) em +1.02 pontos.
  • No VTAB, alcançou 95.81%, uma melhoria de +2.25 pontos sobre o melhor concorrente.
• Eficiência: O método opera sem armazenar exemplares de dados anteriores (0 exemplares), superando métodos tradicionais que usam memória de 20 exemplares por classe.
• Análise de Componentes:
  • A remoção do circuito quântico (substituindo por similaridade de cosseno ou MLP) resultou em queda significativa de desempenho, provando que a expressividade geométrica quântica é essencial.
  • A ablação mostrou que todos os componentes (QGTM, TIKD e regularização) contribuem positivamente.
• Complexidade: O custo computacional do módulo quântico é comparável aos métodos clássicos leves, com um aumento aceitável na latência de inferência em troca de ganhos substanciais de precisão.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na interseção entre Aprendizado de Máquina Quântico e Aprendizado Contínuo.

• Solução para Emaranhamento: O QKD resolve o problema fundamental de como um modelo deve decidir "quem" (qual tarefa histórica) deve influenciar "o quê" (a nova tarefa) quando os limites entre tarefas são borrados.
• Generalização: Ao usar a geometria do espaço de Hilbert, o modelo consegue capturar relações não lineares complexas que métodos clássicos de similaridade falham em detectar.
• Viabilidade Prática: Demonstra que a simulação de portões quânticos em hardware clássico é viável e oferece vantagens reais em tarefas de visão computacional complexas, estabelecendo um novo paradigma para o design de sistemas de aprendizado incremental robustos e eficientes.

Em suma, o QKD oferece uma via promissora para construir classificadores unificados que aprendem continuamente sem esquecer, utilizando a expressividade superior da mecânica quântica para gerenciar a complexidade de múltiplas tarefas.