Resumo Técnico: Destilação de Representação Discriminativa e Consistente (DCD)

1. Definição do Problema

A Destilação de Conhecimento (KD) visa transferir o conhecimento de modelos professores de grande capacidade para modelos alunos compactos. Embora os objetivos contrastivos tenham se mostrado eficazes para aprender representações estruturadas em aprendizado autossupervisionado, sua aplicação à destilação enfrenta três limitações práticas principais:

1. Sobrecarga de Memória: Os métodos de destilação contrastiva existentes (ex: CRD) dependem de bancos de memória externos para armazenar vetores de características para amostragem negativa, introduzindo custos de memória significativos e complexidade de implementação.
2. Hiperparâmetros Fixos: O uso de hiperparâmetros de temperatura fixos limita a adaptabilidade do objetivo contrastivo através de diferentes estágios de treinamento e lacunas de capacidade entre professor e aluno.
3. Supervisão Estrutural Incompleta: Objetivos de discriminação de instância tipicamente supervisionam apenas a diagonal da matriz de similaridade entre modelos (alinhando uma instância do aluno com sua contraparte do professor). Isso deixa a estrutura fora da diagonal sem restrições, permitindo que o aluno corresponda ao seu próprio professor enquanto se relaciona de forma inconsistente com outras amostras no lote (batch).

2. Metodologia

Os autores propõem a Destilação de Representação Discriminativa e Consistente (DCD), um framework que combina a discriminação de instância contrastiva com um termo de regularização de consistência sobre a matriz de similaridade entre modelos.

2.1 Objetivo Central

A função de perda total para o treinamento da rede aluno $\theta_S$ é definida como:
$$\theta_S = \arg\min_{\theta_S} \sum_{i=1}^N \left( \mathcal{L}_{\text{sup}} + \lambda \cdot \mathcal{L}_{\text{distill}} + \beta \cdot \mathcal{L}_{\text{dcd}} \right)$$
onde $\mathcal{L}_{\text{dcd}}$ é a perda de espaço de características proposta, composta por dois termos:
$$\mathcal{L}_{\text{dcd}} = \mathcal{L}_{\text{ctr}} + \alpha \cdot \mathcal{L}_{\text{cst}}$$

2.2 Termo Contrastivo ($\mathcal{L}_{\text{ctr}}$)

Este termo realiza a discriminação ao nível de instância. Para um mini-lote de $N$ amostras, a representação do aluno $z_i^S$ deve identificar sua correspondente representação do professor $z_i^T$ entre todas as $N$ representações do professor no lote. Isso é formulado como um problema de classificação $N$-way usando Estimativa de Contraste de Ruído (NCE):
$$\mathcal{L}_{\text{ctr}} = -\frac{1}{N} \sum_{i=1}^N \log \frac{\exp(\ell_{ii})}{\sum_{j=1}^N \exp(\ell_{ij})}$$
Aqui, $\ell_{ij}$ representa a similaridade escalonada entre o aluno $i$ e o professor $j$. Crucialmente, este termo utiliza amostragem dentro do lote (in-batch sampling), eliminando a necessidade de bancos de memória externos.

2.3 Termo de Consistência ($\mathcal{L}_{\text{cst}}$)

O termo contrastivo apenas restringe a diagonal da matriz de similaridade. Para restringir a estrutura fora da diagonal, os autores introduzem um termo de regularização de consistência que impõe o acordo entre duas visões complementares da mesma matriz de similaridade entre modelos $\ell$:

1. Visão do Aluno ($p_i^S$): Probabilidades normalizadas por linha, representando a afinidade do aluno $i$ em relação a todos os professores.
2. Visão do Professor ($p_i^T$): Probabilidades normalizadas por coluna (transpostas), representando a afinidade de todos os alunos em relação ao professor $i$.

A perda de consistência minimiza a divergência de Kullback-Leibler (KL) entre essas duas visões:
$$\mathcal{L}_{\text{cst}} = \frac{1}{N} \sum_{i=1}^N D_{\text{KL}}(\mathbf{p}_i^T \,\|\, \mathbf{p}_i^S)$$
Os autores provam que este termo desaparece se, e somente se, a matriz de similaridade entre modelos for simétrica ($\langle z_i^S, z_j^T \rangle = \langle z_j^S, z_i^T \rangle$). Isso garante que a afinidade do aluno $i$ em relação ao professor $j$ concorde com a afinidade do aluno $j$ em relação ao professor $i$, capturando a consistência estrutural bidirecional.

2.3 Escala e Viés Aprendíveis

Ao contrário dos métodos que utilizam temperaturas fixas, o DCD parametriza o escalonamento da similaridade como $s = \exp(\tau)$ e adiciona um viés $b$ aprendível. Esses parâmetros ($\tau$ e $b$) são otimizados durante o treinamento para controlar adaptativamente a nitidez e o deslocamento do sinal de destilação, removendo a necessidade de ajuste manual para cada par professor-aluno.

2.4 Detalhes de Implementação

• Amostragem In-Batch: Amostras negativas são extraídas naturalmente do mini-lote atual, reduzindo o armazenamento de memória de ~655MB (para ImageNet no CRD) para ~0,13MB por iteração.
• Cabeças de Projeção: As características do aluno e do professor são mapeadas para um espaço de incorporação (embedding) compartilhado de 128 dimensões via camadas de projeção linear. Essas camadas são treinadas conjuntamente, mas descartadas na inferência, adicionando parâmetros insignificantes (66K) e nenhum custo de inferência.
• Velocidade de Treinamento: O método iguala a velocidade de treinamento da KD baseada em logits padrão (8ms por lote).

3. Principais Contribuições

1. Framework Unificado: Um framework de destilação que combina a discriminação de instância contrastiva com uma regularização de consistência baseada em divergência KL que restringe a estrutura fora da diagonal da matriz de similaridade entre modelos.
2. Eficiência: Uma estratégia eficiente de amostragem in-batch que elimina bancos de memória externos, reduzindo a sobrecarga de memória e o tempo de treinamento, mantendo o rendimento (throughput) comparável à KD padrão.
3. Parâmetros Adaptáveis: A introdução de parâmetros de escala e viés aprendíveis que ajustam automaticamente o sinal de destilação, evitando o ajuste manual de hiperparâmetros.
4. Validação Abrangente: Experimentos abrangentes em CIFAR-100, ImageNet e MS-COCO, demonstrando desempenho competitivo em classificação, detecção de objetos e transferência entre datasets.

4. Resultados Experimentais

O método foi avaliado em cinco benchmarks (CIFAR-100, ImageNet, STL-10, Tiny ImageNet, MS-COCO) através de 13 pares professor-aluno.

• Classificação (CIFAR-100): O DCD combinado com KD (DCD + KD) alcança um desempenho competitivo, superando a rede professora em +0,45% em configurações de mesma arquitetura e +0,90% em configurações de arquiteturas cruzadas. Embora métodos como ReviewKD, SimKD e CRCD alcancem maior precisão em configurações específicas (ex: ReviewKD atinge 76,12% contra os 76,06% do DCD+KD no par WRN-40-2 para WRN-16-2), o DCD+KD supera consistentemente a KD padrão e muitos outros baselines em diversas combinações arquiteturais.
• Classificação (ImageNet): O método melhorou consistentemente em relação aos baselines (KD, AT, CRD, etc.) em diversas arquiteturas, confirmando que os ganhos se estendem a configurações de larga escala.
• Detecção de Objetos (MS-COCO): Usando Faster R-CNN com FPN, o DCD melhorou a Precisão Média (AP) em todos os pares professor-aluno testados (ex: ResNet-101 $\to$ ResNet-18), demonstrando aplicabilidade além da classificação.
• Transferibilidade: As representações destiladas mostraram superior transferibilidade entre datasets em STL-10 e Tiny ImageNet em comparação com os baselines, indicando melhor generalização.
• Eficiência: O DCD adicionou apenas 66K parâmetros (todos descartados na inferência) e igualou a latência de treinamento de 8ms/lote da KD padrão, tornando-o significativamente mais rápido e leve que o CRD (19ms/lote) e outros métodos baseados em características.

5. Significância e Alegações

O artigo afirma que o DCD aborda as limitações específicas dos atuais métodos de destilação contrastiva ao:

• Remover Bancos de Memória: Operando inteiramente dentro do mini-lote para reduzir o consumo de memória e a complexidade.
• Impor Consistência Estrutural: Indo além do simples alinhamento de instância para impor simetria na matriz de similaridade entre modelos, capturando assim uma estrutura mais rica.
• Adaptabilidade: Usar parâmetros aprendíveis para se adaptar a diferentes estágios de treinamento e capacidades de modelos sem ajuste manual de hiperparâmetros.

Os autores posicionam o DCD como um método que alcança a eficiência da destilação simples baseada em logits enquanto retém os benefícios de precisão da destilação de características contrastiva, sem exigir mudanças arquiteturais ou infraestrutura de memória externa.