Resumo Técnico: CalexNet

Declaração do Problema

Redes Neurais Convolucionais (CNNs) frequentemente impõem altos custos computacionais, limitando a implantação em ambientes com recursos restritos. A Inferência Seletiva (SI) por meio de redes de saída antecipada (early-exit) aborda isso ao anexar ramos auxiliares a camadas intermediárias, permitindo que entradas "fáceis" saiam antecipadamente, enquanto entradas "difíceis" propagam-se para camadas mais profundas. No entanto, no cenário de pós-treinamento—onde ramos de saída antecipada são adicionados a um backbone pré-treinado congelado—ocorre uma significativa incompatibilidade entre treinamento e inferência (deslocamento de covariância).

O artigo identifica três fontes específicas dessa incompatibilidade que as receitas padrão de pós-treinamento falham em abordar:

1. Incompatibilidade de Distribuição de Amostras: Ramos a jusante são treinados no conjunto de dados completo, mas, na inferência, recebem apenas o subconjunto de amostras que não foram classificadas com confiança pelos ramos a montante.
2. Incompatibilidade de Calibração: Os limiares de precisão por classe são tipicamente calibrados no conjunto de validação completo, inflando a precisão aparente porque incluem amostras "fáceis" que teriam sido filtradas pelos ramos a montante na produção.
3. Incompatibilidade de Distribuição de Alvos: O treinamento padrão de entropia cruzada utiliza o pseudo-rótulo argmax do backbone como alvo. Isso descarta a estrutura de incerteza e as informações de similaridade interclasse contidas na distribuição completa de softmax do backbone.

Metodologia: CalexNet

O CalexNet (Saídas Antecipadas Alinhadas em Cascata) propõe uma modificação apenas na receita de treinamento para fechar essas três lacunas sem alterar a arquitetura no momento da inferência. O método baseia-se em um princípio unificado: alinhar os alvos de treinamento, calibração e destilação com a cascata real de inferência.

1. Ponderação de Amostras Alinhada à Cascata

Em vez de filtrar rigidamente os dados de treinamento (o que pode levar à escassez de dados para ramos a jusante), o CalexNet emprega amostragem por importância ponderada continuamente.

• Mecanismo: Cada amostra $x$ é atribuída um peso $w_j^{l+1}$ para o ramo $l+1$ com base no produto das pontuações de confiança de todos os ramos precedentes: $w_j^{l+1} = \prod_{k=1}^{l} (1 - R_{\hat{C}_j^k}^k(x_j))$.
• Efeito: Amostras que saem com confiança pelos ramos anteriores recebem pesos próximos de zero, enquanto amostras "difíceis" (sobreviventes) recebem pesos mais altos. Isso garante que a distribuição de treinamento corresponda à distribuição de sobreviventes no momento da inferência sem descartar dados.

2. Calibração Consciente da Cascata (Margem de Precisão por Classe - CPM)

O artigo introduz um procedimento de calibração que estima os limiares de saída por classe apenas no subconjunto de sobreviventes da cascata do conjunto de validação.

• Mecanismo: Para uma classe $i$ e ramo $l$, o limiar $T_i^l$ é o menor valor que satisfaz: $Prec_i^l(T_i^l) > (1 - m) \cdot \widehat{Prec}_i$, onde $\widehat{Prec}_i$ é a precisão do backbone e $m$ é um hiperparâmetro de margem.
• Significado: Isso previne a inflação das estimativas de precisão causada pela calibração no conjunto de dados completo, garantindo que os limiares sejam robustos ao desequilíbrio de classes que se desenvolve nos subconjuntos de sobreviventes.

3. Alvo de Classificação Destilado

Para abordar a perda de informações de incerteza, o cabeçalho de classificação é treinado contra a distribuição completa de softmax do backbone, em vez do rótulo argmax.

• Mecanismo: A função de perda utiliza uma divergência Kullback-Leibler (KL) escalada por temperatura: $\mathcal{L}_{class,KD} = T^2 \cdot KL(p_{branch}^T \parallel p_{backbone}^T)$, com $T=4$.
• Efeito: Isso transfere a estrutura de similaridade interclasse do backbone para os ramos, levando a pontuações de confiança melhor calibradas e limiares de saída mais baixos para o mesmo alvo de precisão.

4. Arquitetura de Ramo Leve

O CalexNet utiliza um cabeçalho de ramo baseado em protótipos de convolução 1D compacto. Ele agrega mapas de características usando vetores de protótipos aprendidos (convoluções 1D) seguidos por uma pequena projeção não linear (MLP) antes dos cabeçalhos de classificação e confiança. Este design minimiza a sobrecarga de inferência enquanto mantém a expressividade em pequenos subconjuntos de sobreviventes.

Contribuições Principais

1. Framework Unificado de Alinhamento em Cascata: Um único princípio que gera três modificações concretas (ponderação, calibração, destilação) para alinhar o treinamento com a inferência.
2. Design de Ramo Leve: Uma arquitetura baseada em protótipos compacta que adiciona sobrecarga mínima.
3. Margem de Precisão por Classe (CPM): Um procedimento de calibração que define limiares de saída sob desequilíbrio de classes, preservando a precisão por classe em relação ao backbone.
4. Caracterização Empírica: Evidências mostrando que a redução populacional através da cascata está concentrada em "superclasses" fáceis, deixando uma cauda longa de classes mais difíceis para o backbone, justificando a necessidade de treinamento alinhado à cascata.
5. Metodologia de Fronteira de Pareto: Um método de comparação que utiliza a curva completa de precisão versus redução de FLOPs (varrendo a margem CPM $m$) em vez de pontos operacionais únicos, removendo viés de seleção.
6. Avaliação Abrangente: Um estudo correspondido através dos backbones ResNet18/ResNet50 e dos conjuntos de dados CIFAR-100 (grupos amplos, mais difíceis) / CINIC-10, incluindo estudos de ablação e comparações com PTEEnet, ZTW e BoostNet.

Resultados

O artigo avalia o CalexNet no CIFAR-100 (20 superclasses, mais difícil) e CINIC-10 (10 classes, mais fácil).

• Desempenho de Pareto: O CalexNet iguala ou supera três baselines publicadas (PTEEnet, ZTW, BoostNet) e uma referência "sem alinhamento, sem KD" dentro do artigo na fronteira de Pareto de precisão-FLOPs.
• Regime Chave: Os maiores ganhos ocorrem no regime de redução de 30–70% de FLOPs praticamente relevante.
• Perda de Precisão: No CIFAR-100 com ResNet18, em uma redução de 40% de FLOPs, o CalexNet reduz a perda de precisão para 4,1%, comparado a 5,9% para a baseline "sem alinhamento" e 7,7–8,8% para outras baselines. Em 70% de redução, a lacuna se amplia (20,9% vs 23,5%+).
• Estabilidade: Os resultados são estáveis entre $n=3$ sementes de treinamento, com desvios padrão na perda de precisão variando de 0,003 a 0,021.
• Ablação: O estudo isola as contribuições, encontrando que a Destilação de Conhecimento (KD) é a alavanca dominante, enquanto a ponderação alinhada à cascata atua como um refinamento corretivo. A combinação é superaditiva.

Significado e Alegações

O artigo afirma que o CalexNet é uma solução plug-and-play para qualquer cascata de saída antecipada com backbone congelado que não requer alterações na arquitetura no momento da inferência. Seu significado reside em:

• Abordar o Deslocamento de Covariância: É o primeiro método de pós-treinamento a corrigir explicitamente a incompatibilidade de distribuição entre treinamento e inferência induzida pela estrutura de cascata.
• Eficiência: Alcança reduções substanciais de FLOPs (30–70%) com degradação mínima de precisão, superando métodos que dependem de treinamento conjunto ou ensembles complexos no momento da inferência.
• Praticidade: O método é robusto em diferentes profundidades de backbone (ResNet18 vs. ResNet50) e dificuldades de conjuntos de dados, tornando-o adequado para implantação no mundo real onde o retreinamento do backbone não é viável.

Os autores observam limitações, incluindo a natureza de um único passo (one-shot) do alinhamento atual (sem reponderação iterativa) e o foco em CNNs para classificação de imagens, sugerindo que trabalhos futuros poderiam estender esses princípios para transformers e tarefas de previsão densa.