Resumen Técnico: CalexNet

Enunciado del Problema

Las Redes Neuronales Convolucionales (CNN) a menudo imponen altos costos computacionales, limitando su despliegue en entornos con recursos restringidos. La Inferencia Selectiva (SI) mediante redes de salida temprana aborda esto mediante la adición de ramas auxiliares a capas intermedias, permitiendo que las entradas "fáciles" salgan temprano mientras que las entradas "difíciles" se propagan a capas más profundas. Sin embargo, en el escenario de post-entrenamiento—donde las ramas de salida temprana se añaden a una base preentrenada congelada—se produce una significativa discrepancia entre entrenamiento e inferencia (desplazamiento de covariables).

El artículo identifica tres fuentes específicas de esta discrepancia que las recetas estándar de post-entrenamiento no abordan:

1. Discrepancia en la Distribución de Muestras: Las ramas aguas abajo se entrenan con el conjunto de datos completo, pero durante la inferencia, solo reciben el subconjunto de muestras que no fueron clasificadas con confianza por las ramas aguas arriba.
2. Discrepancia en la Calibración: Los umbrales de precisión por clase suelen calibrarse en el conjunto de validación completo, inflando la precisión aparente porque incluyen muestras "fáciles" que habrían sido filtradas por las ramas aguas arriba en producción.
3. Discrepancia en la Distribución de Objetivos: El entrenamiento estándar con entropía cruzada utiliza el pseudo-etiqueta argmax de la base como objetivo. Esto descarta la estructura de incertidumbre y la información de similitud interclase contenida en la distribución completa de softmax de la base.

Metodología: CalexNet

CalexNet (Salidas Tempranas Alineadas en Cascada) propone una modificación exclusiva de la receta de entrenamiento para cerrar estas tres brechas sin alterar la arquitectura en tiempo de inferencia. El método se basa en un principio unificado: alinear los objetivos de entrenamiento, calibración y destilación con la cascada real de inferencia.

1. Ponderación de Muestras Alineada a la Cascada

En lugar de filtrar duramente los datos de entrenamiento (lo que puede llevar a escasez de datos para las ramas aguas abajo), CalexNet emplea muestreo por importancia ponderado continuamente.

• Mecanismo: Cada muestra $x$ se asigna un peso $w_j^{l+1}$ para la rama $l+1$ basado en el producto de las puntuaciones de confianza de todas las ramas precedentes: $w_j^{l+1} = \prod_{k=1}^{l} (1 - R_{\hat{C}_j^k}^k(x_j))$.
• Efecto: Las muestras que salen con confianza por ramas anteriores reciben pesos cercanos a cero, mientras que las muestras "difíciles" (sobrevivientes) reciben pesos más altos. Esto asegura que la distribución de entrenamiento coincida con la distribución de sobrevivientes en tiempo de inferencia sin descartar datos.

2. Calibración Consciente de la Cascada (Margen de Precisión por Clase - CPM)

El artículo introduce un procedimiento de calibración que estima los umbrales de salida por clase solo en el subconjunto de sobrevivientes de la cascada del conjunto de validación.

• Mecanismo: Para una clase $i$ y una rama $l$, el umbral $T_i^l$ es el valor más pequeño que satisface: $Prec_i^l(T_i^l) > (1 - m) \cdot \widehat{Prec}_i$, donde $\widehat{Prec}_i$ es la precisión de la base y $m$ es un hiperparámetro de margen.
• Significado: Esto previene la inflación de las estimaciones de precisión causada por la calibración en el conjunto de datos completo, asegurando que los umbrales sean robustos ante el desequilibrio de clases que se desarrolla en los subconjuntos de sobrevivientes.

3. Objetivo de Clasificación Destilado

Para abordar la pérdida de información de incertidumbre, la cabeza de clasificación se entrena contra la distribución completa de softmax de la base en lugar de la etiqueta argmax.

• Mecanismo: La función de pérdida utiliza una divergencia Kullback-Leibler (KL) escalada por temperatura: $\mathcal{L}_{class,KD} = T^2 \cdot KL(p_{branch}^T \parallel p_{backbone}^T)$, con $T=4$.
• Efecto: Esto transfiere la estructura de similitud interclase de la base a las ramas, lo que conduce a puntuaciones de confianza mejor calibradas y umbrales de salida más bajos para el mismo objetivo de precisión.

4. Arquitectura de Rama Ligera

CalexNet utiliza una cabeza de rama basada en prototipos de convolución 1D compacta. Agrega mapas de características utilizando vectores de prototipos aprendidos (convoluciones 1D) seguidos de una pequeña proyección no lineal (MLP) antes de las cabezas de clasificación y confianza. Este diseño minimiza la sobrecarga de inferencia mientras mantiene la expresividad en los pequeños subconjuntos de sobrevivientes.

Contribuciones Clave

1. Marco Unificado de Alineación en Cascada: Un único principio que genera tres modificaciones concretas (ponderación, calibración, destilación) para alinear el entrenamiento con la inferencia.
2. Diseño de Rama Ligera: Una arquitectura compacta basada en prototipos que añade una sobrecarga mínima.
3. Margen de Precisión por Clase (CPM): Un procedimiento de calibración que establece umbrales de salida bajo desequilibrio de clases mientras preserva la precisión por clase relativa a la base.
4. Caracterización Empírica: Evidencia que muestra que la reducción de la población a través de la cascada se concentra en "superclases" fáciles, dejando una cola larga de clases más difíciles para la base, lo que justifica la necesidad de un entrenamiento alineado a la cascada.
5. Metodología de Frontera de Pareto: Un método de comparación que utiliza la curva completa de precisión vs. reducción de FLOPs (barriendo el margen CPM $m$) en lugar de puntos operativos únicos, eliminando el sesgo de selección.
6. Evaluación Exhaustiva: Un estudio coincidente en las bases ResNet18/ResNet50 y los conjuntos de datos CIFAR-100 (grueso) / CINIC-10, incluyendo estudios de ablación y comparaciones con PTEEnet, ZTW y BoostNet.

Resultados

El artículo evalúa CalexNet en CIFAR-100 (20 superclases, más difícil) y CINIC-10 (10 clases, más fácil).

• Rendimiento de Pareto: CalexNet iguala o supera tres líneas base publicadas (PTEEnet, ZTW, BoostNet) y una referencia "sin alineación, sin KD" dentro del artículo en la frontera de Pareto de precisión-FLOPs.
• Régimen Clave: Las mayores ganancias ocurren en el régimen de reducción de FLOPs del 30–70%, que es prácticamente relevante.
• Pérdida de Precisión: En CIFAR-100 con ResNet18, a una reducción de FLOPs del 40%, CalexNet reduce la pérdida de precisión al 4,1% en comparación con el 5,9% de la línea base "sin alineación" y el 7,7–8,8% de otras líneas base. A una reducción del 70%, la brecha se amplía (20,9% frente a 23,5%+).
• Estabilidad: Los resultados son estables a través de $n=3$ semillas de entrenamiento, con desviaciones estándar en la pérdida de precisión que oscilan entre 0,003 y 0,021.
• Ablación: El estudio aísla las contribuciones, encontrando que la Destilación de Conocimiento (KD) es la palanca dominante, mientras que la ponderación alineada a la cascada actúa como un refinamiento correctivo. La combinación es superaditiva.

Significado y Afirmaciones

El artículo afirma que CalexNet es una solución de inserción directa para cualquier cascada de salida temprana de base congelada que requiera ningún cambio arquitectónico en tiempo de inferencia. Su significado radica en:

• Abordar el Desplazamiento de Covariables: Es el primer método de post-entrenamiento que corrige explícitamente la discrepancia de distribución entre entrenamiento e inferencia inducida por la estructura de la cascada.
• Eficiencia: Logra reducciones sustanciales de FLOPs (30–70%) con una degradación mínima de la precisión, superando a los métodos que dependen del entrenamiento conjunto o del ensamblaje complejo en tiempo de inferencia.
• Practicidad: El método es robusto a través de diferentes profundidades de base (ResNet18 vs. ResNet50) y dificultades de conjuntos de datos, lo que lo hace adecuado para el despliegue en el mundo real donde el reentrenamiento de la base no es viable.

Los autores señalan limitaciones, incluida la naturaleza de un solo disparo actual de la alineación (sin reponderación iterativa) y el enfoque en CNN para clasificación de imágenes, sugiriendo que el trabajo futuro podría extender estos principios a transformadores y tareas de predicción densa.