Prediction-Only Distillation in Linear and Logistic Regression

Resumen Técnico: Destilación de Solo Predicción en Regresión Lineal y Logística

Planteamiento del Problema
La autodestilación (SD) estándar típicamente implica el reentrenamiento de un modelo estudiante sobre los datos de entrenamiento etiquetados originales del profesor. Sin embargo, en muchos escenarios de despliegue práctico, los datos de entrenamiento etiquetados originales no están disponibles debido a restricciones de privacidad, almacenamiento o seguridad. En estos regímenes de "solo predicción", solo se tiene acceso a un predictor entrenado (el profesor) y a un flujo de covariables no etiquetadas frescas, potencialmente fuera de la distribución (OOD). La cuestión central abordada es si tales datos no etiquetados frescos pueden aprovecharse para mejorar un predictor fijo cuando los datos de entrenamiento originales y los parámetros de regularización específicos del profesor son desconocidos.

Metodología
Los autores proponen un marco de Destilación de Autopredicción Mixta (PMSD). El procedimiento consta de tres etapas:

1. Destilación Pura (PD): Un modelo estudiante se entrena utilizando las predicciones del profesor como pseudo-etiquetas sobre covariables no etiquetadas frescas. Esto genera un estudiante "puramente destilado".
2. Mezcla Afín: En lugar de desplegar el estudiante PD solo, el predictor final se construye como una combinación afín de las predicciones del profesor y las predicciones del estudiante PD: $f_{pmsd}(x) = (1-\xi)f_{teacher}(x) + \xi f_{pd}(x)$. El peso de mezcla $\xi$ es un parámetro de valor real que no necesita restringirse al intervalo $[0, 1]$.
3. Calibración: Dado que el peso de mezcla óptimo depende de cantidades poblacionales desconocidas, los autores proponen estimarlo utilizando un pequeño conjunto de calibración etiquetado e independiente. Esta estimación se realiza en un único paso post-entrenamiento sin reentrenar los modelos.

El análisis teórico se lleva a cabo bajo la asintótica proporcional ($n, p \to \infty$ con $p/n$ constante) para dos configuraciones:

• Regresión de Ridge: Analizada bajo estructuras de covarianza anisotrópicas generales y señales deterministas. Los autores derivan equivalentes deterministas para el peso de mezcla óptimo y el riesgo de predicción resultante.
• Regresión Logística: Analizada en un entorno de clasificación binaria con pseudo-etiquetas duras, extendiendo el análisis a escenarios donde la tasa de error del profesor es alta (incluso superando el 50%).

Contribuciones Clave

1. Caracterización Teórica del Riesgo de PMSD: El artículo deriva identidades de oráculo exactas y equivalentes deterministas para el peso de mezcla óptimo y el riesgo de PMSD en la regresión de Ridge. Estos resultados se mantienen para covarianzas anisotrópicas generales donde las covariables frescas pueden tener una distribución distinta (pero matrices de covarianza conmutativas) que los datos de entrenamiento del profesor.
2. Garantías de Mejora Estricta: Los autores demuestran que, para casi cualquier par de niveles de regularización del profesor y del estudiante, el estudiante PMSD óptimamente mezclado supera estrictamente al profesor. Esto se mantiene incluso cuando:
   • Las covariables frescas son fuera de la distribución (por ejemplo, muestreadas de una distribución gaussiana isotrópica).
   • El nivel de regularización del profesor es desconocido o subóptimo.
   • La regularización del estudiante no está optimamente ajustada.
     Las únicas excepciones ocurren en puntos de "degeneración" específicos y finitos donde los riesgos coinciden.
3. No Monotonicidad de los Datos No Etiquetados: Contrario a la intuición, el artículo demuestra que aumentar la cantidad de datos no etiquetados frescos no mejora el rendimiento de manera monótona. En el escenario de misma-$\lambda$ isotrópico, el riesgo óptimo de PMSD es unimodal con respecto al tamaño de la muestra no etiquetada; añadir más datos más allá de cierto punto puede degradar el rendimiento.
4. Calibración Consistente sin Reentrenamiento: Los autores muestran que el peso de mezcla óptimo no puede identificarse únicamente a partir de datos no etiquetados (una limitación de información teórica). Sin embargo, demuestran que un pequeño conjunto de calibración etiquetado independiente permite una estimación consistente del peso óptimo en un único paso post-hoc, sin requerir un ajuste de modelo adicional.
5. Ganancias en Regresión Logística: Extendiendo más allá de la pérdida cuadrática, el artículo muestra que la mezcla de predicción puede superar estrictamente tanto al profesor como al estudiante PD en la regresión logística. Notablemente, incluso cuando el profesor y el estudiante PD fallan en recuperar las etiquetas reales (alcanzando un 0% de precisión en regímenes de alto ruido), el estudiante PMSD puede lograr un 100% de precisión poblacional mediante la extrapolación apropiada a través del peso de mezcla.

Resultados

• Validación Empírica: Experimentos en conjuntos de datos del mundo real (UCI Blog Feedback, Communities and Crime, Airfoil) y datos sintéticos confirman las predicciones teóricas. El estudiante PMSD alcanza consistentemente un riesgo de predicción cuadrático menor que tanto el profesor como el estudiante PD a través de varios niveles de regularización y estructuras de covarianza (incluyendo isotrópica y AR1).
• Robustez ante OOD: El método sigue siendo efectivo incluso cuando las covariables frescas se muestrean de una distribución isotrópica, distinta de la distribución de entrenamiento del profesor.
• Rendimiento de Clasificación: En experimentos de sondeo lineal en Caltech-101, Caltech-256 y CIFAR-100 con etiquetas corruptas, PMSD mejora consistentemente la precisión de prueba sobre el profesor y el estudiante PD. Los pesos de mezcla óptimos a menudo se encuentran fuera de $[0, 1]$, validando el uso de combinaciones afines en lugar de convexas.

Significancia y Pretensiones
El artículo sostiene que la destilación de solo predicción ofrece un método teóricamente fundamentado y prácticamente viable para mejorar los predictores fijos en entornos con restricciones de datos. Su significancia radica en:

• Cerrar la Brecha de Datos: Proporcionar un mecanismo para adaptar modelos cuando los datos de entrenamiento originales son inaccesibles, una restricción común en el despliegue en el mundo real.
• Mejora Genérica: Establecer que la mejora estricta sobre el profesor es una propiedad genérica del esquema PMSD, no dependiente de hiperparámetros finamente ajustados o alineaciones distributivas específicas.
• Eficiencia Operativa: Demostrar que los beneficios de la destilación pueden realizarse con una carga computacional mínima (calibración de un solo paso) y sin acceso a etiquetas de verdad fundamental para los datos frescos.
• Novedad Teórica: Desafiar la suposición de que más datos no etiquetados siempre ayudan, revelando una relación no monótona entre el tamaño de la muestra y el riesgo en el escenario de fresh-X.

Los autores posicionan este trabajo como un complemento a la literatura existente de autodestilación de "mismo-X", destacando que mientras los métodos de mismo-X pueden recuperar el rendimiento óptimo dados los datos originales, PMSD proporciona la mejor mejora posible dados únicamente las predicciones del profesor y las covariables frescas.