Resumen Técnico: Replanteando los Paradigmas de Evaluación en el Entrenamiento Certificado basado en IBP

Declaración del Problema

Las redes neuronales profundas (DNN) logran un alto rendimiento en tareas de aprendizaje supervisado, pero siguen siendo vulnerables a las perturbaciones adversarias. Si bien la verificación de redes neuronales proporciona garantías de robustez matemáticamente rigurosas, es computacionalmente costosa (NP-completo). Las técnicas de entrenamiento certificado, particularmente aquellas basadas en la Propagación de Intervalos (IBP), buscan optimizar la robustez verificable durante el entrenamiento. Sin embargo, estos métodos inducen un compromiso fundamental entre la precisión natural (rendimiento en datos limpios) y la precisión certificada (rendimiento en entradas provadamente robustas).

El paradigma de evaluación actual en el campo es defectuoso: los investigadores suelen reportar una única configuración (un único punto en el espacio de compromiso) determinada por el ajuste manual o la búsqueda de cuadrícula (grid search). Esta práctica es problemática porque:

1. Sesgo: La comparación de configuraciones únicas depende altamente del punto de compromiso específico elegido, lo que conduce a conclusiones sesgadas sobre el estado del arte.
2. Subajuste (Under-tuning): Los trabajos previos a menudo no exploran el espacio completo de hiperparámetros, pudiendo perder configuraciones superiores que dominan los resultados reportados.
3. Falta de Estandarización: No existe un procedimiento estandarizado e imparcial para posicionar los nuevos métodos frente a los existentes a través de todo el espectro de robustez-precisión.

Metodología

Los autores proponen un cambio de paradigma de la evaluación de un solo punto hacia la evaluación basada en el frente de Pareto. En lugar de optimizar para un único objetivo (por ejemplo, maximizar la precisión certificada), tratan el problema como una tarea de optimización multiobjetivo para descubrir el conjunto de configuraciones no dominadas (el frente de Pareto).

Enfoque Central

1. Optimización de Hiperparámetros Multiobjetivo (MO-HPO): Los autores emplean la optimización bayesiana multiobjetivo utilizando sustitutos de procesos gaussianos y la función de adquisición de Mejora del Hipervolumen Esperado (EHVI). Esto permite la optimización simultánea de la precisión natural y la precisión certificada.
2. Diseño del Espacio de Búsqueda: Para asegurar una comparación imparcial, el espacio de búsqueda es exhaustivo, incluyendo:
   • Hiperparámetros generales de aprendizaje profundo (tasa de aprendizaje, optimizadores como Adam/AdamW/RAdam, esquemas de decaimiento).
   • Parámetros específicos del método (por ejemplo, $\kappa$ para IBP/CROWN-IBP, $\alpha$ para MTL-IBP, $\tau$ para SABR).
   • Parámetros del esquema de entrenamiento (épocas de warm-up, épocas de ramp-up, factores de escala de $\epsilon$).
   • Parámetros de ataque (pasos de PGD, tamaño de paso, reinicios).
   • Crucialmente, el espacio de búsqueda incluye parámetros que a menudo se fijan o ignoran en la literatura previa (por ejemplo, permitir transiciones de $\kappa$, variar longitudes de warm-up), lo que permite el descubrimiento de configuraciones previamente inexploradas.
3. Proxy de Evaluación Eficiente: Dado que la verificación completa (requerida para la precisión certificada final) es computacionalmente prohibitiva para cada prueba, el bucle de optimización utiliza la verificación incompleta (IBP, CROWN, CROWN-IBP) como un objetivo proxy.
4. Verificación Final: Una vez identificadas las configuraciones Pareto-óptimas mediante el proxy, se reevalúan utilizando la verificación completa de vanguardia (específicamente $\alpha\beta$-CROWN) para establecer el frente de Pareto final. Para gestionar los costos, se utiliza el agrupamiento de enlace simple (single-linkage clustering) para filtrar configuraciones redundantes antes de la verificación completa.
5. Presupuesto Estandarizado: Todos los métodos se evalúan bajo un presupuesto computacional fijo (100 pruebas por semilla, 3 semillas por método) para asegurar una comparación justa.

Contribuciones Clave

1. Nuevo Estándar de Evaluación: El artículo establece un protocolo de evaluación multiobjetivo estandarizado que reemplaza las comparaciones de un solo punto con el análisis del frente de Pareto. Esto permite una evaluación matizada donde los investigadores pueden seleccionar métodos según sus requisitos específicos (por ejemplo, priorizando la precisión limpia frente a las garantías certificadas).
2. Descubrimiento de Configuraciones Subajustadas: Al explorar sistemáticamente el espacio de hiperparámetros, los autores demuestran que muchos de los resultados reportados anteriormente como "estado del arte" están dominados por el frente de Pareto de configuraciones encontradas mediante su optimización automatizada. Esto revela un "subajuste" significativo en la literatura existente.
3. Benchmarking Exhaustivo: El estudio proporciona la primera comparación multiobjetivo exhaustiva de los principales métodos de entrenamiento certificado basados en IBP (IBP, CROWN-IBP, SABR, MTL-IBP) a través de CIFAR-10 y Tiny ImageNet con variaciones en los radios de perturbación ($\epsilon$).
4. Perspectivas de Hiperparámetros: Utilizando fANOVA, los autores identifican que las interacciones complejas entre hiperparámetros (por ejemplo, la transición de $\kappa$ durante el ramp-up, el escalado de $\epsilon$ y la duración del warm-up) son críticas para lograr compromisos óptimos, conocimientos que suelen pasarse por alto en el ajuste manual.

Resultados

• Rendimiento Superior: La evaluación propuesta descubre configuraciones que dominan los resultados previos. Por ejemplo, en CIFAR-10 con $\epsilon = 2/255$, SABR logra ganancias de más del 1% tanto en precisión limpia como en certificada en comparación con la literatura. En Tiny ImageNet, MTL-IBP muestra mejoras de aproximadamente un 2% en ambas métricas.
• Complementariedad de Métodos: Ningún método domina uniformemente.
  • SABR generalmente destaca en lograr una alta precisión natural.
  • MTL-IBP tiende a proporcionar las garantías certificadas más fuertes, particularmente en radios de perturbación pequeños.
  • IBP y CROWN-IBP siguen siendo competitivos, especialmente cuando se desean mayores precisiones naturales o en radios de perturbación más grandes ($\epsilon = 8/255$), desafiando la suposición de que son obsoletos.
• Estancamiento del Progreso en Radios Grandes: El análisis sugiere que el progreso en radios de perturbación más grandes se ha estancado, con métodos más antiguos contribuyendo significativamente al frente de Pareto combinado.
• Ajuste en Validación vs. Conjunto de Prueba: Los autores demuestran que ajustar los hiperparámetros directamente en el conjunto de prueba (una práctica común pero problemática) conduce a frentes de Pareto que dominan estrictamente a aquellos obtenidos mediante el ajuste en el conjunto de validación, indicando que las evaluaciones previas probablemente sobreestimaron el rendimiento de generalización.
• Eficiencia Computacional: El estudio muestra que, si bien la verificación completa es costosa, reducir el tiempo de espera de verificación (por ejemplo, de 1000s a 100s en CIFAR-10) preserva la forma del frente de Pareto mientras reduce los costos computacionales en un orden de magnitud.

Significado y Reivindicaciones

El artículo sostiene que el estado del arte actual en el entrenamiento certificado ha sido significativamente subestimado debido a un mal ajuste de hiperparámetros y metodologías de evaluación defectuosas. Al adoptar una perspectiva multiobjetivo:

• Reevaluación del Estado del Arte: Los avances recientes son menos pronunciados de lo que se asumía anteriormente, particularmente para radios de perturbación más grandes.
• Perspectivas Accionables: El trabajo proporciona una guía concreta para la comunidad, destacando que las interacciones complejas entre hiperparámetros (a menudo pasadas por alto) son esenciales para un rendimiento óptimo.
• Dirección Futura: Los autores abogan por un cambio hacia protocolos de evaluación multiobjetivo estandarizados. Sugieren que la comunidad debe centrarse en estrategias de "verificación barata" en lugar de depender de tiempos de espera de verificación cada vez mayores para distinguir los métodos, ya que los tiempos de espera más cortos suelen ser suficientes para identificar el frente de Pareto.

En última instancia, el artículo argumenta que una evaluación justa requiere explorar el espacio de compromiso completo, permitiendo el desarrollo de modelos certificados que sean tanto robustos como prácticamente útiles, al tiempo que evita conclusiones erróneas derivadas de comparaciones de configuración única.