Beyond Lipschitz: Data-Driven Robustness via Discrete Modulus of Continuity

Resumen Técnico: Más allá de Lipschitz: Robustez basada en datos mediante el Módulo de Continuidad Discreto

Enunciado del Problema
La robustez de las redes neuronales se cuantifica tradicionalmente mediante constantes de Lipschitz locales o globales. Aunque la continuidad de Lipschitz proporciona garantías teóricas frente a perturbaciones adversarias, los autores argumentan que a menudo es una métrica inadecuada. Puede ser demasiado grosera, fallando en capturar comportamientos matizados dependientes de los datos, o demasiado restrictiva, degradando potencialmente la expresividad y la precisión de la red. Por ejemplo, imponer restricciones de Lipschitz a funciones que son continuas pero no Lipschitz (por ejemplo, $\sqrt{x}$) o a funciones donde los límites globales de Lipschitz sobreestiman la variación local (por ejemplo, $\tanh(x)$) puede obstaculizar el aprendizaje. Además, los métodos existentes para estimar constantes de Lipschitz a menudo dependen de arquitecturas específicas o carecen de garantías teóricas ajustadas. El artículo identifica la necesidad de una noción de robustez de caja negra y multi-escala que sea aplicable a través de arquitecturas y esté fundamentada en la distribución de datos en lugar de únicamente en los internos del modelo.

Metodología
El marco propuesto se centra en el Módulo de Continuidad Discreto (DMOC), una medida de regularidad basada en datos y agnóstica a la arquitectura.

1. Fundamento Teórico:

   • El DMOC es una aproximación discreta del Módulo de Continuidad (MOC) clásico, $\omega(f, t) = \sup_{d_X(x,x') \leq t} d_Y(f(x), f(x'))$.
   • A diferencia de la constante de Lipschitz, que es la pendiente del mayorante lineal menos homogéneo del MOC, el MOC (y por extensión, el DMOC) proporciona una descripción dependiente de la escala de la sensibilidad. Abarca Lipschitz, Hölder y regularidades más débiles.
   • Los autores definen seminormas $\rho$-normalizadas, $|f|_\rho = \sup_{t>0} \rho(t)^{-1}\omega(f, t)$, para cuantificar la regularidad. La seminorma DMOC, $|f_N|_{\rho,N}$, se calcula sobre un conjunto finito de sitios de datos $X_N$.

2. Teoría de Convergencia:

   • El artículo establece resultados de convergencia para las seminormas inducidas por DMOC. El Teorema 2.4 proporciona cotas explícitas no asintóticas para el error $|f|_\rho - |f_N|_{\rho,N}$ en términos de la distancia de separación ($q_N$) y la distancia de llenado ($h_{D,N}$) de los sitios de datos.
   • Esta teoría conecta el estimador discreto con su contraparte continua, demostrando que la precisión del DMOC depende de la calidad geométrica de la distribución de datos subyacente.

3. Algoritmos:

   • Cálculo Exacto (Algoritmo 1): Calcula el DMOC evaluando todas las distancias por pares en el conjunto de datos. Esto tiene una complejidad de tiempo cuadrática, $O(N^2)$, lo cual es prohibitivo para conjuntos de datos grandes.
   • Aproximación por Minilotes (Algoritmo 2): Para permitir la escalabilidad, los autores proponen un algoritmo por minilotes. Al mezclar los datos y procesar lotes, el costo se reduce a $O(NC)$, donde $C$ es el tamaño del lote. Esto permite la evaluación en conjuntos de datos a gran escala como ImageNet.

4. Métricas Diagnósticas:

   • Para comparar DMOCs entre diferentes redes o frente a los datos, los autores introducen métricas de alineación: una puntuación de alineación relativa $S(w, w')$ y el coeficiente de correlación de Pearson $r(w, w')$. Estas métricas cuantifican qué tan bien el comportamiento de entrada-salida de una red coincide con la regularidad intrínseca de los datos.

Contribuciones Clave

• Marco Centrado en Datos: El DMOC desplaza el enfoque de la regularidad del modelo a la regularidad de los datos, proporcionando una línea base contra la cual se evalúa la robustez de la red sin requerir acceso a los internos del modelo (entorno de caja negra).
• Garantías Teóricas: El artículo proporciona tasas de convergencia explícitas para las seminormas inducidas por DMOC basadas en las distancias de separación y llenado de los datos.
• Escalabilidad: La introducción de un algoritmo por minilotes mitiga el costo computacional cuadrático, haciendo que el método sea aplicable a conjuntos de datos grandes (por ejemplo, ImageNet).
• Herramienta Diagnóstica Empírica: El marco sirve como un diagnóstico independiente de la arquitectura que distingue entre redes entrenadas y no entrenadas e identifica regímenes de subajuste y sobreajuste.

Resultados Experimentales
Los autores evaluaron el DMOC en cuatro conjuntos de datos: California Housing, Iris, MNIST e ImageNet, utilizando diversas redes feedforward ReLU y AlexNet.

• Estimación de Lipschitz: Como caso especial, el DMOC produce estimaciones ajustadas de Lipschitz. En el conjunto de datos California Housing, las estimaciones del DMOC fueron comparables a métodos de última generación como ECLipsE y ECLipsE-Fast, a menudo calculadas más rápido (por ejemplo, finalizando en 9 segundos frente a 30–96 segundos para ECLipsE en arquitecturas específicas).
• Estados de la Red:
  • Redes bien ajustadas: Mostraron una fuerte alineación con el perfil DMOC de los datos y puntuaciones de correlación altas.
  • Redes no entrenadas: Exhibieron patrones de suavidad diferentes, a menudo subestimando la suavidad esperada en escalas más grandes.
  • Redes sobreajustadas: Tendencia a exceder el DMOC de los datos, mostrando desviaciones oscilatorias.
  • Redes subajustadas: Mostraron un comportamiento excesivamente suave con poca variación a través de las escalas, fallando en capturar la complejidad de los datos.
• ImageNet: El enfoque por minilotes calculó con éxito los DMOCs para AlexNet, revelando que las redes entrenadas tienen DMOCs significativamente mayores que las no entrenadas, con una resolución que mejora a medida que aumenta el tamaño del lote.

Significado y Afirmaciones
El artículo afirma que el DMOC ofrece una descripción más rica y multi-escala de la regularidad de la red que la constante de Lipschitz. Al depender de pares de entrada-salida en espacios métricos, proporciona una herramienta de caja negra y agnóstica a la arquitectura para evaluar la robustez. Los autores enfatizan que el DMOC no es meramente un reemplazo de las constantes de Lipschitz, sino un refinamiento que captura la regularidad intrínseca de los datos.

El trabajo posiciona al DMOC principalmente como una herramienta diagnóstica post-hoc. Demuestra que los perfiles DMOC pueden distinguir automáticamente entre estados de entrenamiento (subajuste, sobreajuste, buen ajuste) y proporcionar cotas ajustadas de Lipschitz. Los autores notan modestamente que, aunque el marco es teóricamente aplicable a representaciones latentes en transformadores, esto aún no se ha explorado empíricamente. También identifican la limitación actual de usar el DMOC únicamente para diagnóstico, sugiriendo que incorporarlo en el entrenamiento mediante regularización es una dirección natural para trabajos futuros.