Convex training of Lipschitz-regularized shallow neural networks

Resumen Técnico: Entrenamiento Convexo de Redes Neuronales Superficiales con Regularización de Lipschitz

Planteamiento del Problema
El entrenamiento de redes neuronales superficiales (SNN, por sus siglas en inglés) depende típicamente del descenso de gradiente estocástico (SGD), el cual no ofrece garantías de convergencia hacia un óptimo global y es sensible al ajuste de hiperparámetros. Además, los modelos entrenados estándar suelen ser vulnerables a ataques adversarios: pequeñas perturbaciones de caso extremo en los datos de entrada que alteran las predicciones. Si bien el entrenamiento adversario y la regularización de Lipschitz pueden mejorar la robustez, los métodos existentes enfrentan desafíos significativos:

1. No convexidad: Los programas de entrenamiento que incorporan restricciones de Lipschitz (por ejemplo, mediante Programación Semidefinida o ADMM) son no convexos, careciendo de garantías de convergencia.
2. Sensibilidad a los Patrones de Activación: Las reformulaciones convexas previas para SNN (por ejemplo, Pilanci & Ergen, 2020) requieren el muestreo de patrones de activación. Si estos patrones son subóptimos, el programa convexo resultante puede producir soluciones peores que la red inicial entrenada con SGD.
3. Expansión del Modelo: Los enfoques convexos existentes a menudo requieren duplicar el número de unidades ocultas para garantizar que una solución inicial sea factible dentro de la restricción convexa, lo que puede conducir al sobreajuste o dificultar las comparaciones directas de rendimiento.

Metodología
Los autores proponen un procedimiento de entrenamiento de post-procesamiento que transforma un problema de entrenamiento de Lipschitz no convexo en una secuencia de restricciones convexas. La metodología central consiste en:

1. Construcción de la Restricción Convexa:

   • Los autores fijan los signos de los pesos de la capa externa y los patrones de activación de las unidades ocultas basándose en una SNN pre-entrenada.
   • Al fijar estas variables discretas, el problema no convexo original (que incluye regularización de $\ell_2$ o de Lipschitz) se restringe a un subproblema convexo.
   • Crucialmente, esta restricción se construye de tal manera que la solución inicial pre-entrenada permanece factible. Por lo tanto, el óptimo global de esta restricción convexa está matemáticamente garantizado para no ser peor que la solución inicial.

2. Minimización Alternante Iterativa (AM):

   • Para problemas con regularización de Lipschitz, los autores proponen un algoritmo iterativo (Algoritmo 1).
   • Paso 1: Dada la configuración actual de pesos, resolver un Programa Semidefinido (SDP) para estimar la cota superior de Lipschitz más ajustada (constante de Lipschitz) y actualizar la matriz auxiliar $T$.
   • Paso 2: Con $T$ fijo, resolver la restricción convexa (un Programa Cuadrático con restricciones de Desigualdad de Matriz Lineal) para actualizar los pesos de la capa oculta manteniendo los patrones de activación extraídos.
   • Este proceso se repite, disminuyendo monotonicamente el valor de la función objetivo (pérdida + penalización de Lipschitz) hasta la convergencia.

3. Manejo de Multisets de Patrones:

   • A diferencia de trabajos previos que muestrean patrones aleatoriamente o requieren patrones únicos, este método utiliza los patrones de activación exactos (multisets) extraídos de la red pre-entrenada.
   • Los autores demuestran que si los patrones extraídos corresponden a los patrones de la solución óptima, el programa convexo es equivalente al problema no convexo original. Incluso con patrones subóptimos, se garantiza que la solución mejorará respecto al punto inicial.

Contribuciones Clave

1. Método de Entrenamiento Convexo: Desarrollo de un método de entrenamiento convexo para SNN con activaciones ReLU con regularización de Lipschitz. Los autores demuestran que fijar los signos de los pesos de la capa externa y los patrones de activación de las unidades ocultas produce una restricción convexa del problema no convexo original.
2. Mejora Garantizada: Se propone un algoritmo iterativo que resuelve una secuencia de estas restricciones convexas hacia la optimalidad global. Los autores prueban que el valor de la función objetivo disminuye monotonicamente y que la solución final está garantizada para no ser peor que la red pre-entrenada inicial.
3. Restricciones Convexas más Fuertes: El artículo introduce técnicas para construir estas restricciones extrayendo patrones de activación y pesos de la capa externa de cualquier SNN pre-entrenada. Esto aborda el desafío de encontrar "buenos" patrones de activación, ya que el método garantiza la mejora independientemente de la calidad del patrón inicial.
4. Validación Empírica: Experimentos en conjuntos de datos UCI y sintéticos (función Rastrigin) demuestran que el método de post-procesamiento propuesto produce redes con valores de la función objetivo más bajos y una mayor robustez contra ataques adversarios de PGD (Descenso de Gradiente Proyectado) en comparación con métodos existentes como el entrenamiento de Lipschitz basado en ADMM y el SGD estándar.

Resultados

• Reducción del Valor de la Función Objetivo: En múltiples conjuntos de datos (Solar, Machine, Servo, Wine), las soluciones convexas propuestas (denotadas como $(\cdot)$-C-lip) lograron un Error Cuadrático Medio (MSE) mediano más bajo bajo condiciones adversarias en comparación con los modelos base entrenados mediante SGD, PGD o ADMM.
• Robustez: El método produjo modelos que fueron tanto más precisos como más robustos ante ataques adversarios de diversas magnitudes ($\epsilon = 0, 0.1, 0.2$).
• Comparación con Baselines:
  • La restricción convexa superó consistentemente a los modelos pre-entrenados iniciales.
  • En contraste, los métodos que muestreaban solo una fracción de los patrones de activación (por ejemplo, 50 de 100) no lograron garantizar la mejora y a menudo produjeron soluciones peores que los modelos base, resaltando la importancia de utilizar el conjunto completo de patrones extraídos.
  • El método propuesto mostró mejoras significativas sobre el entrenamiento de Lipschitz basado en ADMM, particularmente en los conjuntos de datos "Servo" y "Machine".

Significancia y Reivindicaciones
El artículo sostiene que su principal significancia radica en proporcionar un marco convexo y tratable para entrenar SNN adversariamente robustas que supera los problemas de convergencia de los métodos no convexos (como ADMM) y la incertidumbre de la calidad de la solución de los enfoques convexos existentes.

• Garantía de Robustez: Al minimizar la constante de Lipschitz mediante una restricción convexa, el método promueve la robustez adversaria sin las garantías de convergencia del entrenamiento no convexo estándar.
• Utilidad de Post-procesamiento: El enfoque sirve como un paso de post-procesamiento confiable. Toma cualquier solución factible (por ejemplo, de SGD o ADMM) y garantiza una solución de igual o mayor calidad, refinando efectivamente los modelos existentes sin el riesgo de degradar el rendimiento.
• Escalabilidad y Practicidad: El método utiliza resolvedores de punto interior convencionales (por ejemplo, MOSEK) y evita la necesidad de un muestreo de patrones heurístico que puede conducir a resultados subóptimos.

Los autores señalan modestamente que, si bien su método garantiza la mejora sobre la solución inicial, no garantiza encontrar el óptimo global del problema no convexo original, a menos que los patrones de activación extraídos resulten ser los óptimos. Se sugiere como trabajo futuro extender esto a redes neuronales profundas y desarrollar métodos para mejorar secuencialmente la selección del multiset de patrones.