Convex training of Lipschitz-regularized shallow neural networks

Resumo Técnico: Treinamento Convexo de Redes Neurais Rasas com Regularização de Lipschitz

Definição do Problema
O treinamento de redes neurais rasas (SNNs) normalmente depende do gradiente descendente estocástico (SGD), que não oferece garantia de convergência para um ótimo global e é sensível ao ajuste de hiperparâmetros. Além disso, os modelos treinados convencionalmente são frequentemente vulneráveis a ataques adversários — pequenas perturbações de pior caso nos dados de entrada que alteram as previsões. Embora o treinamento adversário e a regularização de Lipschitz possam melhorar a robustez, os métodos existentes enfrentam desafios significativos:

1. Não-convexidade: Programas de treinamento que incorporam restrições de Lipschitz (por exemplo, via Programação Semidefinida ou ADMM) são não-convexos, carecendo de garantias de convergência.
2. Sensibilidade ao Padrão de Ativação: Reformulações convexas anteriores para SNNs (por exemplo, Pilanci & Ergen, 2020) exigem a amostragem de padrões de ativação. Se esses padrões forem subótimos, o programa convexo resultante pode gerar soluções piores do que a rede inicial treinada por SGD.
3. Expansão do Modelo: Abordagens convexas existentes frequentemente exigem o dobro do número de unidades ocultas para garantir que uma solução inicial seja viável dentro da restrição convexa, o que pode levar ao overfitting ou dificultar comparações diretas de desempenho.

Metodologia
Os autores propõem um procedimento de treinamento de pós-processamento que transforma um problema de treinamento não-convexo e regularizado por Lipschitz em uma sequência de restrições convexas. A metodologia central envolve:

1. Construção da Restrição Convexa:

   • Os autores fixam os sinais dos pesos da camada externa e os padrões de ativação das unidades ocultas com base em uma SNN pré-treinada.
   • Ao fixar essas variáveis discretas, o problema não-convexo original (que inclui regularização $\ell_2$ ou de Lipschitz) é restrito a um subproblema convexo.
   • Crucialmente, essa restrição é construída de tal forma que a solução inicial pré-treinada permaneça viável. Portanto, o ótimo global desta restrição convexa é matematicamente garantido como não sendo pior do que a solução inicial.

2. Minimização Alternada Iterativa (AM):

   • Para problemas regularizados por Lipschitz, os autores propõem um algoritmo iterativo (Algoritmo 1).
   • Passo 1: Dada a configuração atual de pesos, resolve-se um Programa Semidefinido (SDP) para estimar o limite superior de Lipschitz mais justo (constante de Lipschitz) e atualizar a matriz auxiliar $T$.
   • Passo 2: Com $T$ fixo, resolve-se a restrição convexa (um Programa Quadrático com restrições de Desigualdade de Matriz Linear) para atualizar os pesos da camada oculta, mantendo os padrões de ativação extraídos.
   • Este processo se repete, diminuindo monotonicamente o valor da função objetivo (perda + penalidade de Lipschitz) até a convergência.

3. Tratamento de Multiset de Padrões:

   • Diferente de trabalhos anteriores que amostram padrões aleatoriamente ou exigem padrões únicos, este método utiliza os padrões de ativação exatos (multisets) extraídos da rede pré-treinada.
   • Os autores provam que, se os padrões extraídos corresponderem aos padrões da solução ótima, o programa convexo é equivalente ao problema não-convexo original. Mesmo com padrões subótimos, a solução é garantida como uma melhoria em relação ao ponto inicial.

Principais Contribuições

1. Método de Treinamento Convexo: Desenvolvimento de um método de treinamento convexo para SNNs regularizadas por Lipschitz com ativações ReLU. Os autores demonstram que fixar os sinais dos pesos da camada externa e os padrões de ativação das unidades ocultas gera uma restrição convexa do problema não-convexo original.
2. Melhoria Garantida: Um algoritmo iterativo é proposto para resolver uma sequência dessas restrições convexas até a otimalidade global. Os autores provam que o valor da função objetivo diminui monotonicamente e que a solução final é garantida como não sendo pior do que a rede pré-treinada inicial.
3. Restrições Convexas Mais Fortes: O artigo introduz técnicas para construir essas restrições extraindo padrões de ativação e pesos da camada externa de qualquer SNN pré-treinada. Isso aborda o desafio de encontrar "bons" padrões de ativação, uma vez que o método garante a melhoria independentemente da qualidade do padrão inicial.
4. Validação Empírica: Experimentos em conjuntos de dados UCI e sintéticos (função Rastrigin) demonstram que o método de pós-processamento proposto produz redes com valores de objetivo menores e melhor robustez contra ataques adversários PGD (Gradiente Descendente Projetado) em comparação com métodos existentes, como o treinamento de Lipschitz baseado em ADMM e o SGD padrão.

Resultados

• Redução do Valor Objetivo: Em múltiplos conjuntos de dados (Solar, Machine, Servo, Wine), as soluções convexas propostas (denotadas como $(\cdot)$-C-lip) alcançaram um Erro Quadrático Médio (MSE) mediano menor sob condições adversárias em comparação com modelos de linha de base treinados via SGD, PGD ou ADMM.
• Robustez: O método produziu modelos que foram simultaneamente mais precisos e mais robustos a ataques adversários de diferentes magnitudes ($\epsilon = 0, 0.1, 0.2$).
• Comparação com Linhas de Base:
  • A restrição convexa superou consistentemente os modelos pré-treinados iniciais.
  • Em contraste, métodos que amostraram apenas uma fração dos padrões de ativação (por exemplo, 50 de 100) falharam em garantir melhoria e frequentemente produziram soluções piores do que as linhas de base, destacando a importância de usar o conjunto completo de padrões extraídos.
  • O método proposto mostrou melhorias significativas sobre o treinamento de Lipschitz baseado em ADMM, particularmente nos conjuntos de dados "Servo" e "Machine".

Significância e Alegações
O artigo afirma que sua principal significância reside no fornecimento de um arcabouço convexo tratável para treinar SNNs adversariamente robustas, que supera os problemas de convergência de métodos não-convexos (como ADMM) e a incerteza da qualidade da solução de abordagens convexas existentes.

• Garantia de Robustez: Ao minimizar a constante de Lipschitz via uma restrição convexa, o método promove a robustez adversária sem as garantias de convergência do treinamento não-convexo padrão.
• Utilidade de Pós-Processamento: A abordagem serve como um passo de pós-processamento confiável. Ela pega qualquer solução viável (por exemplo, de SGD ou ADMM) e garante uma solução de igual ou maior qualidade, efetivamente refinando modelos existentes sem o risco de degradar o desempenho.
• Escalabilidade e Praticidade: O método utiliza solvers de ponto interior prontos para uso (por exemplo, MOSEK) e evita a necessidade de amostragem heurística de padrões que pode levar a resultados subótimos.

Os autores observam modestamente que, embora o método garanta a melhoria em relação à solução inicial, ele não garante encontrar o ótimo global do problema não-convexo original, a menos que os padrões de ativação extraídos sejam, por acaso, os ótimos. Sugere-se que trabalhos futuros estendam isso para redes neurais profundas e desenvolvam métodos para melhorar sequencialmente a seleção do multiset de padrões.