Beyond Lipschitz: Data-Driven Robustness via Discrete Modulus of Continuity

Resumo Técnico: Além de Lipschitz: Robustez Orientada a Dados via Módulo de Continuidade Discreto

Declaração do Problema
A robustez de redes neurais é tradicionalmente quantificada usando constantes de Lipschitz locais ou globais. Embora a continuidade de Lipschitz forneça garantias teóricas contra perturbações adversariais, os autores argumentam que frequentemente é uma métrica inadequada. Ela pode ser excessivamente grosseira, falhando em capturar comportamentos sutis dependentes dos dados, ou excessivamente restritiva, potencialmente degradando a expressividade e a precisão da rede. Por exemplo, impor restrições de Lipschitz a funções que são contínuas, mas não Lipschitz (e.g., $\sqrt{x}$) ou a funções onde limites globais de Lipschitz superestimam a variação local (e.g., $\tanh(x)$) pode prejudicar o aprendizado. Além disso, métodos existentes para estimar constantes de Lipschitz frequentemente dependem de arquiteturas específicas ou carecem de garantias teóricas rigorosas. O artigo identifica a necessidade de uma noção de robustez de caixa-preta e multi-escala que se aplique através de arquiteturas e seja fundamentada na distribuição dos dados, e não apenas nos internals do modelo.

Metodologia
A estrutura proposta centra-se no Módulo de Continuidade Discreto (DMOC), uma medida orientada a dados e agnóstica à arquitetura de regularidade.

1. Fundamentação Teórica:

   • O DMOC é uma aproximação discreta do clássico Módulo de Continuidade (MOC), $\omega(f, t) = \sup_{d_X(x,x') \leq t} d_Y(f(x), f(x'))$.
   • Diferentemente da constante de Lipschitz, que é a inclinação do majorante linear menos homogêneo do MOC, o MOC (e, por extensão, o DMOC) fornece uma descrição dependente da escala da sensibilidade. Ele abrange regularidades de Lipschitz, Hölder e mais fracas.
   • Os autores definem seminormas $\rho$-normalizadas, $|f|_\rho = \sup_{t>0} \rho(t)^{-1}\omega(f, t)$, para quantificar a regularidade. A seminorma DMOC, $|f_N|_{\rho,N}$, é computada sobre um conjunto finito de locais de dados $X_N$.

2. Teoria de Convergência:

   • O artigo estabelece resultados de convergência para seminormas induzidas pelo DMOC. O Teorema 2.4 fornece limites não assintóticos explícitos para o erro $|f|_\rho - |f_N|_{\rho,N}$ em termos da distância de separação ($q_N$) e da distância de preenchimento ($h_{D,N}$) dos locais de dados.
   • Esta teoria conecta o estimador discreto à sua contraparte contínua, demonstrando que a precisão do DMOC depende da qualidade geométrica da distribuição de dados subjacente.

3. Algoritmos:

   • Cálculo Exato (Algoritmo 1): Computa o DMOC avaliando todas as distâncias pareadas no conjunto de dados. Isso possui complexidade de tempo quadrática, $O(N^2)$, o que é proibitivo para grandes conjuntos de dados.
   • Aproximação por Minibatch (Algoritmo 2): Para permitir escalabilidade, os autores propõem um algoritmo de minibatch. Ao embaralhar os dados e processar lotes, o custo é reduzido para $O(NC)$, onde $C$ é o tamanho do lote. Isso permite avaliação em conjuntos de dados de grande escala como ImageNet.

4. Métricas de Diagnóstico:

   • Para comparar DMOCs entre diferentes redes ou contra os dados, os autores introduzem métricas de alinhamento: uma pontuação de alinhamento relativa $S(w, w')$ e o coeficiente de correlação de Pearson $r(w, w')$. Essas métricas quantificam o quão bem o comportamento de entrada-saída de uma rede corresponde à regularidade intrínseca dos dados.

Principais Contribuições

• Estrutura Centrada em Dados: O DMOC desloca o foco da regularidade do modelo para a regularidade dos dados, fornecendo uma linha de base contra a qual a robustez da rede é avaliada sem exigir acesso aos internals do modelo (configuração de caixa-preta).
• Garantias Teóricas: O artigo fornece taxas de convergência explícitas para seminormas induzidas pelo DMOC baseadas em distâncias de separação e preenchimento dos dados.
• Escalabilidade: A introdução de um algoritmo de minibatch mitiga o custo computacional quadrático, tornando o método aplicável a grandes conjuntos de dados (e.g., ImageNet).
• Ferramenta de Diagnóstico Empírica: A estrutura serve como um diagnóstico independente de arquitetura que distingue redes treinadas de não treinadas e identifica regimes de subajuste e sobreajuste.

Resultados Experimentais
Os autores avaliaram o DMOC em quatro conjuntos de dados: California Housing, Iris, MNIST e ImageNet, usando várias redes feedforward ReLU e AlexNet.

• Estimação de Lipschitz: Como caso especial, o DMOC produz estimativas de Lipschitz rigorosas. No conjunto de dados California Housing, as estimativas do DMOC foram comparáveis a métodos de última geração como ECLipsE e ECLipsE-Fast, frequentemente computadas mais rapidamente (e.g., concluindo em 9 segundos versus 30–96 segundos para ECLipsE em arquiteturas específicas).
• Estados da Rede:
  • Redes bem ajustadas: Mostraram forte alinhamento com o perfil de DMOC dos dados e altas pontuações de correlação.
  • Redes não treinadas: Exibiram padrões de suavidade diferentes, frequentemente subestimando a suavidade esperada em escalas maiores.
  • Redes com sobreajuste: Tiveram a tendência de exceder o DMOC dos dados, mostrando desvios oscilatórios.
  • Redes com subajuste: Exibiram comportamento excessivamente suave com pouca variação através das escalas, falhando em capturar a complexidade dos dados.
• ImageNet: A abordagem por minibatch computou com sucesso DMOCs para AlexNet, revelando que redes treinadas possuem DMOCs significativamente maiores do que as não treinadas, com a resolução melhorando à medida que o tamanho do lote aumenta.

Significado e Alegações
O artigo alega que o DMOC oferece uma descrição mais rica e multi-escala da regularidade da rede do que a constante de Lipschitz. Ao depender de pares de entrada-saída em espaços métricos, fornece uma ferramenta de caixa-preta e agnóstica à arquitetura para avaliar a robustez. Os autores enfatizam que o DMOC não é meramente um substituto para constantes de Lipschitz, mas um refinamento que captura a regularidade intrínseca aos dados.

O trabalho posiciona o DMOC primariamente como uma ferramenta de diagnóstico post-hoc. Demonstra que os perfis de DMOC podem distinguir automaticamente entre estados de treinamento (subajuste, sobreajuste, bem ajustado) e fornecer limites de Lipschitz rigorosos. Os autores notam modestamente que, embora a estrutura seja teoricamente aplicável a representações latentes em transformers, isso ainda não foi explorado empiricamente. Eles também identificam a limitação atual de usar o DMOC apenas para diagnóstico, sugerindo que incorporá-lo ao treinamento via regularização é uma direção natural para trabalhos futuros.