Resumo Técnico: Dualidade para a Variação Total Adversarial

1. Problema e Motivação

O artigo aborda o problema da treinamento adversarial em aprendizado de máquina, especificamente para classificadores binários. O treinamento adversarial visa melhorar a robustez de modelos contra pequenas perturbações maliciosas nos dados de entrada. Matematicamente, isso é formulado como um problema de otimização robusta:
$$\inf_{u \in H} \mathbb{E}_{(x,y) \sim \mu} \left[ \sup_{\tilde{x} \in B_\varepsilon(x)} \ell(u(\tilde{x}), y) \right]$$
onde $u$ é o classificador, $\mu$ é a distribuição dos dados, $B_\varepsilon(x)$ é uma bola de raio $\varepsilon$ (orçamento adversarial) e $\ell$ é a função de perda.

A literatura recente (especificamente [8]) estabeleceu que, no cenário de classificação binária não paramétrica, este problema pode ser reformulado como uma minimização de risco regularizada envolvendo uma Variação Total Não Local Adversarial ($\nu\text{-}TV_\varepsilon$):
$$\inf_{u} \mathbb{E}[|u(x) - y|] + \varepsilon \cdot \nu\text{-}TV_\varepsilon(u)$$
O funcional $\nu\text{-}TV_\varepsilon$ mede a "comprimento" não local da fronteira de decisão.

O Desafio: A compreensão matemática e a resolução algorítmica deste problema são difíceis devido à presença do supremo na função objetivo, que destrói a diferenciabilidade. Enquanto a Variação Total (TV) clássica possui uma formulação dual bem estabelecida (envolvendo campos vetoriais com divergência limitada), uma caracterização dual rigorosa para a Variação Total Adversarial Não Local ainda era um obstáculo. O objetivo deste trabalho é preencher essa lacuna utilizando técnicas de análise convexa não suave e dualidade.

2. Metodologia

Os autores utilizam ferramentas de análise convexa e teoria da medida para derivar representações duais do funcional de variação total não local. A metodologia é dividida em dois cenários principais, dependendo do espaço de funções considerado:

Cenário 1: Funções Contínuas ($C_0(X)$)

• Espaço Base: Espaço métrico próprio $X$ (onde subconjuntos fechados e limitados são compactos). O espaço de funções é $C_0(X)$ (funções contínuas que se anulam no infinito).
• Abordagem:
  1. Dualização do Máximo/Minimo: Os autores demonstram que o máximo (ou mínimo) de uma função contínua sobre uma bola $\varepsilon$ pode ser representado como o supremo (ou ínfimo) de integrais contra medidas de probabilidade.
  2. Teorema do Máximo Mensurável: Utilizam um teorema adaptado para extrair um "seletor mensurável" que define uma família de medidas de probabilidade dependente de $x$. Essa família é interpretada como uma caminhada aleatória (ou kernel de Markov) $m = \{m_x\}$.
  3. Operadores Não Locais: Definem um gradiente não local $\text{grad}_\varepsilon[u](x,y) = \frac{u(y)-u(x)}{\varepsilon}$ e um divergente não local ponderado $\text{div}^\varrho_\varepsilon[m]$.
  4. Fórmula de Integração por Partes: Estabelecem uma identidade de integração por partes entre o gradiente e o divergente, permitindo reescrever a TV como um problema de maximização sobre o conjunto de caminhadas aleatórias admissíveis.

Cenário 2: Funções Limitadas Essencialmente ($L^\infty(\Omega)$)

• Espaço Base: Domínio aberto $\Omega \subset \mathbb{R}^N$ com a medida de Lebesgue. O espaço de funções é $L^\infty(\Omega)$.
• Desafio Adicional: Em $L^\infty$, o supremo é essencial, não pontual. Além disso, o conjunto de funções teste não é compacto na topologia fraca-*, o que impede a aplicação direta do teorema do máximo mensurável clássico para obter um seletor que atinja o máximo.
• Abordagem:
  1. Dualização do Supremum Essencial: Representam o supremo essencial como um supremo sobre funções de teste em $L^1$.
  2. Aproximação e Regularização: Para lidar com a mensurabilidade conjunta necessária para a integração dupla, eles restringem inicialmente as funções teste a funções contínuas, utilizando técnicas de "apertamento" (squeezing) e molificação (mollification) para aproximar funções $L^1$ arbitrárias.
  3. Conjunto de Testes: O conjunto de funções teste torna-se um subconjunto de $L^1(\Omega \times \Omega)$, denotado por $\mathcal{P}$.
  4. Caracterização do Subdiferencial: Devido à falta de compacidade em $L^\infty$, o supremo na fórmula dual nem sempre é atingido por uma função específica. Em vez disso, o subdiferencial é caracterizado como o fecho (na topologia fraca-*) do conjunto dos divergentes não locais. Isso requer o uso de redes (nets) em vez de sequências para descrever a convergência.

3. Principais Contribuições e Resultados

A. Formulação Dual da Variação Total Adversarial

O artigo estabelece que a variação total não local pode ser escrita como um problema de otimização convexa-concava (saddle-point):

• Para $C_0(X)$:
  $$TV_\varepsilon(u) = \max_{m \in \mathcal{M}} \left( - \int_X u \, d(\text{div}^\varrho_\varepsilon[m]) \right)$$
  onde $\mathcal{M}$ é o conjunto de caminhadas aleatórias com suporte na bola $\varepsilon$.
• Para $L^\infty(\Omega)$:
  $$TV_\varepsilon(u) = \sup_{\Psi \in \mathcal{P} \times \mathcal{P}} \left( - \int_\Omega u \, \text{div}_\varepsilon[\Psi; \varrho] \, dx \right)$$
  onde $\Psi$ são funções em $L^1(\Omega \times \Omega)$ atuando como densidades de probabilidade condicional.

B. Caracterização do Subdiferencial

O resultado central é a caracterização do subdiferencial $\partial TV_\varepsilon(u)$, que é crucial para condições de otimalidade e algoritmos de otimização:

1. No caso $C_0(X)$: O subdiferencial consiste exatamente nos divergentes não locais de caminhadas aleatórias que atingem o máximo na fórmula dual. Isso fornece uma caracterização explícita e integral.
2. No caso $L^\infty(\Omega)$: O subdiferencial é caracterizado como o fecho fraco-* do conjunto de divergentes não locais. Os autores provam que qualquer subgradiente pode ser aproximado por uma rede de divergentes não locais.

C. Consistência com Operadores Locais

Os autores demonstram que, sob regularidade adequada ($u \in C^2$), os operadores não locais definidos (gradiente e divergente) convergem para os operadores diferenciais locais clássicos (gradiente e divergente ponderados) quando $\varepsilon \to 0$. Isso valida a nomenclatura "variação total" e conecta o modelo não local à teoria clássica de funções de variação limitada ($BV$).

D. Generalização de Teoremas de Análise

O trabalho inclui a prova de um Teorema do Máximo Mensurável Adaptado para correspondências de valor fechado (Apêndice A), necessário para lidar com a falta de compacidade no cenário $L^\infty$.

4. Significado e Impacto

1. Fundamentação Teórica: O artigo fornece a primeira caracterização rigorosa do subdiferencial da variação total adversarial não local. Isso é essencial para entender a estrutura das soluções do problema de treinamento adversarial, que antes era tratado principalmente de forma heurística ou numérica.
2. Potencial Algorítmico: A formulação dual é o pré-requisito fundamental para o desenvolvimento de algoritmos Primal-Dual (como o algoritmo de Chambolle-Pock) aplicados ao treinamento adversarial. Assim como a dualização da TV clássica permitiu algoritmos eficientes para remoção de ruído (modelo ROF), esta nova dualidade abre caminho para métodos de otimização escaláveis e convergentes para o treinamento de redes neurais robustas.
3. Ponte entre Teorias: O trabalho conecta a teoria de otimização robusta, análise não local e teoria de caminhadas aleatórias, oferecendo uma nova perspectiva sobre como a regularização de fronteira de decisão funciona em cenários adversariais.
4. Generalidade: Ao tratar tanto espaços de funções contínuas quanto $L^\infty$, o trabalho cobre tanto o cenário teórico ideal quanto o cenário prático onde os minimizadores do problema adversarial residem naturalmente.

Em resumo, este trabalho transforma o problema de treinamento adversarial de uma formulação de otimização não suave e difícil em um problema de estrutura convexa bem definida, permitindo a aplicação de ferramentas poderosas da análise convexa e da teoria de otimização não suave para resolver e analisar problemas de aprendizado de máquina robusto.