Duality for the Adversarial Total Variation

Titel: Dualiteit voor de Adversariële Totale Variatie

Auteurs: Leon Bungert en Lucas Schmitt (Universiteit van Würzburg)
Datum: April 2026

1. Probleemstelling

Adversariële training (adversarial training) is een methode om machine learning-modellen, met name diepe neurale netwerken, robuuster te maken tegen kleine, zorgvuldig gekozen verstoringen van de invoer (adversariële aanvallen). Wiskundig wordt dit gemodelleerd als een robust optimalisatieprobleem:
$$\inf_{u \in H} \mathbb{E}_{(x,y) \sim \mu} \left[ \sup_{\tilde{x} \in B_\varepsilon(x)} \ell(u(\tilde{x}), y) \right]$$
waarbij $B_\varepsilon(x)$ een bal van straal $\varepsilon$ rond het datapunt $x$ is.

Een cruciale inzichten uit eerdere werken (zoals [8]) is dat dit probleem voor binaire classificatie kan worden herschreven als een regularisatieprobleem met een niet-lokale totale variatie (nonlocal total variation), aangeduid als $\nu\text{-}TV_\varepsilon(u)$. De uitdaging waar dit artikel op inzoomt, is het ontbreken van een rigoureuze wiskundige behandeling van de optimaliteitsvoorwaarden voor dit specifieke functionaal. In het bijzonder ontbreekt een duaal formulering en een karakterisering van de subdifferentiaal ($\partial TV_\varepsilon$), wat essentieel is voor het analyseren van oplossingen en het ontwikkelen van convergente optimalisatiealgoritmen (zoals primal-dual methoden).

De complexiteit ontstaat door de aanwezigheid van het supremum in de doelstelling, wat differentieerbaarheid vernietigt, en door de niet-lokale aard van de totale variatie, die afhankelijk is van waarden binnen een $\varepsilon$-omgeving in plaats van alleen lokale afgeleiden.

2. Methodologie

De auteurs gebruiken technieken uit de convexe analyse en dualiteitstheorie om het niet-lokale totale variatie functionaal te dualiseren. Ze benaderen het probleem in twee complementaire ruimtes, afhankelijk van de aard van de functieruimte en de referentiemaat:

1. Ruimte van continue functies ($C_0(X)$):

   • Context: $X$ is een proper metriek ruimte (gesloten en begrensde deelverzamelingen zijn compact).
   • Benadering: De auteurs gebruiken de meetbare maximumstelling (measurable maximum theorem) om een meetbare selector te construeren. Hierdoor kunnen ze het puntsgewijze maximum over een bal $B_\varepsilon(x)$ vertalen naar een maximum over een familie van kansmaten, oftewel een stochastische wandeling (random walk).
   • Techniek: Ze definiëren een niet-lokale gradiënt en divergentie die gekoppeld zijn via een integratie-by-parts formule. De testfuncties zijn hier families van kansmaten met specifieke ondersteuningscondities.

2. Ruimte van essentieel begrensde functies ($L^\infty(\Omega)$):

   • Context: $\Omega \subset \mathbb{R}^N$ is een open, begrensde en convexe domein. De data-verdelingen hebben dichtheden ten opzichte van het Lebesgue-maat.
   • Benadering: Omdat $L^\infty$ niet-separabel is en de set van testfuncties niet compact is (in de relevante topologie), kan de standaard meetbare maximumstelling niet direct worden toegepast. De auteurs passen een gegeneraliseerde meetbare maximumstelling toe voor gesloten-waardige correspondenties.
   • Techniek: Ze construeren een set van testfuncties in $L^1(\Omega \times \Omega)$ die gezamenlijk meetbaar zijn. Hierdoor kunnen ze de essentiele supremum/infimum dualiseren en een niet-lokale divergentie definiëren die werkt op $L^1$-functies in plaats van op maatstaven.

3. Belangrijkste Bijdragen en Resultaten

A. Duale Formuleringen

De auteurs leiden twee duale representaties af voor de adversariële totale variatie $TV_\varepsilon(u)$:

• Voor $C_0(X)$:
  $$TV_\varepsilon(u) = \max_{m \in \mathcal{M} \times \mathcal{M}} \left( - \int_X u \, d(\text{div}_\varepsilon^\varrho[m]) \right)$$
  Hierbij is $\mathcal{M}$ de verzameling van stochastische wandelingen (random walks) $m = \{m_x\}$ waarbij de steun van $m_x$ binnen $B_\varepsilon(x)$ ligt. $\text{div}_\varepsilon^\varrho[m]$ is een niet-lokale gewogen divergentie, gedefinieerd als een maatstaf.

• Voor $L^\infty(\Omega)$:
  $$TV_\varepsilon(u) = \sup_{\Psi \in \mathcal{P} \times \mathcal{P}} \left( - \int_\Omega u(x) \, \text{div}_\varepsilon[\Psi; \varrho](x) \, dx \right)$$
  Hierbij is $\mathcal{P}$ een verzameling van niet-negatieve $L^1$-functies op $\Omega \times \Omega$ met een steunconditie en een normalisatieconditie. De divergentie $\text{div}_\varepsilon$ is nu een $L^1$-functie.

B. Karakterisering van de Subdifferentiaal

De kern van het artikel is de karakterisering van de subdifferentiaal $\partial TV_\varepsilon(u)$, wat nodig is voor optimaliteitsvoorwaarden.

• In $C_0(X)$: De subdifferentiaal bestaat uit de niet-lokale divergenties van stochastische wandelingen die het maximum in de duale formule bereiken. Omdat de ruimte van wandelingen compact is (door Prokhorov's stelling), wordt het supremum bereikt.
  $$\mu^* \in \partial TV_\varepsilon(u) \iff \exists m \in \mathcal{M} \times \mathcal{M} : \mu^* = -\text{div}_\varepsilon^\varrho[m] \text{ en } TV_\varepsilon(u) = \int u d\mu^*$$

• In $L^\infty(\Omega)$: Vanwege het ontbreken van compactheid wordt het supremum niet noodzakelijk bereikt door een enkel element in de ruimte van testfuncties. De subdifferentiaal wordt gekarakteriseerd als de sluiting (closure) in de zwak-* topologie van de verzameling van niet-lokale divergenties.
  $$\mu^* \in \partial TV_\varepsilon(u) \iff \mu^* \in \overline{\{ -\text{div}_\varepsilon[\Psi; \varrho] : \Psi \in \mathcal{P} \times \mathcal{P} \}}^{w^*}$$
  De auteurs gebruiken netten (nets) in plaats van sequenties om deze sluiting te beschrijven, aangezien $L^\infty(\Omega)^*$ niet-separabel is.

C. Consistentie met Lokale Operatoren

De auteurs tonen aan dat hun gedefinieerde niet-lokale gradiënt en divergentie consistent zijn met de klassieke lokale operatoren. Via een Taylor-ontwikkeling wordt bewezen dat bij $\varepsilon \to 0$ de niet-lokale divergentie convergeert naar de klassieke divergentie van een vectorveld (specifiek gerelateerd aan de anisotrope totale variatie).

4. Significatie en Toekomstperspectief

• Analytische Vooruitgang: Dit werk biedt de eerste rigoureuze duale karakterisering van de adversariële totale variatie. Dit vult een gat in de wiskundige theorie rondom adversariële training, die tot nu toe voornamelijk op numerieke benaderingen en heuristieken leunde.
• Algoritmische Implicaties: De duale formulering is de sleutel tot het toepassen van primal-dual algoritmen (zoals het algoritme van Chambolle-Pock) op het adversariële training-probleem. Net zoals bij het ROF-model voor beelddenoising, kunnen deze algoritmen nu worden toegepast op de niet-lokale totale variatie, wat leidt tot wiskundig gegarandeerd convergente methoden voor het trainen van robuuste modellen.
• Verbinding met Stochastische Processen: De link tussen adversariële training en stochastische wandelingen (random walks) biedt een nieuw perspectief om de geometrie van de beslissingsgrens te begrijpen.
• Toekomstig Onderzoek: De auteurs suggereren dat het mogelijk is om deze resultaten te generaliseren naar willekeurige referentiemaatstaven en om een puntsgewijze karakterisering van subgradienten te ontwikkelen via een niet-lokale versie van Anzellotti-pairings.

Conclusie:
Dit artikel legt de theoretische fundamenten voor het gebruik van convex-analytische methoden in adversariële training. Door de niet-lokale totale variatie te dualiseren en de subdifferentiaal te karakteriseren, openen de auteurs de deur voor nieuwe, wiskundig onderbouwde algoritmen die de robuustheid van machine learning-modellen kunnen verbeteren zonder te vertrouwen op black-box optimalisatie.