Lattice theory and algebraic models for deep convolutional learning based on mathematical morphology

Sintesi Tecnica: Teoria dei Reticoli e Modelli Algebrici per l'Apprendimento Convoluzionale Profondo Basato sulla Morfologia Matematica

Enunciazione del Problema
Il lavoro affronta la mancanza di un quadro algebrico rigoroso per comprendere la struttura interna delle reti neurali convoluzionali profonde (CNN), delle ResNet e delle architetture encoder–decoder come UNet. Sebbene gli approcci esistenti utilizzino la geometria tropicale (per le reti ReLU), l'analisi armonica (per il bias spettrale) o la teoria delle categorie (per la struttura compositiva), essi spesso mancano di una fondazione operatoriale unificata basata sulle proprietà algebriche specifiche delle operazioni impiegate. Il problema centrale consiste nel determinare se le pipeline standard delle CNN (convoluzione lineare + ReLU + max-pooling) possiedano le proprietà algebriche degli operatori morfologici (in particolare le adjunzioni e l'idempotenza) e, in caso contrario, di identificare le precise ragioni algebriche del loro comportamento e proporre alternative teoricamente coerenti.

Metodologia
L'autore impiega la Morfologia Matematica e la Teoria dei Reticoli come principali strumenti analitici. Il motore teorico fondamentale è la teoria della rappresentazione universale di Matheron–Maragos–Banon–Barrera (MMBB), che caratterizza gli operatori invarianti per traslazione (TI) su reticoli completi.

La metodologia procede attraverso i seguenti passaggi:

1. Identificazione del Reticolo: Il lavoro mappa le operazioni standard di deep learning su reticoli completi specifici. Si distingue tra il reticolo puntuale $(\text{Fun}(E, \mathbb{R}), \leq)$, il semireticolo inf di Fourier $(L_n, \leq_F)$ e il semireticolo inf mediano $(\text{Fun}(E, \mathbb{R}), \preceq)$.
2. Classificazione degli Operatori: Le operazioni standard (convoluzione, ReLU, max-pooling) sono analizzate come operatori morfologici (erosioni, dilatazioni, aperture, chiusure) all'interno di questi reticoli.
3. Analisi delle Adjunzioni: Il lavoro indaga se coppie di operazioni formino delle adjunzioni (connessioni di Galois). Esamina specificamente la natura "cross-lattice" delle CNN standard, dove la convoluzione agisce come un'erosione nel reticolo di Fourier, mentre il pooling agisce come una dilatazione nel reticolo puntuale.
4. Teoria dei Punti Fissi e dell'Idempotenza: Il lavoro analizza le proprietà di convergenza delle architetture stratificate. Definisce l'idempotenza ($\Phi \circ \Phi = \Phi$) come la caratteristica definitoria delle aperture morfologiche e verifica se i livelli standard e proposti soddisfino tale condizione.
5. Costruzione Algebrica: Sulla base dell'analisi, il lavoro costruisce nuovi progetti di livelli (Tipo I, II, III) che aderiscono strettamente ai principi della teoria dei reticoli, garantendo l'idempotenza e adjunti ben definiti.

Contributi Chiave

• C1. Equivalenza dell'Algebra Max-Times: Il lavoro stabilisce l'adjunzione max-times (funzioni di strutturazione moltiplicative) come un'adjunzione morfologica canonica per le mappe di caratteristiche positive (ad esempio, post-softmax). Ne dimostra l'equivalenza algebrica con l'adjunzione classica max-plus tramite l'isomorfismo log/exp.
• C2. Rappresentazione di Banon–Barrera per Operatori Segnati: L'autore estende il quadro MMBB agli operatori non crescenti (essenziali per i kernel CNN con segno) utilizzando la decomposizione sup-generante di Banon–Barrera (1993). Questa decompone qualsiasi operatore TI in un supremo di combinazioni inf di erosioni e anti-dilatazioni.
• C3. Base Morfologica della Convoluzione: Il lavoro caratterizza la base morfologica di un kernel di convoluzione $k$ come isomorfa all'iperpiano ortogonale a $k$ in $\mathbb{R}^N$. Introduce la matrice caratteristica $A_k$ e il concetto di base virtuale per segnali quantizzati, fornendo una rappresentazione algebrica esatta per reti binarie e a basso numero di bit.
• C4. Struttura Cross-Lattice delle CNN Standard: Una scoperta principale è che la pipeline CNN standard (Convoluzione + ReLU + Max-Pooling) è un operatore cross-lattice. La convoluzione è un'erosione nel reticolo di Fourier, mentre il max-pooling è una dilatazione nel reticolo puntuale. Di conseguenza, la loro composizione non è un'apertura morfologica in nessuno dei due reticoli e non è idempotente. Questa non-idempotenza è identificata come la fonte algebrica del potere rappresentativo della profondità nelle CNN standard.
• C5. Non-Località dell'Adjunto di ReLU: Il lavoro dimostra che l'adjunto superiore di ReLU nel reticolo puntuale è un operatore globale (non locale) (identità sulle funzioni globalmente non negative, $-\infty$ altrimenti). Ciò implica che nessuna erosione morfologica locale può formare una coppia di adjunzione con ReLU, spiegando perché ReLU non può far parte di un'apertura morfologica standard.
• C6. Fattorizzazione Dilation–Pooling (APD): Il lavoro unifica ReLU e il max-pooling decimato in un singolo operatore di dilatazione, $\Psi^{\text{APD}}_{R;\alpha}$. Ne deriva l'adjunto globale corretto per questo operatore, che consiste in un campionamento a passo costante a tratti seguito da uno spostamento di bias.
• C7. Operatori Auto-Duali e Attivazioni Segnate: L'autore introduce il semireticolo inf mediano e gli operatori auto-duali (erosioni e aperture che commutano con la negazione). Ciò fornisce un quadro matematicamente coerente per le mappe di caratteristiche con segno (ad esempio, i residui di ResNet), dove il ReLU standard fallisce nel preservare la dualità del reticolo.
• C8. Tre Progetti di Livelli Idempotenti: Il lavoro identifica e caratterizza tre famiglie di livelli simili alle CNN che sono genuine aperture morfologiche:
  • Tipo I: Puro livello morfologico max-plus (reticolo puntuale).
  • Tipo II: Livello di Wiener spettrale (reticolo di Fourier, idempotente nel limite $\epsilon \to 0$).
  • Tipo III: Apertura auto-duale (reticolo mediano).

Risultati e Proposte Architettoniche

• Convergenza delle ResNet Morfologiche: Per i livelli di Tipo I, il lavoro dimostra che l'iterazione del livello converge a un punto fisso in un singolo passo a causa dell'idempotenza. Al contrario, un'iterazione residua ingenua $\Phi(f) + f$ (senza la specifica approssimazione $F \approx \gamma - \text{id}$) diverge.
• Architettura UResNet: Il lavoro propone UResNet, una modifica di UNet in cui le connessioni skip trasportano il residuo top-hat ($f - \gamma(f)$) anziché le caratteristiche concatenate. Questo progetto permette al decoder di ottenere una ricostruzione esatta scala per scala dell'input dell'encoder compensando algebricamente le informazioni perse durante l'apertura morfologica.
• Insiemi di Punti Fissi: Il lavoro caratterizza gli insiemi di punti fissi di questi livelli. Per il Tipo I, l'insieme è l'immagine dell'apertura. Per il Tipo III (auto-duale), l'insieme dei punti fissi è chiuso rispetto alla negazione, rendendolo adatto a distribuzioni di dati simmetriche.
• Pooling e Piramidi: Il max-pooling, la convoluzione con passo e la piramide di Laplace sono unificati sotto la teoria delle piramidi adjoint di Goutsias–Heijmans, mostrando che sono tutti casi di coppie di erosione-dilatazione adjoint in reticoli appropriati.

Significato e Affermazioni

Il lavoro afferma di fornire il contenuto operatoriale specifico del reticolo che attualmente manca sia agli approcci categorici che a quelli computazionali al deep learning. Il suo significato risiede in:

1. Spiegazione Algebrica della Profondità: Fornisce una ragione algebrica precisa del perché le CNN standard siano potenti: i loro livelli non sono idempotenti perché sono composizioni cross-lattice. La profondità introduce un genuino potere rappresentativo proprio perché la composizione non è una semplice proiezione.
2. Linguaggio Unificato: Offre un linguaggio unificato per analizzare CNN, ResNet e UNet in termini di operatori di reticolo, adjunzioni e basi morfologiche, indipendentemente dal fatto che il praticante utilizzi esplicitamente livelli morfologici.
3. Fondamento Teorico per Nuove Architetture: Propone nuove architetture (APMO, UResNet) che sono teoricamente ben fondate, offrendo alternative ai progetti standard che garantiscono proprietà di idempotenza e ricostruzione esatta.
4. Chiarificazione di ReLU: Dimostra rigorosamente che ReLU è una chiusura (non una dilatazione nel senso max-plus) con un adjunto non locale, distinguendola dalle dilatazioni morfologiche standard e spiegando i limiti nella formazione di adjunzioni con essa.

Il lavoro afferma esplicitamente di non progettare, addestrare o valutare computazionalmente nuovi livelli; piuttosto, fornisce il quadro algebrico che sottende sia le reti neurali morfologiche che le architetture profonde standard viste attraverso una lente morfologica. Posiziona l'apprendimento delle basi morfologiche come un processo implicito nell'addestramento standard, dove la discesa del gradiente seleziona un bacino di attrazione nello spazio delle funzioni di strutturazione.