Riepilogo Tecnico: Deep Probabilistic Supervision (DPS) per la Classificazione di Immagini

1. Definizione del Problema

Le reti neurali profonde per la classificazione di immagini vengono tipicamente addestrate utilizzando target rigidi (hard targets, codificati one-hot). Questo approccio scarta la "conoscenza oscura" (dark knowledge): l'informazione sfumata e specifica per ogni campione riguardante le somiglianze inter-classe e le ambiguità (ad esempio, la differenza tra classificare erroneamente un cane come un gatto rispetto a un teiera). Fare affidamento esclusivamente su target rigidi promuove l'overconfidence (eccessiva fiducia), limita la calibrazione e riduce la robustezza, particolarmente in presenza di rumore nelle etichette.

Gli esistenti metodi di auto-distillazione tentano di recuperare la conoscenza oscura sfruttando le predizioni dello stesso modello. Tuttavia, gli approcorsi attuali soffrono di diverse limitazioni:

• Dipendenza dai Target Rigidi: La maggior parte dei metodi incorpora ancora un termine di perdita derivato dalle etichette rigide originali, vincolando la capacità del modello di apprendere predizioni pienamente calibrate e sfumate.
• Mancanza di Modellazione dell'Incertezza: Non modellano esplicitamente l'incertezza predittiva, il che incide negativamente sulla calibrazione.
• Varianza e Instabilità: I metodi che si basano sulla coerenza per epoca o per mini-batch (ad esempio, Temporal Ensembling, DLB) possono introdurre varianza sotto data augmentation o fare affidamento su stati del modello quasi identici.
• Sensibilità al Rumore: Nei regimi sovra-parametrizzati, l'affidamento ai target rigidi può esacerbare i fenomeni di "doppia discesa" (double descent) in presenza di rumore nelle etichette.

2. Metodologia: Deep Probabilistic Supervision (DPS)

Gli autori propongono la Deep Probabilistic Supervision (DPS), un framework che costruisce distribuzioni di target specifiche per ogni campione tramite inferenza statistica sulle predizioni del modello stesso, operando indipendentemente dai target rigidi dopo l'inizializzazione.

Framework Core: Stima Bayesiana Ricorsiva

DPS inquadra l'addestramento come un problema di Stima Bayesiana Ricorsiva. La rete neurale è trattata come un "sensore" che osserva la vera distribuzione delle classi di un input $x_i$.

1. Variabile Latente: Una variabile di classe latente $z_i$ è modellata con una distribuzione categorica $z_i \sim \text{Cat}(y_i)$, dove $y_i$ rappresenta le vere probabilità di classe.
2. Prior: Viene utilizzata una prior di Dirichlet $y_i \sim \text{Dir}(\alpha_i)$. I parametri iniziali $\alpha^0_i$ sono impostati sulla base dell'etichetta rigida (alta concentrazione sulla classe etichettata, bassa sulle altre) per stabilire una credenza a priori.
3. Likelihood: La predizione del modello $\hat{y}^t_i$ all'epoca $t$ è trattata come una misurazione rumorosa (evidenza) con una verosimiglianza proporzionale al prodotto delle probabilità di classe elevate alle potenze predette.
4. Aggiornamento della Posterior: La distribuzione a posteriori viene aggiornata accumulando evidenza. Per gestire la natura non stazionaria del rumore di misurazione (le predizioni migliorano man mano che l'addestramento procede), viene impiegato un modello Bayesiano scontato (discounted Bayesian model).

La Regola di Aggiornamento

La distribuzione del target viene aggiornata ricorsivamente utilizzando un fattore di sconto $\gamma \in [0, 1]$:
$$\alpha^t_i = \gamma \alpha^{t-1}_i + \hat{y}^t_i$$
Ciò porta alla regola di aggiornamento del target:
$$y^t_i = \frac{\gamma A^{t-1}_i}{\gamma A^{t-1}_i + 1} y^{t-1}_i + \left(1 - \frac{\gamma A^{t-1}_i}{\gamma A^{t-1}_i + 1}\right) \hat{y}^t_i$$
dove $A^t_i$ è la somma dei parametri di Dirichlet.

• Meccanismo: All'inizio dell'addestramento, la prior domina. Man mano che l'addestramento procede, le predizioni recenti (che sono più accurate) sono pesate più pesantemente, mentre l'evidenza più vecchia e rumorosa viene "dimenticata" tramite il fattore di sconto $\gamma$.
• Indipendenza: Dopo l'inizializzazione, la distribuzione del target evolve esclusivamente in base alle predizioni del modello e all'aggiornamento Bayesiano, disaccoppiando il processo di apprendimento dalle etichette rigide originali.

Relazione con i Metodi Esistenti

Gli autori dimostrano che DPS unifica e generalizza diversi metodi esistenti:

• Addestramento Convenzionale: Corrisponde a $\gamma \to 0$ e a una concentrazione infinita della prior (fissando il target).
• Label Smoothing: Approssimato quando $\gamma$ è vicino a 1 e inizializzato in un punto fisso specifico con $\epsilon$ non nullo.
• PS-KD / DLB: Recuperati impostando $\gamma = 0$ (utilizzando solo l'ultima predizione recente) o applicando gli aggiornamenti a livello di mini-batch.
• Temporal Ensembling (TE): Corrisponde a una prior impropria con un peso esplicito.

3. Contributi Chiave

1. Framework Innovativo: Introduzione di DPS, un framework leggero e principato per la costruzione di distribuzioni di target sfumate che opera indipendentemente dai target rigidi dopo l'inizializzazione.
2. Formalizzazione Teorica: La prima formalizzazione teorica della "conoscenza oscura" come decomposizione dell'output della rete in componenti inter-classe ($\mu_k$) e specifiche per il campione ($\delta(x_i)$), dimostrando che DPS cattura entrambi.
3. Superiorità Empirica: Esperimenti estesi che dimostrano come DPS superi i metodi di auto-distillazione esistenti e la distillazione della conoscenza convenzionale in termini di generalizzazione e calibrazione.
4. Robustezza: Dimostrazione del fatto che DPS fornisce robustezza contro corruzioni dei dati, perturbazioni e rumore nelle etichette, mitigando specificamente il fenomeno della "doppia discesa" (double descent) per epoca.

4. Risultati Sperimentali

Gli autori hanno valutato DPS su CIFAR-10, CIFAR-100, TinyImageNet e ImageNet utilizzando architetture ResNet, DenseNet e ViT.

Generalizzazione e Accuratezza

• Guadagni di Performance: DPS produce costantemente un'accuratezza di test più elevata. Ad esempio, su ImageNet con DenseNet-264, DPS ha migliorato l'accuratezza di +2.0% rispetto al baseline e di +1.0% rispetto al miglior metodo di auto-distillazione.
• Confronto: DPS supera la conoscenza della distillazione convenzionale e si avvicina alle prestazioni degli ensemble di modelli.

Calibrazione

• Riduzione dell'ECE: DPS riduce significativamente l'Errore di Calibrazione Atteso (ECE). Su CIFAR-100 con ResNet-50, l'ECE è stato ridotto del 40% rispetto al miglior metodo di auto-distillazione e di oltre il 60% rispetto al baseline.
• NLL: La Negative Log Likelihood (NLL) è stata ridotta di oltre il 70% per le reti convoluzionali rispetto al baseline.
• Affidabilità: I diagrammi di affidabilità mostrano che le curve di DPS sono quelle più vicine alla diagonale, indicando una stima della probabilità superiore.

Robustezza al Rumore e alle Corruzioni

• Rumore nelle Etichette: Sotto il 20% di rumore simmetrico e asimmetrico nelle etichette, DPS ha ottenuto risultati allo stato dell'arte tra i metodi a singolo network. In particolare, ha appiattito la curva della doppia discesa osservata in altri metodi, indicando un processo di apprendimento più stabile.
• Corruzioni: Su CIFAR-10-C (corruzioni) e CIFAR-10-P (perturbazioni), DPS ha ottenuto l'accuratezza più alta e il minor Mean Flip Probability (mFP) tra tutte le architetture.
• Augmentation: Quando combinato con CutOut e CutMix, DPS ha costantemente superato i baseline e DLB, con guadagni fino a 4.1 punti percentuali su CIFAR-100.

Ablation e Analisi

• Iperparametri: Il fattore di sconto $\gamma$ e la concentrazione della prior $c$ permettono di modulare il compromesso tra accuratezza e calibrazione. Una configurazione specifica ($\gamma=0.97, c=2000$) ha raggiunto un ECE dell'1.33% su CIFAR-100, sebbene con un leggero compromesso sull'accuratezza.
• Visualizzazione della Conoscenza Oscura: Le visualizzazioni hanno confermato che DPS promuove l'apprendimento di relazioni inter-classe significative (ad esempio, raggruppare animali) e di deviazioni specifiche per il campione in modo più efficace rispetto all'addestramento convenzionale.

5. Significato e Rivendicazioni

Il paper sostiene che DPS rappresenti un passaggio dall'auto-distillazione euristica a un approccio probabilistico fondato sui principi. Modellando esplicitamente l'incertezza predittiva e disaccoppiandosi dai target rigidi, DPS affronta le limitazioni fondamentali dell'overconfidence e della scarsa calibrazione nel deep learning.

Gli autori sottolineano che DPS:

• Fornisce stime di probabilità più fluide e robuste.
• Mitiga il fenomeno della doppia discesa sotto rumore nelle etichette.
• Raggiunge una robustezza allo stato dell'arte quando combinato con loss contrastive o tecniche di augmentation standard.
• Offre un'implementazione leggera con un overhead computazionale trascurabile ($O(BK)$ per batch) rispetto al passaggio forward-backward.

Il lavoro suggerisce che trattare il processo di addestramento come un problema di inferenza bayesiana, in cui le predizioni del modello stesso fungono da evidenza in evoluzione, sia una strategia superiore per ottenere modelli di deep learning calibrati, generalizzabili e robusti.