A Framework for Robust Lossy Compression of Heavy-Tailed Sources

Titolo: Un Framework per la Compressione con Perdita di Sorgenti a Coda Pesante (Heavy-Tailed)

1. Il Problema

La teoria della codifica sorgente (rate-distortion) e la quantizzazione sono fondamentali per la compressione dei dati. Storicamente, la distribuzione Gaussiana è stata il modello standard per le sorgenti continue grazie alla sua trattabilità analitica e al Teorema del Limite Centrale (CLT). Tuttavia, molti dati reali (segnali biologici, pesi nelle reti neurali, rumore in telecomunicazioni) seguono distribuzioni a coda pesante (heavy-tailed), meglio modellate dalle distribuzioni $\alpha$-stabili ($0 < \alpha < 2$).

Il problema centrale affrontato dagli autori è l'assenza di un approccio teorico unificato per la compressione di queste sorgenti:

• Le distribuzioni $\alpha$-stabili hanno momenti di ordine superiore al secondo infiniti (varianza infinita per $\alpha < 2$).
• Di conseguenza, l'errore quadratico medio (MSE), la misura di distorsione standard, non è applicabile o definita.
• Le misure alternative esistenti (come MAE o MSRAE) hanno limiti: sono valide solo per intervalli specifici di $\alpha$ o presentano discontinuità quando $\alpha$ varia.

L'obiettivo è definire una misura di distorsione appropriata e derivare la funzione rate-distortion ottimale per sorgenti $\alpha$-stabili, sia scalari che vettoriali.

2. Metodologia

Gli autori propongono un nuovo framework basato sul concetto di "Strength" (Potenza/Forza) dell'errore, introdotto in lavori precedenti [30, 31].

• Misura di Distorsione (Strength): Invece dell'MSE, la distorsione è misurata dalla "strength" dell'errore $s_\alpha(X - \hat{X})$. Questa è definita come il valore scalare $s$ tale che l'entropia differenziale dell'errore normalizzato non superi l'entropia di una variabile di riferimento $\alpha$-stabile standard $\tilde{Z}_\alpha$.
  • Per $\alpha=2$ (Gaussiana), la strength coincide con la deviazione standard.
  • Per $\alpha=1$ (Cauchy), la strength è legata all'aspettazione logaritmica di una funzione razionale.
• Generalizzazione: Il framework non si basa sulla convessità della misura di strength (che è difficile da dimostrare per PDF $\alpha$-stabili senza forma chiusa), ma sfrutta la proprietà che le distribuzioni $\alpha$-stabili massimizzano l'entropia sotto vincoli di strength.
• Quantizzazione: Viene sviluppato un algoritmo iterativo (simile a Lloyd-Max) per progettare quantizzatori ottimali che minimizzano la strength dell'errore, determinando sia le regioni di quantizzazione che i punti di rappresentazione.
• Analisi High-Rate: Viene studiata l'asintotica dei quantizzatori uniformi e non uniformi quando il numero di livelli di quantizzazione tende all'infinito (alta velocità di bit).

3. Contributi Chiave

Il lavoro presenta quattro contributi principali:

1. Generalizzazione della Funzione Rate-Distortion: Derivano la funzione rate-distortion $R(D)$ per tutte le distribuzioni $\alpha$-stabili simmetriche (scalari e vettoriali), mostrando che è logaritmica nel rapporto tra la strength della sorgente e la distorsione ammissibile.
2. Estensione ai Vettori: Estendono i risultati a sorgenti vettoriali $\alpha$-stabili, considerando sia il caso "sub-Gaussiano" (vettori con componenti Gaussiane scalate da una variabile stabile) sia vettori con componenti indipendenti.
3. Framework per la Quantizzazione Ottimale: Propongono un algoritmo sistematico per progettare quantizzatori "strength-ottimali". Dimostrano che questo approccio supera i limiti delle misure basate su momenti frazionari (come MAE) e fornisce punti di rappresentazione ottimali per sorgenti a coda pesante.
4. Ottimalità Asintotica dei Quantizzatori Uniformi: Analizzano il regime ad alta velocità e dimostrano che, sotto la misura di distorsione strength, i quantizzatori uniformi sono asintoticamente ottimali. Non vi è un vantaggio significativo nell'usare quantizzatori non uniformi rispetto a quelli uniformi, analogamente al caso Gaussiano, sebbene il costo in termini di bit sia maggiore per le sorgenti a coda pesante.

4. Risultati Principali

• Funzione Rate-Distortion: Per una sorgente scalare simmetrica $\alpha$-stabile $X$ con strength $s_\alpha(X)$, la funzione rate-distortion è:
  $$R(D) = \max \left\{ \log \left[ \frac{s_\alpha(X)}{D} \right], 0 \right\}$$
  Questo risultato generalizza il caso Gaussiano ($\alpha=2$) e il caso Cauchy ($\alpha=1$).
• Quantizzazione Ottimale: L'algoritmo proposto trova i punti di quantizzazione ottimali. Per una sorgente Cauchy, i punti di rappresentazione ottimali non sono equidistanti come nel caso Gaussiano, ma si adattano alla coda pesante.
• Confronto Gaussiano vs. Cauchy:
  • Per ottenere la stessa qualità di quantizzazione (stessa distorsione strength), una sorgente Cauchy richiede un numero di punti di rappresentazione (e quindi bit) significativamente superiore rispetto a una sorgente Gaussiana con la stessa scala.
  • L'analisi numerica mostra che la convergenza verso il limite teorico è più lenta per le distribuzioni a coda pesante.
• Applicazione ai Canali di Comunicazione: In un canale con rumore additivo Cauchy, l'uso di un quantizzatore basato sulla strength migliora l'informazione mutua rispetto a quantizzatori ottimizzati per momenti assoluti ($p$-norm) o per la massima entropia in uscita (MOE), specialmente quando l'input è quantizzato.
• Regime High-Rate: È stato dimostrato analiticamente che per $\Delta \to 0$ (intervallo di quantizzazione piccolo), la strength dell'errore di un quantizzatore uniforme è proporzionale a $\Delta$, con una costante di proporzionalità $s_\alpha(U)$ dipendente dalla distribuzione uniforme di riferimento.

5. Significato e Implicazioni

Questo lavoro è significativo per diversi settori:

• Teoria dell'Informazione: Colma una lacuna teorica fornendo un trattamento unificato per la compressione di sorgenti con momenti infiniti, estendendo i risultati classici di Shannon e Rate-Distortion.
• Elaborazione dei Segnali e Comunicazioni: Offre un metodo rigoroso per progettare convertitori analogico-digitale (ADC) e sistemi di compressione per dati reali che non seguono la Gaussiana (es. rumore atmosferico, segnali finanziari, dati di reti neurali).
• Machine Learning: Dato che i pesi delle reti neurali mostrano spesso proprietà a coda pesante, questo framework suggerisce che le tecniche di quantizzazione standard (ottimizzate per MSE) potrebbero essere subottimali per la compressione di modelli di grandi dimensioni (LLM), e che approcci basati sulla "strength" potrebbero migliorare l'efficienza.
• Praticità: La dimostrazione che i quantizzatori uniformi rimangono ottimali in regime ad alta velocità semplifica l'implementazione hardware, anche se richiede un aumento della risoluzione (più bit) per compensare le code pesanti.

In sintesi, il paper stabilisce che, sebbene le sorgenti a coda pesante richiedano un costo di compressione maggiore rispetto alle sorgenti Gaussiane per una data qualità, è possibile definire limiti fondamentali precisi e progettare quantizzatori efficienti utilizzando la misura di "strength" come metrica di distorsione.