The Information-Theoretic Benefit of Shared Representations under Orthogonality Constraints

Sintesi Tecnica: Il Beneficio Informativo-Teoretico delle Rappresentazioni Condivise sotto Vincoli di Ortogonalità

Enunciato del Problema
Le moderne architetture di deep learning, in particolare i modelli fondazionali, si affidano sempre più a rappresentazioni condivise dove un unico backbone estrae caratteristiche per molteplici teste specifiche per il compito. Sebbene l'evidenza empirica suggerisca che l'apprendimento multi-task congiunto superi l'apprendimento separato per singolo compito, la rigorosa comprensione teorica della complessità parametrica dell'approssimazione congiunta rispetto a quella separata rimane limitata. Questa lacuna è particolarmente acuta quando i modelli devono soddisfare vincoli strutturali, come l'ortogonalità, che sono comuni nel machine learning scientifico (ad esempio, garantire leggi di conservazione o equivarianza). La questione centrale affrontata è se un'approssimazione congiunta di una funzione vettoriale $F = (f_1, \dots, f_M)$ possa ottenere un tasso di approssimazione strettamente migliore rispetto a $M$ approssimazioni separate dei suoi componenti, anche quando i componenti sono vincolati a essere ortogonali. Gli autori indagano questo problema nella norma uniforme ($L^\infty$), un regime critico per le applicazioni scientifiche dove le garanzie di errore devono valere per arbitrarie posizioni spaziali o temporali, indipendentemente dalle misure di campionamento.

Metodologia
Gli autori impiegano un framework informativo-teoretico basato sulla discretizzazione a bit finiti (teoria dei codec) per quantificare la lunghezza di descrizione necessaria per approssimare classi di funzioni. Costruiscono una specifica classe di funzioni vettoriali ortogonali progettata per isolare la complessità della caratteristica condivisa dalle letture specifiche per il compito.

1. Costruzione della Classe di Funzioni:

   • Caratteristica Condivisa: La difficoltà centrale è incorporata in una serie di wavelet di Rademacher-Haar scalare $g$. I coefficienti di questa serie formano un albero dicotomico di segni indipendenti, creando un target "difficile" per l'approssimazione uniforme, dove la coda non risolta trasporta la maggior parte della complessità.
   • Teste Ortogonali: Per imporre l'ortogonalità senza eliminare l'informazione condivisa, gli autori compongono $g$ con funzioni di Sawtooth-Walsh. Queste letture, $f_i$, sono mappe non lineari che decorrelano gli output (garantendo $\langle f_i \circ g, f_j \circ g \rangle = \delta_{ij}$) preservando al contempo la durezza dell'approssimazione all'interno della caratteristica condivisa $g$.
   • Composizione: La classe target è $\mathcal{F} = \{ (f_0 \circ g, \dots, f_{M-1} \circ g) \mid g \in \mathcal{G} \}$.

2. Schemi di Codifica:

   • Codifica Separata: $M$ coppie indipendenti encoder/decoder, ciascuna allocata un budget di bit $n_i$, che approssima singolarmente ogni coordinata $f_i \circ g$.
   • Codifica Congiunta: Una singola coppia encoder/decoder con un budget totale di bit $N = M \cdot \min(n_i)$ che approssima simultaneamente l'intera funzione vettoriale.

3. Realizzazione tramite Reti Neurali:

   • Per colmare il divario tra la teoria astratta dei codec e le reti neurali, gli autori costruiscono esplicite reti a attivazione Heaviside. Utilizzano la natura piecewise constant delle wavelet di Haar troncate e delle funzioni di Sawtooth-Walth.
   • La moltiplicazione puntuale (necessaria per la composizione $f_i \circ g$) è realizzata tramite un'approssimazione ricorsiva a onda triangolare (basata su Yarotsky, 2017), consentendo alla rete di approssimare il prodotto della coda della caratteristica condivisa e delle letture fisse.

Risultati Chiave
Il documento stabilisce una netta separazione nei tassi di approssimazione tra codifica congiunta e separata per la classe costruita:

• Gap Teorico (Teorema 8): Per una classe di $M$ funzioni ortogonali generate da una caratteristica condivisa di Rademacher-Haar, il rapporto tra l'errore di approssimazione ottimale separato e l'errore di approssimazione ottimale congiunto è limitato inferiormente da:
  $$\frac{\|F - \delta^{(S)}_D \circ \delta^{(S)}_E(F)\|_\infty}{\|F - \delta^{(J)}_D \circ \delta^{(J)}_E(F)\|_\infty} \geq \frac{M}{4} \cdot \frac{1 + 1/N}{1 + 2M^2/N}$$
  Asintoticamente, ciò produce un gap di ordine $M/4$. Questo dimostra che un codec separato deve codificare la caratteristica condivisa "difficile" $M$ volte (una per coordinata), mentre un codec congiunto la codifica una sola volta, indipendentemente dal vincolo di ortogonalità sugli output.

• Ottimalità del Troncamento: Gli autori dimostrano che il troncamento della serie di Rademacher-Haar è una mappa di discretizzazione a bit finiti ottimale per questa classe, fornendo limiti superiori ed inferiori espliciti con costanti esatte. Ciò evita la dipendenza da stime asintotiche di entropia metrica.

• Realizzazione tramite Reti Neurali (Corollario 19): La separazione è realizzata da reti neurali Heaviside esplicite. Un'architettura congiunta con un tronco condiviso (che codifica la caratteristica di Haar) e teste di lettura fisse raggiunge la stessa economia di bit del codec congiunto ottimale. Al contrario, $M$ reti separate con una lunghezza di descrizione totale corrispondente subiscono il degrado di ordine $O(M)$ nel tasso di approssimazione.

Significato e Rivendicazioni
Gli autori affermano di fornire il primo trattamento matematico rigoroso del beneficio delle rappresentazioni condivise da una prospettiva di teoria dell'approssimazione, specificamente sotto vincoli geometrici come l'ortogonalità.

• Confutazione degli Argomenti sulla Ridondanza: I risultati chiariscono che il vantaggio dell'apprendimento congiunto non è un semplice artefatto della media statistica, della ridondanza lineare o delle assunzioni distribuzionali. Inveve, il guadagno deriva strettamente dalla riduzione della complessità informativa ottenuta codificando una caratteristica latente condivisa una sola volta anziché $M$ volte.
• Compatibilità con l'Ortogonalità: Lo studio dimostra che i vincoli di ortogonalità, spesso visti come restrittivi, non precludono l'efficienza delle rappresentazioni condivise. Spostando il vincolo nelle letture non lineari, la caratteristica condivisa rimane l'unica fonte di durezza dell'approssimazione.
• Insight sui Modelli Fondazionali: Il lavoro offre una giustificazione teorica per l'architettura "tronco condiviso, molteplici teste" dei modelli fondazionali. Suggerisce che anche quando gli output devono soddisfare rigorosi vincoli fisici o geometrici (come l'ortogonalità), l'estrazione delle caratteristiche costose può essere ammortizzata tra i compiti, a condizione che i compiti condividano una struttura latente.

Il documento conclude con modestia, osservando che, sebbene il meccanismo sia dimostrato per questa specifica classe costruttiva (Rademacher-Haar con Sawtooth-Walsh), identificare se questo fattore di separazione $M$ persista per classi più ampie di reti neurali, caratteristiche più lisce o altri vincoli (ad esempio, l'equivarianza) rimane un problema aperto.