Riepilogo Tecnico: Colmare la Similitudine Funzionale e Rappresentazionale tramite Informazioni Utilizzabili

Enunciato del Problema

Il campo dell'apprendimento profondo si affida pesantemente al confronto delle rappresentazioni neurali interne per comprendere come diversi sistemi elaborano le informazioni, trasferiscono conoscenze e organizzano strutture. Tuttavia, la letteratura attuale manca di un quadro unificato per definire e misurare la "somiglianza" tra rappresentazioni. Gli approcci esistenti sono tipicamente biforcati in due categorie scarsamente definite:

1. Somiglianza Funzionale: Valutare se le rappresentazioni supportano gli stessi comportamenti a valle (ad esempio, tramite il cucito dei modelli o sonde lineari).
2. Somiglianza Rappresentazionale: Valutare se le rappresentazioni codificano le informazioni di input nello stesso modo strutturale (ad esempio, tramite CKA, RSA o analisi di Procruste).

Questi concetti sono stati studiati in isolamento, portando a una disconnessione tra i metodi funzionali (che si concentrano sulle prestazioni del compito) e le metriche geometriche (che si concentrano sull'allineamento dello spazio delle caratteristiche). Inoltre, le metriche standard spesso mancano di una solida base teorica rigorosa riguardo a quali informazioni siano effettivamente confrontate o come la capacità dell'osservatore (il modello predittivo) influenzi la misurazione.

Metodologia

Gli autori propongono un quadro unificato fondato sulla Teoria delle Informazioni Utilizzabili (Xu et al., 2020). Questa teoria restringe il flusso di informazioni a una specifica "famiglia predittiva" $\mathcal{V}$, riconoscendo che non tutte le dipendenze statistiche in una rappresentazione sono sfruttabili da un modello a valle di capacità limitata.

Quadro Teorico

Il documento ridefinisce la somiglianza attraverso la lente dell'informazione mutua condizionata e dei mantelli di Markov:

• Somiglianza Funzionale: Due rappresentazioni $Z_1$ e $Z_2$ sono funzionalmente simili rispetto a un compito $Y$ se formano mantelli di Markov reciproci. Ciò implica $I(Y; Z_2 | Z_1) = I(Y; Z_1; Z_2) = 0$. Gli autori formalizzano il Cucito dei Modelli (Model Stitching) come meccanismo per stimare ciò: se $Z_1$ può essere cucito in $Z_2$ senza perdita di prestazioni, $Z_1$ contiene tutte le informazioni rilevanti per il compito di $Z_2$. Crucialmente, dimostrano che questa relazione è intrinsecamente asimmetrica; una somiglianza funzionale robusta richiede un cucito bidirezionale.
• Somiglianza Rappresentazionale: Definita come somiglianza funzionale dove il compito $Y$ è l'input $X$ stesso ($I(X; Z_2 | Z_1) = 0$). Ciò implica che le rappresentazioni contengono informazioni identiche sull'input.
• Gerarchia di Granularità: Gli autori stabiliscono una relazione monotona: la somiglianza su un compito complesso garantisce la somiglianza su qualsiasi compito derivato più grossolano. Di conseguenza, la somiglianza rappresentazionale (ricostruzione dell'input) è la condizione più forte, garantendo la somiglianza funzionale per tutti i compiti derivati.

Metodologia Empirica

Per validare queste affermazioni teoriche, gli autori hanno condotto un ampio studio empirico su larga scala che coinvolge:

• Scala: 58 modelli addestrati su 14 architetture distinte (inclusi Lineari, CNN come ResNet, DenseNet, ShuffleNet e MobileNet) e 6 dataset (MNIST, CIFAR-10/100, SVHN, Tiny-ImageNet, ImageNet).
• Confronti: 12.459 confronti distinti tra strato e strato.
• Famiglie di Cucitura: Lo studio ha utilizzato tre specifiche famiglie di cucitori (famiglie predittive $\mathcal{V}$) per testare l'impatto dell'espressività:
  1. Affine: Mappe lineari non vincolate.
  2. Ortogonale + Scalatura Isotropa: Vincoli simili a Procruste.
  3. Ortogonale: Vincoli di rotazione rigorosi.
• Metriche: Gli autori hanno confrontato le metriche standard (CKA, RSA, SVCCA) con i loro punteggi proposti basati sulle informazioni utilizzabili (errore di ricostruzione normalizzato).

Contributi Chiave

1. Quadro Unificato tramite Informazioni Utilizzabili: Il documento collega teoricamente il cucito dei modelli all'informazione mutua condizionata utilizzabile. Dimostra che la somiglianza funzionale non è una proprietà assoluta, ma è definita relativamente alla capacità della famiglia predittiva $\mathcal{V}$.
2. Reinterpretazione delle Metriche Standard: Gli autori mostrano empiricamente e teoricamente che le metriche geometriche standard (CKA, RSA, Procruste) non sono misure arbitrarie, ma specifici stimatori di informazioni utilizzabili sotto vincoli specifici (ad esempio, trasformazioni ortogonali).
3. La Gerarchia della Somiglianza:
   • Asimmetria: Dimostrano che il cucito è intrinsecamente asimmetrico; un singolo cucitore direzionale è insufficiente per affermare la somiglianza funzionale.
   • Sufficienza vs. Necessità: Dimostrano che la somiglianza rappresentazionale è una condizione sufficiente ma non necessaria per la somiglianza funzionale. Le rappresentazioni possono essere funzionalmente simili (risolvendo lo stesso compito) pur essendo rappresentazionalmente distinte (codificando diverse variabili di disturbo).
   • Granularità del Compito: Stabiliscono che la somiglianza rappresentazionale (ricostruzione dell'input) è il limite della massima granularità, garantendo la somiglianza funzionale per tutti i compiti più grossolani.

Risultati Sperimentali

• Asimmetria del Cucito: L'analisi di 12.459 coppie ha rivelato una distribuzione a coda pesante delle differenze di accuratezza tra cucitori in avanti e inversi, confermando che la somiglianza funzionale è frequentemente asimmetrica. Una rappresentazione contiene spesso le informazioni di un'altra senza che il contrario sia vero.
• Monotonia della Somiglianza Rappresentazionale: Lo studio ha validato che i punteggi di somiglianza rappresentazionale aumentano man mano che la famiglia predittiva diventa più espressiva. Rappresentazioni che appaiono distinte sotto vincoli rigidi di Procruste (Ortogonale) spesso appaiono quasi identiche sotto trasformazioni Affini più espressive.
• Allineamento delle Metriche: Le metriche standard hanno mostrato una forte correlazione con i punteggi proposti di informazioni utilizzabili. Nello specifico, CKA ($R^2=0,937$) e RSA ($R^2=0,912$) si sono allineati strettamente con la somiglianza rappresentazionale derivata dai cucitori Ortogonale + Scalatura, supportando l'ipotesi che queste metriche agiscano come proxy per le informazioni utilizzabili sotto specifici gruppi di trasformazioni.
• Validazione della Gerarchia: Utilizzando CIFAR-100 (classi fini vs. superclassi grossolane), gli autori hanno confermato che la somiglianza funzionale su un compito grossolano delimita costantemente dall'alto la somiglianza sul compito fine.
• Sufficienza della Somiglianza Rappresentazionale: Man mano che la somiglianza rappresentazionale si avvicinava a 1,0, la probabilità di somiglianza funzionale convergeva a 1,0. Tuttavia, è stata frequentemente osservata un'alta somiglianza funzionale anche con una bassa somiglianza rappresentazionale, confermando che la somiglianza rappresentazionale non è una condizione necessaria.

Significato e Affermazioni

Il documento afferma di risolvere la disconnessione tra somiglianza funzionale e rappresentazionale fondando entrambe sulla teoria delle informazioni utilizzabili. Gli autori sostengono che la somiglianza non è una proprietà intrinseca delle sole rappresentazioni, ma è relativa ai vincoli computazionali della famiglia predittiva utilizzata per confrontarle.

Unificando questi concetti, il documento fornisce una giustificazione teorica rigorosa del motivo per cui le metriche standard funzionano e in quali condizioni falliscono. Sposta il paradigma dalla ricerca di una metrica di somiglianza "universale" alla definizione esplicita della famiglia predittiva $\mathcal{V}$ che determina cosa significhi "simile" per una specifica applicazione. Il lavoro conclude che, mentre la somiglianza rappresentazionale garantisce la somiglianza funzionale su tutti i compiti, il contrario non è vero, evidenziando che i modelli possono ottenere prestazioni di compito identiche attraverso rappresentazioni interne fondamentalmente diverse.