Measuring the Symmetry--Data Exchange Rate

Problematica

La teoria dell'equivarianza prevede che l'incorporazione di un prior di simmetria architettonica (invarianza o equivarianza rispetto a un gruppo $G$) riduca la complessità campionaria di un fattore $|G|$. Sebbene ampiamente citata, questa previsione viene raramente misurata come una legge di scala con controlli che isolino il prior strutturale da fattori confondenti quali la riduzione della capacità effettiva, l'augmentation implicita dei dati o la regolarizzazione. La maggior parte degli studi empirici riporta gap di accuratezza a dimensioni campionarie fisse o rapporti di efficienza a singoli punti operativi, fallendo nel tracciare la legge di scala della complessità campionaria o nel separare l' "allineamento" (la simmetria corretta) dal "vincolo" (qualsiasi vincolo di forza simile). Il documento affronta questo gap metodologico: come convertire l'affermazione qualitativa "la struttura aiuta" in un tasso di scambio calibrato e falsificabile tra simmetria e dati.

Metodologia

Gli autori costruiscono un compito sintetico 2-D controllato dove il gruppo di simmetria è noto esattamente e il suo ordine $n$ è un parametro libero.

• Il Compito: Gli input sono campionati da un anello e etichettati in base a un pattern angolare alternato $1[\cos(n\theta) > 0]$. Il gruppo di simmetria è il gruppo ciclico $C_n$ (ordine $n$), con $n \in \{1, 2, 3, 4, 6, 8, 12\}$. Il compito è progettato per essere non banale, senza scorciatoie basate sulle coordinate.
• Famiglie di Modelli: Cinque famiglie di modelli condividono un'identica architettura fully-connected (1.185 parametri) per garantire una capacità corrispondente:
  1. Equivariante (Trattamento): Utilizza l'orbit pooling (media degli output di $n$ copie ruotate) per imporre l'invarianza $C_n$ per costruzione.
  2. Gruppo Sbagliato (Controllo): Utilizza la stessa architettura di orbit pooling ma con angoli di rotazione disallineati da un fattore irrazionale ($0,7\times$ il periodo corretto). Questo isola l' "allineamento" dal "vincolo" mantenendo identici l'ordine dell'orbita e il calcolo computazionale, ma distruggendo il match di simmetria.
  3. Augmented: Una rete non vincolata addestrata su tutte le $n$ copie ruotate (media dei logit nella loss) ma che utilizza un singolo passaggio forward al tempo di test.
  4. Vanilla: Una rete standard non vincolata.
  5. Regolarizzata: Una rete vanilla con weight decay L2 accoppiato ai gradi di libertà rimossi dall'orbit pooling.
• Metrica: Lo studio misura $N_{target}$, la dimensione campionaria minima richiesta affinché 3 seed su 5 raggiungano l'80% di accuratezza di validazione.
• L'Estimatore: Per affrontare il confondente per cui la difficoltà del compito aumenta con $n$ (rendendo i coefficienti assoluti positivi per tutti i modelli), gli autori introducono un tasso di scambio relativo $\beta_{diff}$. Questo è la pendenza di $\log_2(N_{vanilla}^{target} / N_{treatment}^{target})$ rispetto a $\log_2(n)$. Teoricamente, se la simmetria riduce la complessità campionaria di $|G|$, questa pendenza dovrebbe essere $+1$.
• Inferenza: Lo studio impiega un bootstrap a coppie non parametrico (10.000 campionamenti) e un bootstrap congiunto pairwise per i confronti tra trattamento e controllo. Una tassonomia dei fallimenti predefinita classifica i risultati (ad esempio: nessun vantaggio, collasso della regolarizzazione, spiegazione dell'augmentation o segnale genuino).

Contributi Chiave

1. Una Metodologia di Misurazione Priva di Confondenti: L'introduzione dell'estimatore del tasso di scambio relativo, che annulla la scalabilità condivisa della difficoltà del compito, permettendo di testare la previsione teorica di $|G|$. Questo è accoppiato a un controllo "gruppo sbagliato" per distinguere l'allineamento dal vincolo generico e a un bootstrap pairwise congiunto per gestire intervalli di confidenza sovrapposti.
2. Il Tasso Stimato: Sul compito controllato, il modello equivariante produce una stima puntuale di $\beta_{diff} = 1,28$. Questo è coerente con la previsione teorica di $1,0$ in segno e ordine di grandezza. Tuttavia, gli autori sottolineano che il valore numerico preciso è esplorativo; la direzione qualitativa è il risultato robusto.
3. Isolare l'Allineamento dal Vincolo: Il controllo "gruppo sbagliato" (orbita disallineata di identica dimensione) si rivela essere peggiore di un mancato vincolo ($\beta_{diff} \approx -0,77$), dimostrando che i prior strutturali disallineati sono attivamente dannosi, non semplicemente inutili.
4. Architettura vs. Augmentation: Lo studio trova che l'augmentation limitata al tempo di addestramento (senza media dell'orbita al tempo di test) non riesce a raggiungere l'accuratezza target dove il modello equivariante ha successo. Tuttavia, una replica su CPU mostra che l'aggiunta della media dell'orbita al modello augmented lo rende bit-identico al modello equivariante. Pertanto, il gap è condizionale su un calcolo asimmetrico al tempo di test, non su una superiorità incondizionata dell'architettura.
5. Riproducibilità: L'intero esperimento (5.600 run) è rilasciato con codice, hash di configurazione e tutti i record per ogni run, eseguibile in circa 90 minuti su una singola GPU.

Risultati

• Tasso di Scambio: L'estimatore primario produce $\beta_{diff} = 1,28$.
  • L'intervallo di confidenza (CI) del bootstrap percentile a singolo livello è $[+0,92, +2,05]$ (escludendo lo zero).
  • Il bootstrap a due livelli più conservativo (ricampionamento di seed e dimensioni del gruppo) produce un CI di $[-0,63, +1,72]$, che include lo zero.
  • Una replica su una griglia con spaziatura $\sqrt{2}$ ha prodotto un risultato inconcludente ($\beta_{diff} = -0,82$, CI ampio), evidenziando la sensibilità alla discretizzazione della griglia.
• Controlli:
  • Il controllo Gruppo Sbagliato è significativamente peggiore della baseline Vanilla nei confronti pairwise congiunti (CI $[+0,79, +3,26]$ per la differenza), confermando che il beneficio deriva dall'allineamento corretto, non solo dalla presenza di un vincolo.
  • La baseline Regolarizzata non mostra alcun vantaggio rispetto alla Vanilla ($\beta_{diff} \approx -0,04$), escludendo la riduzione dei gradi di libertà effettivi come meccanismo primario.
  • Il modello Augmented (solo tempo di addestramento) non raggiunge l'accuratezza target per $n \ge 3$, mentre il modello equivariante vi riesce.
• Robustezza: Il tasso relativo rimane stabile (mantenendo l'88–97% del suo valore pulito) quando fino al 30% delle etichette di addestramento è corrotto con rumore asimmetrico.

Significato e Rivendicazioni

Il documento si pone esplicitamente come uno studio esplorativo, non come una misurazione confermativa. Gli autori sono modesti nelle loro rivendicazioni:

• Nessuna Costante Universale: Il tasso riportato è una stima operativa condizionata a un compito specifico, un target di accuratezza e un modello di scaling, non una costante universale informazionale.
• Direzione Qualitativa: Il contributo primario è la direzione qualitativa (positiva, accordo di ordine di grandezza con la teoria) e il risultato del gruppo sbagliato (i vincoli disallineati sono dannosi). Il valore numerico preciso ($1,28$) non è rivendicato come una misurazione definitiva a causa della natura esplorativa dell'adozione dell'estimatore (post-hoc) e dell'inclusione dello zero nell'intervallo di confidenza più conservativo.
• Trasferibilità Metodologica: Il framework (estimatore del tasso relativo, controllo del gruppo sbagliato, bootstrap pairwise congiunto, tassonomia dei fallimenti) è presentato come uno strumento trasferibile per misurare la forza di qualsiasi bias induttivo parametrizzabile, non solo della simmetria.
• Limitazioni: Lo studio riconosce che il compito è sintetico e 2-D, la simmetria è esatta (non approssimata o latente) e il confronto con la teoria comporta un mismatch tra la teoria dei kernel/random-feature e le MLP ReLU a larghezza finita. Anche la rivendicazione "FLOP-neutral" è sfumata: sebbene i FLOP totali di addestramento siano approssimativamente pareggiati, il modello equivariante comporta un carico maggiore di calcolo e memoria per singolo campione.

Gli autori concludono che il risultato del "gruppo sbagliato" è il reperto più pulito e sicuro, mentre il numero principale richiede una futura replica registrata esternamente su nuovi seed per essere considerato confermativo.