A Fiber Criterion for Representation Identifiability in Supervised Learning

Sintesi Tecnica: Un Criterio di Fibra per l'Identificabilità della Rappresentazione nell'Apprendimento Supervisionato

Enunciato del Problema
Nell'apprendimento supervisionato, i modelli vengono tipicamente valutati in base al loro comportamento input-output (accuratezza predittiva o rischio). Tuttavia, i modelli moderni sono spesso interpretati non solo come predittori, ma come apprendenti di rappresentazioni, dove la mappatura interna $h$ si pretende possedere specifiche proprietà strutturali quali compressione, invarianza, disincanto (disentanglement) o accessibilità semantica. Il documento identifica una lacuna fondamentale: l'evidenza supervisionata vincola il predittore composito $f = c \circ h$ (dove $h$ mappa gli input in rappresentazioni e $c$ mappa le rappresentazioni in output), ma non determina necessariamente la specifica fattorizzazione $(h, c)$ che lo realizza.

Due fattorizzazioni distinte possono indurre esattamente lo stesso predittore $f$ pur possedendo rappresentazioni interne sostanzialmente diverse. Ad esempio, una rappresentazione potrebbe scartare informazioni di disturbo (nuisance) mentre un'altra le conserva; una potrebbe essere compressa mentre un'altra non lo è. Il documento formalizza la domanda: Quali proprietà della rappresentazione interna $h$ sono unicamente determinate dal predittore indotto $c \circ h$? Gli autori sostengono che, senza assunzioni aggiuntive, molte comuni affermazioni a livello di rappresentazione non sono identificabili dalla sola condotta predittiva supervisionata.

Metodologia e Quadro Teorico
Il documento affronta questo problema attraverso un quadro formale di identificabilità basato sul concetto di fibre nello spazio delle coppie rappresentazione-testa.

1. Equivalenza del Predittore e Fibre:
   Sia $\mathcal{M}$ una classe di coppie rappresentazione-testa ammissibili. Il documento definisce una mappa di proiezione $\Pi: \mathcal{M} \to \Pi(\mathcal{M})$ dove $\Pi(h, c) = [c \circ h]_{P_X}$, ovvero il predittore indotto identificato fino all'uguaglianza quasi sicuramente rispetto a $P_X$.

   • Due coppie $(h, c)$ e $(\tilde{h}, \tilde{c})$ sono predittore-equivalenti se inducono lo stesso predittore ($c \circ h = \tilde{c} \circ \tilde{h}$ quasi sicuramente).
   • L'insieme di tutte le coppie che inducono lo stesso predittore forma una fibra di $\Pi$.

2. Il Criterio Fibra/Discesa (Fiber/Descent Criterion):
   Il risultato teorico centrale (Teorema 3.3) stabilisce una condizione necessaria e sufficiente per l'identificabilità della rappresentazione:

   • Una proprietà della rappresentazione $P$ è identificabile dal predittore indotto se e solo se $P$ è costante su ogni fibra di $\Pi$.
   • Equivalentemente, $P$ deve "discendere" come una proprietà ben definita del predittore stesso. Se $P$ varia all'interno di una singola fibra (ovvero due fattorizzazioni producono lo stesso predittore ma hanno valori diversi per $P$), allora $P$ non può essere inferita dal predittore da solo.

3. L'Ostruzione dell'Augmentation (Augmentation Obstruction):
   Per dimostrare la non-identificabilità, il documento introduce una costruzione canonica chiamata augmentation preservante il predittore.

   • Data una fattorizzazione $(h, c)$ e una statistica ausiliaria $q(x)$, si può costruire una nuova rappresentazione $h_q(x) = (h(x), q(x))$ e una nuova testa $c_q(u, v) = c(u)$.
   • La nuova testa ignora la coordinata aggiunta $q$, garantendo che $c_q \circ h_q = c \circ h$ puntualmente. Il predittore e il rischio supervisionato rimangono invariati.
   • Tuttavia, la nuova rappresentazione $h_q$ può differire da $h$ in proprietà quali minimità, compressione, invarianza o accessibilità semantica.
   • Teorema 3.5 (Ostruzione dell'Augmentation): Se una classe di modelli $\mathcal{M}$ è chiusa rispetto all'augmentation preservante il predittore, qualsiasi proprietà della rappresentazione che cambia quando tale augmentation viene applicata non è identificabile dal predittore indotto (e di conseguenza non dal singolo rischio supervisionato).

4. Ripristinare l'Identificabilità:
   Il documento nota che l'identificabilità può essere ripristinata limitando la classe ammissibile $\mathcal{M}$ (ad esempio, tramite vincoli architettonici, bottleneck, bias induttivi) o arricchendo l'oggetto osservativo (ad esempio, aggiungendo perdite ausiliarie, molteplici ambienti, o misurazioni dirette).

Contributi Chiave

• Formalizzazione dell'Identificabilità della Rappresentazione: Il documento definisce l'identificabilità della rappresentazione rigorosamente in termini del predittore indotto, distinguendola dall'identificabilità statistica dei fattori generatori latenti.
• Il Criterio Fibra/Discesa: Fornisce un criterio matematico rigoroso (Teorema 3.3) affermando che una proprietà è identificabile se e solo se è costante sulle fibre della proiezione dalle fattorizzazioni ai predittori.
• Meccanismo di Ostruzione Generale: Identifica l'augmentation preservante il predittore come un testimone universale di non-identificabilità, applicabile a comuni desiderata tra cui minimità, compressione, invarianza, equivarianza, rimozione del disturbo e accessibilità semantica (Tabella 1).
• Diagnostica Empirica: Il documento fornisce due tipi di evidenza empirica:
  1. Testimoni Algebrici Esatti: Esperimenti su CelebA, CIFAR-10, STL-10, OfficeHome e PACS in cui informazioni ausiliarie (attributi semantici, embedding di trasformazione, etichette di dominio) vengono appese alle rappresentazioni. I risultati mostrano che, mentre il predittore rimane identico (disaccordo zero), le diagnostiche standard (accuratezza della sonda, distanza di invarianza, rango effettivo) cambiano drasticamente.
  2. Studio a Prestazioni Corrispondenti (Matched-Performance Study): Uno studio sul dataset Waterbirds che confronta modelli addestrati con diversi vincoli (ERM, Bottleneck, VIB, AugInv, SupCon) che raggiungono simili prestazioni supervisionate. I risultati mostrano che questi modelli selezionano diverse diagnostiche della rappresentazione (ad esempio, rango effettivo, decodificabilità del disturbo) nonostante abbiano errori e perdite comparabili.

Risultati

• Teorici: Il documento dimostra che proprietà come compressione, invarianza e accessibilità semantica non sono conseguenze della sola predizione supervisionata. Esse variano all'interno della fibra del predittore indotto, a meno che la classe ammissibile non sia ristretta.
• Empirici:
  • Negli esperimenti con testimoni esatti, l'aggiunta di una singola coordinata (ad esempio, un'etichetta di dominio) a una rappresentazione ha permesso a una sonda di decodificare tale informazione con un'accuratezza del 100%, mentre la rappresentazione originale non poteva farlo, nonostante l'output del predittore rimanesse invariato.
  • Nello studio Waterbirds, i modelli con accuratezza di test corrispondente hanno mostrato una divergenza significativa nelle proprietà della rappresentazione. Ad esempio, i metodi Information Bottleneck hanno selezionato rappresentazioni a rango estremamente basso (rango effettivo $\approx 1.8$) rispetto a ERM (rango effettivo $\approx 35.7$), mentre i metodi di invarianza all'augmentation hanno ridotto la sensibilità alle trasformazioni mantenendo un'alta decodificabilità del disturbo. Crucialmente, l'accuratezza sul gruppo peggiore (worst-group accuracy) non correlava monotonicamente con l'accuratezza della sonda del disturbo, indicando che le affermazioni a livello di rappresentazione richiedono giustificazioni specifiche oltre alla performance predittiva.

Significatività e Affermazioni
Il documento sostiene di chiarire la relazione logica tra il comportamento predittivo supervisionato e le proprietà delle rappresentazioni interne. Il suo contributo primario è un risultato negativo riguardo alla sufficienza dell'apprendimento supervisionato per le affermazioni sulla rappresentazione:

• Il comportamento predittivo supervisionato certifica una proprietà a livello di rappresentazione solo quando tale proprietà è determinata dal predittore indotto.
• Le affermazioni sulla compressione, l'invarianza o la struttura semantica non sono conseguenze automatiche di una bassa perdita supervisionata.
• Per giustificare tali affermazioni, è necessario fare affidamento su strutture aggiuntive oltre al predittore, come restrizioni architettoniche, regolarizzazioni, bottleneck, augmentation dei dati, obiettivi ausiliari, assunzioni causali o misurazioni dirette a livello di rappresentazione.

Il documento conclude che l'identificabilità della rappresentazione è condizionata dalla classe ammissibile di fattorizzazioni. Senza vincoli che restringano la fibra del predittore o selezionino rappresentanti specifici, la struttura interna di un modello supervisionato rimane sottodeterminata dal solo comportamento input-output.