Sintesi Tecnica: Strutture di Proiezione Platonica (PPS)

Definizione del Problema

I moderni sistemi di apprendimento automatico vengono sempre più analizzati attraverso quantità osservabili quali distribuzioni di output, mappe di attribuzione e attivazioni di feature. Tuttavia, gli approcci esistenti spesso trattano questi osservabili come riflessi diretti e sufficienti delle sottostanti rappresentazioni latenti. Questa assunzione trascura la realtà secondo cui i sistemi di apprendimento pratici operano frequentemente sotto geometrie di osservazione ristrette, dove solo specifiche direzioni latenti contribuiscono al comportamento osservabile. Di conseguenza, la nozione di "osservabilità" nell'apprendimento delle rappresentazioni rimane solo parzialmente formalizzata. I metodi attuali di Explainable AI (XAI) e di analisi delle rappresentazioni spesso non tengono conto dei meccanismi strutturali che determinano cosa possa diventare osservabile in primo luogo, portando a potenziali interpretazioni errate di componenti latenti che sono strutturalmente inaccessibili dagli output.

Metodologia: Il Framework delle Strutture di Proiezione Platonica (PPS)

Il documento introduce le Strutture di Proiezione Platonica (PPS), un framework operatore-teorico che modella l'osservazione non come accesso diretto agli stati latenti, ma come un processo geometrico indotto da un operatore auto-aggiunto positivo semidefinito che agisce su uno spazio di Hilbert latente.

Formalismo Centrale

Un sistema in PPS è definito da una terna $(H, \Pi, O)$:

• $H$: Uno spazio di rappresentazione latente (spazio di Hilbert).
• $\Pi$: Un operatore di osservazione ($\Pi \succeq 0$), che è auto-aggiunto e positivo semidefinito.
• $O$: La quantità osservabile definita dal funzionale quadratico $O(v) = \langle v, \Pi v \rangle$.

Costrutti Teorici Chiave

1. Geometria del Quoziente e Indistinguibilità:
   L'operatore $\Pi$ induce una relazione di equivalenza $v_1 \sim_\Pi v_2 \iff v_1 - v_2 \in \ker(\Pi)$. Lo spazio osservabile effettivo è la geometria del quoziente $H/\ker(\Pi)$. Le componenti latenti contenute nel nucleo (kernel) di $\Pi$ sono strutturalmente inaccessibili; qualsiasi perturbazione all'interno di $\ker(\Pi)$ lascia invariato l'osservabile $O(v)$.

2. Interpretazione Spettrale:
   L'osservabilità è governata dallo spettro degli autovalori di $\Pi$. Grandi autovalori corrispondono a direzioni fortemente osservabili, mentre autovalori nulli definiscono direzioni strutturalmente non osservabili. La dimensione osservabile effettiva è determinata dal $\text{rank}(\Pi)$, non dalla dimensione ambiente dello spazio latente.

3. Corrispondenza Strutturale Unificata:
   Il framework pone un parallelo strutturale tra:

   • Misura Quantistica: Dove gli osservabili derivano da proiezioni ortogonali ($\Pi^2 = \Pi$) tramite la regola di Born.
   • Inferenza nel Deep Learning: Dove gli osservabili derivano da operatori positivi semidefiniti non idempotenti (ad esempio, $\Pi = W^\top W$ in readout lineari).
     In entrambi i casi, gli osservabili sono generati attraverso una struttura indotta dall'operatore piuttosto che tramite l'accesso diretto allo stato.

4. Trasferimento di Rappresentazione come Allineamento di Operatori:
   La distillazione della conoscenza e il trasferimento di rappresentazione vengono reinterpretati come la preservazione approssimativa della geometria osservabile. Date un operatore e un operatore docente $\Pi_T$ e un operatore studente $\Pi_S$ e una mappa di trasferimento $\Phi$, la compatibilità strutturale è definita dalla condizione di intreccio (intertwining condition):
   $$\Phi \Pi_T \approx \Pi_S \Phi$$
   Ciò sposta l'attenzione dal semplice accoppiamento delle distribuzioni di output all'allineamento delle geometrie di osservazione indotte.

Contributi Chiave

1. Formalizzazione dell'Osservabilità: Introduce la PPS come un framework operatore-teorico unificato per analizzare l'osservabilità mediata da proiezione, spostando l'attenzione dalle rappresentazioni latenti alla geometria indotta dall'operatore di osservazione.
2. Caratterizzazione del Quoziente e Spettrale: Caratterizza l'osservabilità attraverso la struttura del quoziente $H/\ker(\Pi)$ e le proprietà spettrali di $\Pi$, stabilendo che la dimensionalità osservabile effettiva è controllata dal rango (rank).
3. Limiti Strutturali dell'Interpretabilità: Dimostra che i metodi di interpretabilità basati sull'output (ad esempio, SHAP, LIME) sono strutturalmente limitati dalla geometria di osservazione. Le componenti latenti in $\ker(\Pi)$ sono fondamentalmente inaccessibili a tali metodi, indipendentemente dalla loro rilevanza causale per la dinamica interna del sistema.
4. Trasferimento Coerente con l'Operatore: Formula il trasferimento di rappresentazione come la preservazione approssimativa della geometria indotta dall'operatore, fornendo una definizione geometrica per la distillazione della conoscenza che vada oltre l'allineamento a livello di output.
5. Validazione Empirica: Fornisce esperimenti controllati che verificano tre previsioni fondamentali: l'osservabilità invariante rispetto al nucleo, la geometria osservabile controllata dal rango e il trasferimento di rappresentazione coerente con l'operatore.

Risultati Sperimentali

Gli autori hanno condotto esperimenti sintetici e semi-sintetici controllati per isolare gli effetti indotti dalla proiezione:

1. Osservabilità Invariante rispetto al Nucleo (Kernel-Invariant Observability):
   In uno spazio latente a 8 dimensioni con un operatore di osservazione di rango 4, le perturbazioni confinate in $\ker(\Pi)$ non hanno prodotto cambiamenti nelle quantità osservabili (fino alla precisione di macchina), mentre le perturbazioni in $\text{range}(\Pi)$ hanno indotto variazioni sistematiche. Inoltre, i metodi di attribuzione (SHAP) hanno assegnato importanza nulla alle dimensioni del nucleo quando il modello era vincolato al sottospazio osservabile, mentre i modelli non vincolati mostravano perdite (leakage).

2. Geometria Osservabile Controllata dal Rango (Rank-Controlled Observable Geometry):
   In un compito di classificazione sintetico con un rango del segnale intrinseco di 8, l'accuratezza predittiva è aumentata sistematicamente con il rango di $\Pi$, saturando vicino al rango del segnale intrinseco. Man mano che il rango aumentava, la perdita di attribuzione (attribution leakage) nel nucleo diminuiva e l'energia spettrale osservabile cumulativa catturava il segnale. Ciò ha confermato che il comportamento osservabile è governato dalla struttura spettrale di $\Pi$, non dalla dimensione ambiente.

3. Distillazione della Conoscenza Coerente con l'Operatore (Operator-Consistent Knowledge Distillation):
   Su CIFAR-10, un metodo di distillazione regolarizzato con PPS (che minimizza $\|\Phi \Pi_T - \Pi_S \Phi\|_F^2$) è stato confrontato con la distillazione standard tramite divergenza KL. L'approccio regolarizzato con PPS ha ridotto con successo il "gap di commutatività" (inconsistenza dell'operatore) tra i modelli docente e studente, mantenendo al contempo un'accuratezza di test comparabile. Ciò ha dimostrato che la coerenza geometrica a livello di operatore può essere esplicitamente ottimizzata senza degradare le prestazioni.

Significato e Rivendicazioni

Il documento posiziona la PPS principalmente come un framework concettuale e strutturale piuttosto che come un nuovo design architettonico o un potenziatore delle prestazioni allo stato dell'arte. Il suo significato risiede in:

• Riformulazione dell'Osservabilità: Sostiene che l'osservabilità è una proprietà della geometria dell'operatore indotto, non degli stati latenti stessi. Ciò fornisce una prospettiva matematicamente esplicita sul perché certe feature latenti rimangano invisibili all'analisi basata sull'output.
• Responsabilità Strutturale: Suggerisce che i vincoli di interpretabilità dovrebbero essere imposti a livello di operatore (ad esempio, tramite vincoli spettrali o preservazione dei sottospazi) piuttosto che affidarsi esclusivamente a spiegazioni post-hoc.
• Unificazione: Offre un linguaggio geometrico comune che collega la misura quantistica, l'inferenza nel deep learning e il trasferimento di rappresentazione, trattandoli come istanze di osservazione mediata da proiezione con diverse proprietà algebriche.
• Ambito Modesto: Gli autori dichiarano esplicitamente che il lavoro non intende introdurre nuove classi di operatori o rivendicare l'equivalenza fisica con i sistemi quantistici. Al contrario, utilizza la struttura matematica della misura quantistica come un esempio canonico per formalizzare l'osservabilità nell'apprendimento delle rappresentazioni. I risultati empirici sono presentati come validazioni controllate delle previsioni del framework piuttosto che come superiorità basata su benchmark.

In definitiva, la PPS propone un cambio di prospettiva: passare dal chiedere "cosa contengono le rappresentazioni latenti?" al chiedere "cosa permette la geometria di osservazione indotta a un sistema di osservare?".