GSVD for Geometry-Grounded Dataset Comparison: An Alignment Angle Is All You Need

Questo articolo propone l'utilizzo della decomposizione ai valori singolari generalizzata (GSVD) per definire un punteggio angolare interpretabile che diagnostica, su base campionale, se un'osservazione è meglio spiegata da uno dei due dataset confrontati o da entrambi, valorizzando così l'apprendimento basato sulla geometria.

L'essenziale

Immagina di avere due grandi biblioteche di immagini: una piena di foto di gatti e l'altra piena di foto di cani. Il problema classico dell'intelligenza artificiale è: "Come facciamo a capire se una nuova foto che ci arriva è un gatto o un cane, senza doverla mostrare a un esperto umano?"

Di solito, gli algoritmi guardano i pixel e cercano schemi complessi. Ma questo articolo propone un approccio più geometrico, come se volessimo capire la "forma" delle due biblioteche.

Ecco la spiegazione semplice di questo lavoro, usando delle metafore quotidiane.

1. Il Concetto di Base: Due Lingue, Una Storia

Immagina che il dataset dei gatti (chiamiamolo A) e quello dei cani (B) siano due persone che parlano lingue diverse. Tuttavia, entrambe vogliono descrivere la stessa cosa: un "animale domestico".

L'idea degli autori è: invece di tradurre parola per parola (pixel per pixel), chiediamoci: "Quanto è facile per la persona A descrivere questo oggetto rispetto alla persona B?"

Se l'oggetto è un gatto, la persona A lo descriverà con poche parole semplici (poco sforzo), mentre la persona B dovrà usare un dizionario enorme e complicato (molto sforzo). Se è un cane, succede il contrario. Se è un animale strano che assomiglia a entrambi, entrambe dovranno sforzarsi allo stesso modo.

2. La "Bussola Magica" (GSVD)

Per misurare questo "sforzo", gli autori usano uno strumento matematico chiamato GSVD (Scomposizione ai Valori Singolari Generalizzata).

Pensa al GSVD come a una bussola magica che crea una mappa comune per entrambe le biblioteche.

• Questa bussola non guarda solo le foto, ma individua le "direzioni" fondamentali.
• Alcune direzioni sono tipiche dei gatti (es. le orecchie a punta).
• Alcune sono tipiche dei cani (es. il muso lungo).
• Altre sono comuni a entrambi (es. la presenza di quattro zampe).

La bussola ci dice: "Ehi, questa direzione è molto forte per i gatti, debole per i cani" oppure "Questa è forte per entrambi".

3. L'Angolo di Allineamento: Il Termometro della Confusione

Il cuore del metodo è un numero chiamato angolo di allineamento ($\theta$). Immagina questo angolo come un termometro che va da 0 a 90 gradi:

• 0 gradi (Vicino a A): L'oggetto è descritto benissimo dal dataset A (Gatti) e male da B. È chiaramente un gatto.
• 90 gradi (Vicino a B): L'oggetto è descritto benissimo da B (Cani) e male da A. È chiaramente un cane.
• 45 gradi (A metà): L'oggetto è descritto allo stesso modo da entrambi. È una zona grigia, un ibrido o un animale ambiguo.

L'analogia della corda:
Immagina di tirare una corda. Se la corda è tesa quasi interamente verso il gatto, l'angolo è piccolo. Se è tesa verso il cane, l'angolo è grande. Se è tirata da entrambe le parti con la stessa forza, la corda sta dritta a metà strada (45 gradi).

4. Cosa fanno con questo angolo?

Gli autori usano questo "termometro" in due modi creativi:

1. Diagnosi istantanea: Per ogni nuova foto, calcolano l'angolo. Se l'angolo è vicino a 0, dicono "È un gatto". Se è vicino a 90, dicono "È un cane". Non serve una rete neurale complessa, basta guardare l'angolo!
2. Visualizzare l'invisibile: Possono anche creare le "immagini ideali" che rappresentano gli estremi.
   • Possono disegnare il "Gatto perfetto" (quello che ha l'angolo 0).
   • Possono disegnare il "Cane perfetto" (angolo 90).
   • Possono disegnare l'"Animale ibrido" (angolo 45), che mostra cosa hanno in comune le due categorie (es. la forma generale del corpo).

5. L'Esperimento con i Numeri (MNIST)

Hanno provato questo metodo sui numeri scritti a mano (da 0 a 9).

• Quando hanno confrontato il 1 e il 5, gli angoli erano molto diversi (uno vicino a 0, l'altro vicino a 90). Significa che sono geometricamente molto distanti.
• Quando hanno confrontato il 4 e il 9, gli angoli si mescolavano molto intorno a 45 gradi. Significa che, geometricamente, sono molto simili e spesso confusi.

In Sintesi

Questo articolo dice: "Non serve complicarsi la vita con modelli neri e misteriosi. Se guardiamo la geometria dei dati come se fossero direzioni su una mappa, possiamo capire se un dato appartiene a un gruppo o all'altro semplicemente misurando un angolo."

È come se invece di chiedere a un'IA di "pensare" come un umano, le dessimo un righello e un goniometro per misurare quanto un oggetto assomiglia a una categoria rispetto a un'altra. È semplice, elegante e molto facile da capire visivamente.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "GSVD FOR GEOMETRY-GROUNDED DATASET COMPARISON: AN ALIGNMENT ANGLE IS ALL YOU NEED", tradotta e strutturata in italiano.

1. Il Problema

Il confronto tra dataset è un problema ricorrente nell'apprendimento automatico e nell'analisi dei dati, che si presenta in scenari come:

• Rilevamento dello dataset shift (spostamento della distribuzione) tra training e deployment.
• Confronto di rappresentazioni apprese da modelli diversi.
• Diagnosi di similarità e differenze tra classi o domini.

L'approccio moderno spesso confronta i dataset indirettamente (attraverso modelli addestrati o distanze tra embedding), il che può oscurare le ragioni geometriche profonde per cui due dataset appaiono simili o diversi. Il paper propone un cambio di prospettiva: confrontare i dataset attraverso la loro geometria intrinseca, trattando le osservazioni non come vettori arbitrari, ma come punti che risiedono in strutture sottostanti a bassa dimensionalità all'interno di uno spazio ambientale comune.

2. Metodologia

Il lavoro si basa su tre pilastri concettuali e matematici:

A. La Relazione Lineare "Co-Span"

Invece di cercare corrispondenze punto-a-punto o mappature invertibili tra domini, gli autori definiscono una primitiva geometrica basata sulla relazione lineare:
$$Ax = By = z$$
Dove:

• $A \in \mathbb{R}^{d \times p}$ e $B \in \mathbb{R}^{d \times q}$ sono le matrici dei due dataset (le colonne sono le osservazioni).
• $z \in \mathbb{R}^d$ è un vettore nello spazio ambientale condiviso.
• $x$ e $y$ sono coefficienti.
  Questa relazione cattura la compatibilità nello spazio ambientale senza richiedere che ogni campione in $A$ abbia un corrispettivo diretto in $B$.

B. Decomposizione ai Valori Singolari Generalizzata (GSVD)

Per operazionalizzare questo confronto, il paper utilizza la GSVD come sistema di coordinate congiunto per i due sottospazi. Data la decomposizione:
$$A = HCU, \quad B = HSV, \quad C^\top C + S^\top S = I$$

• $H$: Definisce un sistema di riferimento ambientale condiviso (invertibile o left-invertibile).
• $C$ e $S$: Sono matrici diagonali (o a blocchi) che codificano quanto fortemente ogni direzione condivisa contribuisce rispettivamente a $A$ e a $B$.
  • Se un elemento diagonale di $C$ domina, la direzione è specifica di $A$.
  • Se domina $S$, è specifica di $B$.
  • Se sono comparabili, la direzione è strutturale per entrambi.

C. L'Angolo di Allineamento $\theta(z)$

Il contributo centrale è la definizione di un punteggio interpretabile per singolo campione $z$, chiamato angolo di allineamento:
$$\theta(z) := \arctan\left(\frac{\|x\|_2}{\|y\|_2}\right) \in [0, \pi/2]$$
Dove $x$ e $y$ sono i coefficienti a norma minima (ortogonali ai nuclei di $A$ e $B$) tali che $Ax=By=z$.

• $\theta(z) \approx 0$: Il campione è spiegato più economicamente da $A$ ("più A").
• $\theta(z) \approx \pi/2$: Il campione è spiegato più economicamente da $B$ ("più B").
• $\theta(z) \approx \pi/4$: Il campione risiede in una struttura condivisa tra i due dataset.

L'angolo può essere calcolato efficientemente nello spazio GSVD come:
$$\theta(z) = \arctan\left(\frac{\|C^\dagger c(z)\|_2}{\|S^\dagger c(z)\|_2}\right)$$
dove $c(z) = H^\dagger z$ sono le coordinate di $z$ nel frame condiviso.

3. Contributi Chiave

1. Primitiva Geometrica: Proposta della relazione "co-span" ($Ax=By=z$) come metodo minimale e fondato sulla geometria per il confronto dei dataset.
2. Sistema di Coordinate GSVD: Utilizzo della GSVD per esplicitare le direzioni condivise rispetto a quelle specifiche del dataset tramite i fattori $(C, S)$.
3. Punteggio Diagnostico $\theta(z)$: Derivazione di un punteggio angolare interpretabile che funge da diagnostica per campione, quantificando l'allineamento relativo.
4. Direzioni Estreme: Identificazione di vettori rappresentativi ($z_{max}$ e $z_{min}$) che massimizzano e minimizzano l'angolo, permettendo la visualizzazione delle direzioni puramente "A-like" e "B-like" e di quelle condivise.
5. Interpretazione Probabilistica: Collegamento dell'angolo $\theta$ alla geometria di Fisher-Rao, mostrando come l'angolo induca una posteriorità Bernoulliana e come la distanza tra istogrammi di $\theta$ misuri l'ambiguità della posteriorità.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset MNIST (e parzialmente su Fashion-MNIST):

• Distribuzioni Angolari: Sono state analizzate le distribuzioni empiriche di $\theta(z)$ per coppie di cifre (es. "1" vs "5", "4" vs "9").
  • Coppie geometricamente distinte (es. "1" vs "5") mostrano distribuzioni ben separate agli estremi (vicino a 0 e vicino a $\pi/2$).
  • Coppie visivamente simili (es. "4" vs "9") mostrano un'ampia sovrapposizione attorno a $\pi/4$, indicando ambiguità geometrica.
• Visualizzazione delle Direzioni: Le direzioni estreme estratte dalla matrice $H$ sono state ricostruite come immagini.
  • La direzione "A-estrema" mostra pattern tipici della prima cifra (es. linee dritte per il "4").
  • La direzione "B-estrema" mostra pattern tipici della seconda cifra (es. curve per il "9").
  • Le direzioni intermedie catturano strutture condivise.
• Classificazione Binaria: Un semplice classificatore basato su una soglia $\tau = \pi/4$ è stato utilizzato come illustrazione. Sebbene non sia il focus principale (non è un classificatore competitivo), dimostra l'utilità del punteggio come strumento diagnostico interpretabile.
• Distanza di Fisher-Rao: È stata calcolata la distanza di Fisher-Rao tra gli istogrammi delle classi, fornendo una metrica scalare di separabilità geometrica che correla con l'intuizione visiva (es. "0" vs "7" ha una distanza maggiore rispetto a "4" vs "9").

5. Significato e Implicazioni

• Interpretabilità: A differenza di molte metriche di similarità che restituiscono un singolo numero oscuro, $\theta(z)$ offre una spiegazione geometrica diretta: perché un campione è più simile a un dataset che all'altro.
• Diagnostica: Lo strumento è utile per l'audit dei dati, identificando campioni che non si allineano con la loro etichetta nominale (outlier geometrici) o per filtrare dati durante il transfer learning.
• Generalità: Il metodo non richiede corrispondenze tra campioni e funziona su spazi di feature arbitrari (pixel grezzi o embedding appresi).
• Limiti e Futuro: L'approccio attuale è limitato a coppie di domini e ha complessità computazionale $O(d^3)$ per la decomposizione (adatta come preprocessing, ma costosa per database enormi). Il lavoro futuro punta a generalizzare a più domini, migliorare l'efficienza e studiare la robustezza al rumore e alla scelta del rango.

In sintesi, il paper propone un framework elegante che trasforma il confronto tra dataset in un problema di geometria lineare, fornendo uno strumento diagnostico potente e interpretabile basato sull'angolo di allineamento derivato dalla GSVD.