Universal optimality of the double-centred matrix under unitarily invariant norms for dissimilarity data

Sintesi Tecnica: Ottimalità Universale della Matrice Doppia-Centrata

Enunciato del Problema
Il saggio affronta il problema della selezione di un rappresentante canonico da una famiglia affine di matrici simmetriche reali derivate da una data matrice di dissimilarità simmetrica $D = (D_{ij})_{i,j=1}^n$. Sia $D^{(2)} = (D_{ij}^2)$ la matrice delle dissimilarità al quadrato. Gli autori considerano la famiglia di matrici $A(g)$ definita dalla relazione:
$$D_{ij}^2 = a_{ii} + a_{jj} - 2a_{ij}, \quad i \neq j$$
dove le voci diagonali di $A(g)$ sono parametri liberi. Nello specifico, per un vettore $g \in \mathbb{R}^n$, la famiglia è parametrizzata come:
$$A(g) = \frac{1}{2} \left( \mathbf{1}g^\top + g\mathbf{1}^\top - D^{(2)} \right)$$
dove $\mathbf{1}$ è il vettore di soli uno. Le voci diagonali di $A(g)$ sono determinate da $g$, mentre le voci fuori diagonale sono fissate dai dati di dissimilarità.

La questione centrale è se esista una specifica scelta del vettore diagonale $g$ che minimizzi la "dimensione" di $A(g)$ attraverso una vasta classe di norme matriciali, ovvero le norme unitariamente invarianti (che includono la norma di Frobenius, la norma spettrale, la norma nucleare, le norme Schatten $p$ e le norme di Ky Fan $k$). Fondamentalmente, il saggio non assume che la matrice di dissimilarità $D$ derivi da una configurazione euclidea (ovvero, $D$ non deve essere necessariamente una matrice di distanza euclidea, e $A(g)$ non deve essere necessariamente semidefinita positiva).

Metodologia
Gli autori impiegano un approccio puramente matriciale, evitando assunzioni di realizzabilità euclidea. La metodologia si basa su tre componenti principali:

1. Analisi della Struttura Affine: Gli autori analizzano la struttura di $A(g)$ sotto l'azione della matrice di centratura $J = I - \frac{1}{n}\mathbf{1}\mathbf{1}^\top$. Essi stabiliscono un'identità strutturale chiave (Lemma 2.2):
   $$J A(g) J = -\frac{1}{2} J D^{(2)} J$$
   Questa identità dimostra che la "compressione centrata" di qualsiasi matrice nella famiglia affine è indipendente dal parametro $g$.

2. Minimizzazione della Norma di Frobenius: Gli autori risolvono prima il problema di minimizzazione per la norma di Frobenius ($\|\cdot\|_F$). Dimostrano che la funzione obiettivo $f(g) = \|A(g)\|_F^2$ è una funzione quadratica strettamente convessa con una Hessiana definita positiva. Derivando la condizione di ottimalità del primo ordine, identificano un minimizzatore unico $g_F$ tale che $A(g_F)\mathbf{1} = \mathbf{0}$. Ciò porta alla soluzione esplicita in forma chiusa:
   $$g_F = \frac{1}{n} D^{(2)}\mathbf{1} - \frac{1}{2n^2}(\mathbf{1}^\top D^{(2)}\mathbf{1})\mathbf{1}$$
   Di conseguenza, l'unico minimizzatore di Frobenius è la matrice doppia-centrata:
   $$A(g_F) = -\frac{1}{2} J D^{(2)} J$$

3. Estensione alle Norme Unitariamente Invarianti: Per estendere questo risultato a tutte le norme unitariamente invarianti, gli autori utilizzano la contrazione del pinching ortogonale (Lemma 2.4). Essi dimostrano che per ogni norma unitariamente invariante $\|\|\cdot\|\|$, la disuguaglianza $\|\| J A(g) J \|\| \le \|\| A(g) \|\|$ è soddisfatta. Poiché $J A(g) J = A(g_F)$ per ogni $g$, ne consegue che $A(g_F)$ minimizza la norma per l'intera famiglia.

Risultati Chiave

• Ottimalità Universale (Teorema 2.5): La matrice doppia-centrata $A(g_F) = -\frac{1}{2} J D^{(2)} J$ è un minimizzatore di $\|\| A(g) \|\|$ per ogni norma unitariamente invariante. Ciò include la norma spettrale, la norma nucleare, la norma di Frobenius e tutte le norme Schatten $p$ e Ky Fan $k$.
• Struttura di Unicità:
  • Per le norme unitariamente invarianti strettamente convesse (ad esempio, la norma di Frobenius, le norme Schatten $p$ con $1 < p < \infty$), $g_F$ è il minimizzatore unico.
  • Per le norme non strettamente convesse (ad esempio, la norma spettrale, la norma nucleare), il minimizzatore non è necessariamente unico. Gli autori caratterizzano la non-unicità lungo la sezione unidimensionale $g(t) = g_F + \frac{t}{n}\mathbf{1}$, mostrando che $\|A(g(t))\|_2 = \max\{\rho^*, |t|\}$, dove $\rho^* = \|A(g_F)\|_2$. Pertanto, qualsiasi $t$ con $|t| \le \rho^*$ produce un minimizzatore della norma spettrale.
• Condizione di Rango (Proposizione 2.8): Gli autori caratterizzano il caso in cui i minimi di Frobenius e spettrale coincidono (ovvero, $\|A(g_F)\|_F = \|A(g_F)\|_2$). Ciò avviene se e solo se $\text{rank}(J D^{(2)} J) \le 1$. Nel caso euclideo, questo è equivalente al fatto che i $n$ punti siano collineari. In questo caso degenero, tutte le norme Schatten di $A(g_F)$ coincidono.

Significato e Rivendicazioni
Il saggio sostiene di fornire una caratterizzazione puramente variazionale della matrice doppia-centrata, che è l'oggetto centrale nel MDS Classica (CMDS) e nella Principal Coordinate Analysis (PCoA).

• Indipendenza dalle Assunzioni Euclidee: A differenza della teoria classica della CMDS, che spesso richiede che le dissimilarità in ingresso siano euclidee (implicando che la matrice risultante sia semidefinita positiva), questo risultato è valido per arbitrarie dati di dissimilarità simmetrici. La matrice doppia-centrata emerge come il rappresentante ottimale indipendentemente dal fatto che i dati siano euclidei.
• Indipendenza dalla Norma: Il risultato dimostra che la scelta della matrice doppia-centrata non è un artefatto della minimizzazione della sola norma di Frobenius. Si tratta, invece, di un minimizzatore "universale" per l'intera classe di norme unitariamente invarianti.
• Relazione con la Vicinanza di Matrici (Matrix Nearness): Il lavoro è inquadrato come una variante affine del problema della vicinanza di matrici. Esso contrasta con la letteratura esistente (ad esempio, il lavoro di Higham sulle matrici più vicine semidefinite positive) mostrando che, per questa specifica famiglia affine, i problemi di minimizzazione di Frobenius e spettrale sono risolti dalla stessa matrice (sebbene la unicità differisca) e che esiste una soluzione in forma chiusa per entrambi.

Gli autori non propongono nuove applicazioni, ma forniscono una giustificazione teorica per l'uso diffuso della matrice doppia-centrata in campi come l'ecologia numerica e l'analisi del microbioma, dove le misure di dissimilarità (ad esempio, Bray–Curtis) spesso non soddisfano le proprietà metriche euclidee.