Universal optimality of the double-centred matrix under unitarily invariant norms for dissimilarity data

Resumen Técnico: Optimalidad Universal de la Matriz Doblemente Centrada

Planteamiento del Problema
El artículo aborda el problema de seleccionar un representante canónico de una familia afín de matrices simétricas reales derivadas de una matriz de disimilitud simétrica dada $D = (D_{ij})_{i,j=1}^n$. Sea $D^{(2)} = (D_{ij}^2)$ la matriz de disimilitudes al cuadrado. Los autores consideran la familia de matrices $A(g)$ definida por la relación:
$$D_{ij}^2 = a_{ii} + a_{jj} - 2a_{ij}, \quad i \neq j$$
donde las entradas diagonales de $A(g)$ son parámetros libres. Específicamente, para un vector $g \in \mathbb{R}^n$, la familia está parametrizada como:
$$A(g) = \frac{1}{2} \left( \mathbf{1}g^\top + g\mathbf{1}^\top - D^{(2)} \right)$$
Aquí, las entradas diagonales de $A(g)$ están determinadas por $g$, mientras que las entradas fuera de la diagonal están fijadas por los datos de disimilitud.

La cuestión central es si existe una elección específica del vector diagonal $g$ que minimice el "tamaño" de $A(g)$ a través de una amplia clase de normas matriciales, específicamente las normas unitariamente invariantes (que incluyen la norma de Frobenius, la norma espectral, la norma nuclear, las normas Schatten $p$ y las normas de Ky Fan $k$). Crucialmente, el artículo no asume que la matriz de disimilitud $D$ provenga de una configuración euclidiana (es decir, $D$ no tiene por qué ser una matriz de distancia euclidiana, y $A(g)$ no tiene por qué ser semidefinida positiva).

Metodología
Los autores emplean un enfoque puramente matricial, evitando supuestos de realizabilidad euclidiana. La metodología se basa en tres componentes principales:

1. Análisis de la Estructura Afín: Los autores analizan la estructura de $A(g)$ bajo la acción de la matriz de centrado $J = I - \frac{1}{n}\mathbf{1}\mathbf{1}^\top$. Establecen una identidad estructural clave (Lema 2.2):
   $$J A(g) J = -\frac{1}{2} J D^{(2)} J$$
   Esta identidad demuestra que la "compresión centrada" de cualquier matriz en la familia afín es independiente del parámetro $g$.

2. Minimización de la Norma de Frobenius: Los autores primero resuelven el problema de minimización para la norma de Frobenius ($\|\cdot\|_F$). Demuestran que la función objetivo $f(g) = \|A(g)\|_F^2$ es una cuadrática estrictamente convexa con un Hessiano definido positivo. Al derivar la condición de optimalidad de primer orden, identifican un minimizador único $g_F$ tal que $A(g_F)\mathbf{1} = \mathbf{0}$. Esto conduce a la solución explícita en forma cerrada:
   $$g_F = \frac{1}{n} D^{(2)}\mathbf{1} - \frac{1}{2n^2}(\mathbf{1}^\top D^{(2)}\mathbf{1})\mathbf{1}$$
   Consecuentemente, el único minimizador de Frobenius es la matriz doblemente centrada:
   $$A(g_F) = -\frac{1}{2} J D^{(2)} J$$

3. Extensión a Normas Unitariamente Invariantes: Para extender este resultado a todas las normas unitariamente invariantes, los autores utilizan la contractividad del pellizco ortogonal (orthogonal pinching) (Lema 2.4). Demuestran que para cualquier norma unitariamente invariante $\|\|\cdot\|\|$, la desigualdad $\|\| J A(g) J \|\| \le \|\| A(g) \|\|$ se cumple. Dado que $J A(g) J = A(g_F)$ para todo $g$, se sigue que $A(g_F)$ minimiza la norma para toda la familia.

Resultados Clave

• Optimalidad Universal (Teorema 2.5): La matriz doblemente centrada $A(g_F) = -\frac{1}{2} J D^{(2)} J$ es un minimizador de $\|\| A(g) \|\|$ para cada norma unitariamente invariante. Esto incluye la norma espectral, la norma nuclear, la norma de Frobenius y todas las normas Schatten $p$ y de Ky Fan $k$.
• Estructura de Unicidad:
  • Para normas unitariamente invariantes estrictamente convexas (por ejemplo, la norma de Frobenius, las normas Schatten $p$ con $1 < p < \infty$), $g_F$ es el minimizador único.
  • Para normas no estrictamente convexas (por ejemplo, la norma espectral, la norma nuclear), el minimizador no es necesariamente único. Los autores caracterizan la no unicidad a lo largo de la sección unidimensional $g(t) = g_F + \frac{t}{n}\mathbf{1}$, mostrando que $\|A(g(t))\|_2 = \max\{\rho^*, |t|\}$, donde $\rho^* = \|A(g_F)\|_2$. Así, cualquier $t$ con $|t| \le \rho^*$ produce un minimizador de la norma espectral.
• Condición de Rango (Proposición 2.8): Los autores caracterizan el caso donde los mínimos de Frobenius y espectral coinciden (es decir, $\|A(g_F)\|_F = \|A(g_F)\|_2$). Esto ocurre si y solo si $\text{rank}(J D^{(2)} J) \le 1$. En el caso euclidiano, esto es equivalente a que los $n$ puntos sean colineales. En este caso degenerado, todas las normas Schatten de $A(g_F)$ coinciden.

Significado y Reivindicaciones
El artículo afirma proporcionar una caracterización puramente variacional de la matriz doblemente centrada, que es el objeto central en la Escalamiento Multidimensional Clásico (CMDS) y el Análisis de Coordenadas Principales (PCoA).

• Independencia de Supuestos Euclidianos: A diferencia de la teoría clásica de CMDS, que a menudo requiere que las disimilitudes de entrada sean euclidianas (implicando que la matriz resultante sea semidefinida positiva), este resultado se sostiene para datos de disimilitud simétricos arbitrarios. La matriz doblemente centrada emerge como el representante óptimo independientemente de si los datos son euclidianos o no.
• Independencia de la Norma: El resultado demuestra que la elección de la matriz doblemente centrada no es un artefacto de minimizar específicamente la norma de Frobenius. En cambio, es un minimizador "universal" para toda la clase de normas unitariamente invariantes.
• Relación con la Cercanía de Matrices: El trabajo se enmarca como una variante afín del problema de cercanía de matrices (matrix nearness problem). Contrasta con la literatura existente (por ejemplo, el trabajo de Higham sobre matrices más cercanas semidefinidas positivas) al mostrar que, para esta familia afín específica, los problemas de minimización de Frobenius y espectral son resueltos por la misma matriz (aunque la unicidad difiere) y que existe una solución en forma cerrada para ambos.

Los autores no proponen nuevas aplicaciones, sino que proporcionan una justificación teórica para el uso generalizado de la matriz doblemente centrada en campos como la ecología numérica y el análisis de microbioma, donde las medidas de disimilitud (por ejemplo, Bray–Curtis) a menudo no cumplen con las propiedades de una métrica euclidiana.