📊 statistics

Group invariance of $f$ -divergences and the Fisher--Rao distance

Este artículo demuestra que las divergencias- $f$ y la distancia de Fisher–Rao son invariantes bajo acciones de grupo en modelos de transformación, reduciendo así su dependencia de pares de parámetros hacia invariantes máximos tales como cosets dobles, particularmente dentro de familias de localización-escala multidimensionales.

Autores originales: Frank Nielsen, Kazuki Okamura

Publicado 2026-06-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Frank Nielsen, Kazuki Okamura

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un chef tratando de comparar dos sopas diferentes. Una es un tazón pequeño de sopa de tomate picante y la otra es una olla gigante de sopa de tomate suave.

Si solo miras los cuencos, se ven totalmente diferentes. Pero si conoces la "receta" (el modelo estadístico), te das cuenta de que las únicas diferencias reales son cuánto estiraste la olla (escala) y dónde la moviste sobre el mostrador (localización). Si ignoras el tamaño de la olla y la posición del mostrador, las sopas son esencialmente la misma "perfil de sabor".

Este artículo trata de encontrar una forma matemática de ignorar esas diferencias irrelevantes (como el tamaño de la olla y la posición del mostrador) para poder medir la verdadera diferencia entre dos distribuciones (como dos sopas) de manera justa.

Aquí tienes un desglose de las ideas principales del artículo utilizando analogías sencillas:

1. El Problema: Demasiadas formas de describir lo mismo

En estadística, a menudo describimos datos utilizando parámetros (como una media y una varianza). Pero la naturaleza tiene "simetrías".

Traslación (Localización): Si mueves todo un conjunto de datos 5 pasos a la derecha, la relación entre dos puntos en esos datos no debería cambiar.
Estiramiento (Escala): Si haces zoom hacia adentro o hacia afuera en un conjunto de datos, la forma de la relación no debería cambiar.

Los autores se preguntan: Si tenemos una herramienta matemática para medir la "distancia" o "diferencia" entre dos distribuciones, ¿respeta esa herramienta estas simetrías? En otras palabras, si estiramos y movemos ambas distribuciones exactamente en la misma cantidad, ¿debería permanecer igual la distancia entre ellas?

2. El Gran Descubrimiento: La magia del "Grupo"

El artículo demuestra que una enorme familia de estas herramientas de medición de distancia, llamadas f-divergencias (que incluye las famosas divergencias de Kullback-Leibler), respetan automáticamente estas simetrías.

La Analogía: Imagina que tienes una hoja de goma con dos puntos dibujados en ella.

Si estiras toda la hoja (escala) o la deslizas por la mesa (localización), la distancia entre los dos puntos en la hoja no cambia.
El artículo muestra que, para estas herramientas estadísticas específicas, la "distancia" es como la medición en la hoja de goma, no la medición en la mesa. Es invariante.

3. La Solución: El "Invariante Máximo" (La Identificación Definitiva)

Saber que la distancia no cambia cuando estiramos o movemos las cosas es bueno, pero no es suficiente. Queremos saber: ¿Qué es lo que exactamente determina la distancia?

Los autores introducen un concepto llamado Invariante Máximo. Piensa en esto como una "Identificación Definitiva" para un par de distribuciones.

Si tienes dos pares de distribuciones y tienen la misma "Identificación Definitiva", entonces la distancia entre ellos es idéntica.
Si tienen identificaciones distintas, la distancia podría ser diferente.

Esta identificación elimina todo el "ruido" (el estiramiento y el movimiento) y deja solo la información relativa.

Localización Relativa: Qué tan separados están los centros.
Escala Relativa: Qué tanto más grande es uno que el otro.

4. El "Doble Cocet" (Double Coset): Un atajo geométrico

Cuando los autores observan datos complejos y multidimensionales (como formas 3D en lugar de solo líneas 1D), encuentran que esta "Identificación Definitiva" tiene una forma geométrica específica llamada Doble Cocet (Double Coset).

La Analogía: Imagina que intentas describir la posición de dos personas en una habitación entre sí, pero la habitación está rotando y las personas están caminando de un lado a otro.

En lugar de rastrear sus coordenadas absolutas (que cambian constantemente), rastreas su pose relativa.
El "Doble Cocet" es el nombre matemático para esa pose relativa. Te dice todo lo que necesitas saber sobre cómo están posicionadas las dos distribuciones entre sí, ignorando el hecho de que todo el universo podría estar girando.

5. Aplicación a Modelos Reales (Familias de Localización-Escala)

El artículo aplica esto a las familias de Localización-Escala (distribuciones definidas por un centro y una dispersión).

Demuestran que, para estos modelos, la "Identificación Definitiva" está compuesta por dos elementos:
1. Valores Singulares: Estos son como los "factores de estiramiento" en diferentes direcciones.
2. Normas de Bloque: Estas miden el "desplazamiento relativo" de los centros, pero solo en las direcciones donde ocurrió el estiramiento.

Esto significa que no necesitas calcular una fórmula compleja para cada posible rotación o desplazamiento. Solo necesitas calcular estos números específicos (valores singulares y normas de bloque), y eso es toda la información que necesitas para conocer la distancia.

6. La Distancia Fisher-Rao (La Distancia "Curva")

Finalmente, el artículo analiza la distancia Fisher-Rao, que es un tipo especial de distancia utilizada en la geometría de la información. Es como medir la distancia entre dos puntos en una superficie curva (una geodésica) en lugar de en un mapa plano.

Los autores demuestran que esta distancia curva también sigue las mismas reglas. Aunque las matemáticas sean más difíciles, el resultado es el mismo: la distancia entre dos distribuciones depende únicamente de su posición y escala relativas (la "Identificación Definitiva"), no de dónde se encuentran en el universo.

Resumen

El artículo es una guía para simplificar comparaciones complejas.

La simetría existe: Mover o estirar los datos no cambia la diferencia intrínseca entre dos distribuciones.
Las herramientas respetan la simetría: Las herramientas comunes de distancia estadística (f-divergencias) ignoran naturalmente estos movimientos.
La "Identificación": Podemos reemplazar parámetros complejos por un conjunto más simple de números (valores singulares y desplazamientos relativos) que capturan lo único que importa: la relación relativa entre las dos distribuciones.
Aplicación Universal: Esto funciona tanto para medidas de distancia estándar como para la más compleja distancia curva de Fisher-Rao.

En resumen: Para comparar dos cosas de manera justa, ignora dónde están y qué tamaño tienen; observa solo cómo se relacionan entre sí. El artículo ofrece la receta matemática para hacer precisamente eso.

Resumen Técnico: Invariancia de Grupo de las $f$ -divergencias y la Distancia de Fisher–Rao

Planteamiento del Problema
Muchos modelos estadísticos poseen simetrías naturales descritas por acciones de grupo, donde las transformaciones del espacio muestral y del espacio de parámetros no deberían alterar la comparación intrínseca entre dos distribuciones. Si bien es intuitivo que las divergencias y distancias estadísticas deben respetar estas simetrías, se requiere una caracterización rigurosa de cómo dicha invariancia restringe la forma funcional de estas medidas. Específicamente, el artículo aborda cómo las $f$ -divergencias y la distancia de Fisher–Rao se comportan bajo modelos de transformación donde un grupo actúa tanto en los espacios de muestra como de parámetros con un multiplicador específico. El problema central consiste en reducir la dependencia de estas medidas desde el espacio de parámetros completo hacia un conjunto mínimo de variables invariantes (invariantes máximas) que capturen la posición relativa de dos distribuciones.

Metodología
Los autores emplean el marco de los modelos de transformación y las estadísticas invariantes, basándose en resultados clásicos de Eaton y Wijsman. La metodología procede en tres etapas:

Demostración de Invariancia General: El artículo establece un modelo de transformación general donde un grupo topológico $G$ actúa sobre un espacio de medida $(X, \mathcal{B}, \lambda)$ y un espacio de parámetros $\Theta$ . Las densidades se transforman con un multiplicador $\chi(g)$ tal que $\chi(g)p(gx|g\theta) = p(x|\theta)$ . Bajo estas condiciones, los autores demuestran que cualquier $f$ -divergencia es invariante bajo la acción diagonal del grupo sobre pares de parámetros.
Reducción a la Invariante Máxima: Los autores demuestran que, debido a que la divergencia es invariante, esta debe ser una función de una invariante máxima del par de parámetros. Para espacios de parámetros transitivos (espacios homogéneos $\Theta \cong G/H$ ), caracterizan esta invariante máxima utilizando el espacio de doble cociente $H \backslash G / H$ . Esto proporciona una interpretación geométrica donde la divergencia depende únicamente de la posición relativa de dos puntos en el espacio homogéneo.
Construcción Explícita para Familias de Localización-Escala: La teoría se aplica a familias de localización-escala multidimensionales. Los autores construyen invariantes máximas explícitas modificando el espacio de parámetros para asegurar la identificabilidad (mediante el cociente de rotaciones ortogonales). Utilizan la Descomposición en Valores Singulares (SVD) para parametrizar el doble cociente, reduciendo la divergencia a una función de los valores singulares y las normas de bloque de la localización relativa transformada.
Extensión a la Distancia de Fisher–Rao: Los mismos principios de invariancia se aplican a la distancia de Fisher–Rao (la distancia geodésica de la métrica de Fisher). Los autores muestran que la invariancia afín de la métrica de Fisher permite una reducción similar, mapeando la distancia entre distribuciones arbitrarias a la distancia desde una distribución base canónica.

Contribuciones Clave y Resultados

Teorema de Invariancia General (Teorema 2.1): El artículo demuestra que en un modelo de transformación que satisface la condición del multiplicador, toda $f$ -divergencia $D_f(\theta_1 : \theta_2)$ es invariante bajo la acción del grupo: $D_f(g\theta_1 : g\theta_2) = D_f(\theta_1 : \theta_2)$ .
Caracterización de la Invariante Máxima (Teoremas 2.2 y 2.3): Se demuestra que cualquier divergencia invariante es una función de una invariante máxima $m(\theta_1, \theta_2)$ . Para acciones transitivas donde $\Theta = G/H$ , la invariante máxima es el doble cociente $H g_1^{-1} g_2 H$ , el cual describe completamente la posición relativa de los parámetros.
Forma Canónica para Modelos de Localización-Escala (Sección 3.1): Para modelos de localización-escala multidimensionales con densidades base radiales, los autores derivan una invariante máxima específica. Al identificar el espacio de parámetros con $R^d \times (GL(d, R)/O(d))$ $R^{d} \times (G L (d, R) / O (d))$ , la divergencia depende únicamente de:
- Los valores singulares $\tau_1, \dots, \tau_k$ de la matriz de escala relativa $S = V_2^{-1}V_1$ y sus multiplicidades.
- Las normas de bloque $r_j$ del vector de localización relativa transformado $\nu = V_2^{-1}(\mu_1 - \mu_2)$ , donde los bloques corresponden a las multiplicidades de los valores singulares.
Acciones de Grupos Duales y Divergencias de Bregman (Sección 3.2): El artículo analiza familias de escala centradas utilizando geometría dually plana. Muestra que, mientras la invariancia de la $f$ -divergencia surge del modelo de transformación, la invariancia de las divergencias de Bregman/Fenchel-Young dually planas surge de la cancelación de las acciones de los grupos duales. Esto unifica la naturaleza espectral de estas divergencias (dependencia de los autovalores de $\Sigma_2^{-1}\Sigma_1$ ).
Reducción de Fisher–Rao (Proposición 4.2): Se muestra que la distancia de Fisher–Ro para la familia de localización-escala es invariante bajo el grupo afín. En consecuencia, la distancia entre dos distribuciones es una función de las mismas invariantes máximas (valores singulares y normas de bloque) derivadas para las $f$ -divergencias. El problema se reduce a calcular la distancia desde un punto base canónico $(0, [Id])$.

Significación y Reivindicaciones
El artículo afirma proporcionar una "manera general y geométrica de expresar divergencias invariantes" mediante el uso de la estructura de doble cociente de los espacios de parámetros transitivos. La principal significación reside en el principio de reducción: en lugar de tratar las divergencias como funciones de todos los parámetros, se puede primero eliminar la simetría de grupo para expresarlas a través de un conjunto más pequeño de variables invariantes.

Los autores declaran explícitamente que este enfoque:

Simplifica el cálculo al reducir la dimensionalidad del problema.
Identifica cantidades relevantes al determinar exactamente qué variables invariantes (por ejemplo, valores singulares, normas de bloque) pueden aparecer en cualquier fórmula invariante.
Unifica diferentes divergencias: Muestra que la misma reducción se aplica tanto a las $f$ -divergencias como a la distancia de Fisher–Rao.

El artículo es modesto respecto a las soluciones de forma cerrada. Observa que, si bien el principio de reducción identifica las variables correctas, "no proporciona una fórmula general de forma cerrada" para la distancia de Fisher–Rao en dimensiones $d > 1$ , ya que el problema de valor en la frontera geodésica sigue siendo analíticamente difícil. Sin embargo, establece con éxito las dependencias estructurales requeridas para cualquier fórmula de este tipo. El trabajo también aclara la relación entre la geometría de Fisher–Rao invariante por afinidad y la geometría de espacios simétricos propuesta por Lovrić et al., distinguiendo la primera como la geometría específica de la familia de localización-escala gaussiana y la segunda como un análogo de espacio simétrico.