Learn your entropy from informative data: an axiom ensuring the consistent identification of generalized entropies

Este artículo introduce un nuevo axioma que establece que ningún parámetro entrópico puede inferirse de una distribución uniforme, lo cual permite identificar consistentemente la entropía de Rényi como la única viable entre las generalizaciones existentes y permite estimar sus parámetros directamente a partir de datos mediante una generalización del principio de máxima verosimilitud.

Lo esencial

Imagina que la entropía es como una "medida del desorden" o de la "incertidumbre" en un sistema. En el mundo de la física y la informática, tenemos una regla de oro llamada Entropía de Shannon (la clásica), que funciona perfectamente para la mayoría de las cosas, como predecir el clima o comprimir archivos de música.

Sin embargo, en los últimos años, los científicos han creado muchas "variantes" o "versiones personalizadas" de esta entropía para estudiar sistemas extraños y complejos (como redes neuronales, mercados financieros o sistemas que no siguen las reglas normales). Estas versiones tienen un "botón de ajuste" llamado parámetro entropico (llamémosle $q$).

El problema:
Imagina que tienes una caja de herramientas con 100 tipos diferentes de llaves inglesas (las diferentes entropías). Para arreglar un tornillo (analizar un sistema), necesitas saber cuál llave usar. El problema es que, hasta ahora, no había una forma clara de saber qué llave usar solo mirando el tornillo. Tenías que adivinar o tener conocimientos previos del sistema. Además, si usabas la llave incorrecta, las matemáticas se volvían locas y daban resultados contradictorios.

La solución de este papel:
Los autores, Andrea Somazzi y Diego Garlaschelli, proponen una regla simple pero poderosa, como un "filtro de realidad" para elegir la mejor llave. La llaman el Axioma de la Falta de Información.

La Analogía de la "Pizarra en Blanco"

Imagina que tienes una pizarra completamente en blanco (una distribución de probabilidad uniforme). No hay nada escrito, no hay patrones, es puro caos o "ruido blanco".

1. La Regla de Oro: Si miras esa pizarra en blanco, el "nivel de desorden" que mide tu herramienta debe ser el mismo, sin importar qué tipo de herramienta (qué valor de $q$) estés usando.
2. El Lógica: Si una herramienta te dice que la pizarra en blanco tiene "mucha incertidumbre" y otra te dice que tiene "poca incertidumbre", entonces una de las herramientas está mintiendo o está mal calibrada. Una pizarra en blanco es 100% incierta, punto. No debería importar qué fórmula uses para medirlo; el resultado base debe ser idéntico.

¿Qué descubrieron?

Al aplicar esta regla simple a las familias de entropías más famosas:

• Descartaron a muchos candidatos: La famosa Entropía de Tsallis (muy popular en física) falló esta prueba. Dependía del botón de ajuste ($q$) para medir la pizarra en blanco, lo cual es absurdo.
• Salvó a la ganadora: Solo una familia sobrevivió: la Entropía de Rényi. Es la única que mantiene la consistencia. Es como si, entre todas las llaves inglesas, solo una tuviera la medida correcta para empezar.

La Magia: Aprender de los Datos

Lo más brillante del artículo es cómo esto resuelve el problema de "¿qué valor de $q$ debo usar?".

Imagina que eres un detective y tienes una serie de pistas (datos).

• Antes: Tenías que adivinar qué tipo de detective eras (qué $q$ usar) antes de empezar a investigar.
• Ahora: Gracias a esta nueva regla, puedes usar un método llamado Máxima Verosimilitud (que es como buscar la explicación que mejor encaja con las pistas) para encontrar automáticamente el valor correcto de $q$.

El resultado es sorprendente:

1. Si tienes un solo dato, usas la Entropía de Rényi para encontrar el patrón.
2. Si tienes muchos datos independientes (como si varios detectives investigaran el mismo caso por separado), el sistema "recuerda" automáticamente que la regla clásica (Shannon) es la que debe guiar la selección del modelo final.

En resumen, con una metáfora final

Imagina que estás intentando adivinar la receta de un pastel basándote en una muestra de sabor.

• Las entropías generalizadas son como diferentes tipos de "lenguajes" para describir el sabor.
• El Axioma de la Falta de Información dice: "Si no hay sabor (pizarra en blanco), todos los lenguajes deben decir 'sin sabor' de la misma manera".
• Al imponer esto, descubrimos que solo un lenguaje (Rényi) es coherente.
• Y lo mejor: este lenguaje es tan inteligente que, si le das suficientes muestras de sabor (datos), él mismo te dice cuál es la receta exacta y qué "tono" de lenguaje usar, sin que tú tengas que saber nada de cocina de antemano.

Conclusión simple:
El papel nos da una regla de seguridad para usar fórmulas matemáticas complejas. Nos asegura que, si aplicamos esta regla, podemos analizar sistemas complejos usando solo los datos que tenemos, sin necesidad de adivinar parámetros mágicos, y sin que las matemáticas se rompan. Es como ponerle un "freno de seguridad" a la física estadística moderna.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Learn your entropy from informative data: an axiom ensuring the consistent identification of generalized entropies" (Aprende tu entropía a partir de datos informativos: un axioma que asegura la identificación consistente de entropías generalizadas), publicado en arXiv:2301.05660v1 por Andrea Somazzi y Diego Garlaschelli.

1. Problema Identificado

El artículo aborda una serie de inconsistencias fundamentales en el uso de entropías generalizadas (como las familias de Uffink-Jizba-Korbel y Hanel-Thurner) dentro del marco de la inferencia estadística y la física estadística.

• Incompatibilidad con el Principio de Verosimilitud Máxima (ML): Aunque es posible maximizar una entropía generalizada bajo ciertas restricciones para obtener una distribución de probabilidad, al intentar inferir los "parámetros entrópicos" (como el parámetro $q$ en la entropía de Tsallis o Rényi) directamente de los datos, surgen conflictos con el Principio de Verosimilitud Máxima.
• Falta de consistencia en la selección de modelos: No existe un criterio consistente para seleccionar el parámetro entrópico correcto sin conocimiento a priori del sistema.
• Paradoja de la independencia: Cuando se tienen múltiples observaciones independientes e idénticas (i.i.d.) de un sistema, la teoría de la información sugiere que la entropía debería reducirse a la de Shannon (debido al axioma de independencia de sistemas de Shore-Johnson). Sin embargo, las generalizaciones actuales a menudo no logran recuperar la entropía de Shannon en este límite, creando una desconexión entre la descripción de una sola observación y múltiples observaciones.
• Dependencia de conocimiento previo: Los métodos actuales para determinar los parámetros entrópicos a menudo requieren suposiciones externas sobre cómo escala el sistema, lo que limita la aplicabilidad puramente basada en datos.

2. Metodología

Los autores proponen una solución basada en la introducción de un nuevo axioma de no-informatividad (Uninformativeness Axiom) que se aplica a toda una familia paramétrica de entropías, no a una entropía individual.

• El Axioma de No-Informatividad: Establece que, en una familia paramétrica de entropías, el valor de la entropía alcanzado por la distribución uniforme ($P_u$, que representa la máxima incertidumbre o falta de información) no debe depender del valor de los parámetros entrópicos.
  • Formalmente: $S_q[P_u]$ debe ser constante e independiente de $q$.
  • Dado que la distribución uniforme debe tener el mismo valor de entropía máxima (generalmente $\ln \Omega$) para cualquier miembro válido de la familia, esto establece una escala universal.
• Aplicación a Familias de Entropía:
  • Se aplica el axioma a las familias Uffink-Jizba-Korbel (UJK) y Hanel-Thurner (HT).
  • Se demuestra matemáticamente que la mayoría de las generalizaciones populares (como la entropía de Tsallis) violan este axioma porque su valor en la distribución uniforme depende del parámetro $q$.
  • Se demuestra que solo la Entropía de Rényi (y la de Shannon como caso límite $q \to 1$) satisface este axioma dentro de estas familias.
• Extensión del Principio de Verosimilitud Máxima (ML):
  • Se reformula el Principio de Máxima Entropía Generalizada (GMEP) utilizando la Entropía de Rényi.
  • Se extiende el principio ML para inferir simultáneamente los parámetros estructurales (multiplicadores de Lagrange, $\psi$) y el parámetro entrópico ($q$) directamente de los datos.
  • Se introduce el concepto de media $q$ (o $q$-media) como restricción, en lugar de la media aritmética, para evitar divergencias en distribuciones de cola pesada (power-law).

3. Contribuciones Clave

1. Selección de la Entropía de Rényi: El axioma de no-informatividad actúa como un filtro riguroso que descarta la entropía de Tsallis y otras variantes, identificando a la Entropía de Rényi como la única familia viable dentro de las generalizaciones UJK y HT que mantiene consistencia lógica.
2. Restauración de la Consistencia con ML: Se demuestra que, al usar la Entropía de Rényi y el axioma propuesto, el principio de verosimilitud máxima se puede aplicar consistentemente para estimar el parámetro $q$ sin conocimiento previo.
3. Relación Sorprendente entre Log-Verosimilitud y Entropía de Shannon:
   • Para una sola observación ($M=1$), la log-verosimilitud maximizada coincide con el negativo de la Entropía de Rényi.
   • Para múltiples observaciones independientes ($M > 1$), el artículo demuestra un resultado crucial: al maximizar la log-verosimilitud sobre todos los parámetros (incluido $q$), el valor resultante es igual al negativo de la Entropía de Shannon ($S_1$), incluso si la distribución subyacente maximiza la Entropía de Rényi.
   • Esto resuelve la paradoja de la independencia: la entropía de Shannon emerge espontáneamente como la medida correcta de incertidumbre para el conjunto de datos independientes, validando el axioma de Shore-Johnson en el límite de múltiples copias.
4. Método de Inferencia Unificado: Se propone un algoritmo donde se busca el parámetro $q^*$ que maximiza la log-verosimilitud promedio. Este proceso selecciona automáticamente la distribución y el parámetro que mejor ajustan los datos, sin necesidad de suposiciones externas sobre la no-extensividad del sistema.

4. Resultados Principales

• Validación Numérica: Los autores presentan ejemplos numéricos (distribuciones exponenciales y $q$-exponenciales con momentos finitos y divergentes) que confirman que el método recupera los parámetros verdaderos ($q_{true}$) con alta precisión.
• Intersección de Curvas: En los gráficos de log-verosimilitud vs. entropía de Shannon en función de $q$, se observa que las curvas se intersectan exactamente en el valor verdadero de $q$. Esto proporciona un criterio visual y matemático para la selección del modelo.
• Manejo de Divergencias: El uso de la media $q$ (en lugar de la media aritmética) permite caracterizar consistentemente distribuciones con media infinita (comunes en sistemas complejos), algo que los métodos tradicionales fallan en hacer.
• Caso Degenerado: Se analiza el caso de variables aleatorias de Bernoulli, donde se muestra que, si el modelo es demasiado flexible (dos parámetros para un sistema de un parámetro), el axioma no puede inferir un $q$ único, lo cual es una característica esperada de la degeneración del modelo.

5. Significancia e Impacto

Este trabajo es fundamental para la teoría de la información y la física estadística de sistemas complejos por varias razones:

• Unificación Teórica: Resuelve décadas de debate sobre la "correcta" entropía generalizada, demostrando que la consistencia con los principios fundamentales de la inferencia (ML y axiomas de independencia) restringe drásticamente las opciones posibles, favoreciendo a la Entropía de Rényi.
• Aplicabilidad Práctica: Proporciona un marco operativo para la inferencia estadística en sistemas no extensivos o no ergódicos donde los parámetros no son conocidos a priori. Permite aprender la "entropía" del sistema directamente de los datos.
• Selección de Modelos Robusta: Establece que la Entropía de Shannon sigue siendo la métrica de referencia para la selección de modelos cuando se consideran múltiples observaciones independientes, incluso si el mecanismo generador de datos sigue una dinámica de Rényi. Esto conecta coherentemente la física estadística generalizada con los métodos estándar de aprendizaje automático y selección de modelos (como AIC/BIC).
• Eliminación de Ajustes Arbitrarios: Elimina la necesidad de fijar parámetros entrópicos "a mano" basándose en suposiciones teóricas, permitiendo que los datos dicten la naturaleza de la entropía del sistema.

En resumen, el artículo introduce un axioma simple pero poderoso que actúa como un "filtro de consistencia", asegurando que las generalizaciones de la entropía sean compatibles con la inferencia estadística moderna y la teoría de la información, resolviendo inconsistencias históricas y habilitando nuevas metodologías de inferencia puramente basadas en datos.