Quantum probability for statisticians; some new ideas

Durante la mayor parte del siglo pasado, la ciencia de la estadística se ha basado en un marco único y rígido para comprender el azar y la incertidumbre. Este marco, conocido como probabilidad clásica, trata al mundo como una vasta biblioteca de posibilidades donde cada pregunta tiene una única respuesta fija esperando ser descubierta. Funciona de maravilla para contar votos, predecir el clima o analizar ensayos médicos, asumiendo que los parámetros que estudiamos son solo números en un conjunto sin una estructura oculta. Sin embargo, una rama separada de la ciencia, la física cuántica, ha operado durante mucho tiempo bajo un conjunto de reglas diferente. En el mundo cuántico, el acto de hacer una pregunta puede cambiar la respuesta, y dos preguntas diferentes sobre un mismo sistema pueden estar tan profundamente vinculadas que conocer la respuesta a una hace que la otra sea fundamentalmente incierta. Durante mucho tiempo, los estadísticos consideraron estas reglas cuánticas como herramientas exóticas reservadas únicamente para el mundo microscópico de los átomos y las partículas, creyendo que no tenían lugar en el mundo macroscópico de los datos humanos y la toma de decisiones.

Esta separación ha creado una brebra en nuestro entendimiento. Si bien la física cuántica ha revolucionado nuestra visión del universo, su lenguaje matemático ha permanecido mayormente aislado del trabajo diario de los estadísticos. Sin embargo, desarrollos recientes sugieren que el extraño comportamiento de las partículas cuánticas podría no ser un capricho del mundo de lo muy pequeño, sino más bien un reflección de cómo nosotros, como observadores, recopilamos y procesamos información. Si las reglas que gobiernan el espín de un electrón son en realidad reglas sobre los límites de lo que podemos saber, entonces esas mismas reglas podrían aplicarse a cómo analizamos datos en medicina, economía o inteligencia artificial. La pregunta ya no es si la mecánica cuántica es real, sino si su lógica puede ayudarnos a dar mejor sentido a los datos complejos y ruidosos que definen nuestro mundo moderno.

En un nuevo artículo, Inge S. Helland, de la Universidad de Oslo, propone un audaz puente entre estos dos mundos. Él sostiene que las probabilidades cuánticas no son solo para los átomos; pueden servir como una poderosa nueva herramienta para los estadísticos. Helland construye su caso sobre un fundamento fresco para la teoría cuántica, uno que despoja a la física de su misterio "espeluznante" y la reemplaza con una estructura lógica clara basada en lo que un observador puede realmente medir. Él sugiere que el universo está lleno de "variables teóricas": cantidades que existen en un modelo pero que no todas nos son accesibles a la vez. Algunas de estas variables son "accesibles", lo que significa que podemos medirlas con alta precisión, mientras que otras son "inaccesibles", ocultas a la vista directa. El núcleo de su argumento es que cuando intentamos medir dos variables accesibles diferentes que están profundamente conectadas, estas se comportan de una manera que la estadística clásica no puede explicar, pero que la probabilidad cuántica maneja de forma natural.

Para hacer esto concreto, Helland describe un experimento mental que involucra un ensayo médico con cuatro tratamientos diferentes para una erupción cutánea. Imagine un paciente que recibe un tratamiento en el lado izquierdo de su espalda y una mezcla de los otros tres en el derecho. El objetivo es ver qué lado mejora más. Desde una visión clásica, podríamos asumir que podemos calcular la probabilidad exacta de que un lado gane basándonos en las fuerzas ocultas de los cuatro tratamientos. Sin embargo, Helland muestra que si tratamos la situación como un problema cuántico, donde la "pregunta" que hacemos (qué lado es mejor) depende de una "pregunta" previa (cómo se mezclaron los tratamientos), la respuesta cambia. Él calcula que, bajo un conjunto específico de simetrías, la probabilidad de un cierto resultado cambia de una estimación clásica de aproximadamente el 43 por ciento a una estimación cuántica de exactamente el 33 por ciento. Esto no es solo un truco matemático; sugiere que cuando nuestros datos son limitados o nuestros parámetros son complejos, el enfoque cuántico ofrece una forma más robusta de establecer nuestras creencias iniciales, o "priors", incluso antes de ver los resultados.

El artículo va más allá al mostrar cómo estas ideas pueden simplificar problemas de datos complejos, particularmente en el campo del aprendizaje automático. En la inteligencia artificial moderna, las computadoras a menudo luchan cuando se enfrentan a miles de variables pero solo a unos pocos puntos de datos, una situación conocida como la "maldición de la dimensionalidad". Helland demuestra que las técnicas matemáticas utilizadas para resolver esto en la física cuántica —específicamente, un método llamado reducción de modelos— pueden aplicarse a los modelos estadísticos. Al tratar las capas ocultas de una red neuronal como si fueran sistemas cuánticos, él muestra que podemos reducir el número de variables que necesitamos rastrear sin perder información importante. Este enfoque, que está estrechamente relacionado con una técnica estadística llamada regresión de mínimos cuadrados parciales, permite a los investigadores encontrar los patrones más esenciales en un conjunto de datos al enfocarse en las variables "maximales" que portan la mayor cantidad de información, filtrando eficazmente el ruido.

Uno de los hallazgos más significativos del artículo es la derivación de la "regla de Born", la famosa fórmula que los físicos utilizan para calcular la probabilidad de un evento cuántico. Usualmente, esta regla se toma como un postulado fundamental de la naturaleza, algo que simplemente funciona. Helland, sin embargo, la deriva a partir de un conjunto de principios lógicos sobre lo que un observador puede saber. Él argumenta que si aceptamos que nuestro conocimiento está limitado a lo que podemos medir, y que nuestras mediciones están sujetas a ciertas simetrías, la regla de Born emerge naturalmente como la única forma lógica de asignar probabilidades. Esto cambia la perspectiva de la teoría cuántica de ser una descripción de cómo "es" el mundo a una descripción de lo que podemos "saber" sobre el mundo. En esta visión, las extrañas probabilidades de la mecánica cuántica no son una propiedad de las partículas en sí, sino un reflejo de la estructura de nuestra propia indagación.

Las implicaciones para la estadística son profundas. Helland sugiere que, al adoptar estos métodos de inspiración cuántica, los estadísticos pueden manejar situaciones donde los métodos tradicionales fallan, como cuando los datos son escasos o cuando las variables están profundamente interconectadas. Él proporciona una lista de aplicaciones potenciales, que van desde mejorar la precisión de los algoritmos de aprendizaje automático hasta refinar la interpretación de los ensayos clínicos. El artículo no afirma que el mundo entero sea una computadora cuántica, ni sugiere que la estadística clásica sea obsoleta. En cambio, ofrece una nueva lente para ver los datos, una que reconoce los límites del conocimiento humano y utiliza las herramientas matemáticas de la teoría cuántica para navegar esos límites.

En última instancia, este trabajo es una invitación a repensar los fundamentos de cómo aprendemos de los datos. Así como la introducción de nuevas estructuras matemáticas en el pasado ha expandido los horizontes de la física, Helland argumenta que traer la probabilidad cuántica a la estadística puede enriquecer el campo, ofreciendo soluciones a problemas que durante mucho tiempo han parecido intratables. El artículo concluye con una visión de un futuro donde las culturas de la estadística y la física cuántica ya no estén separadas, sino que formen parte de un entendimiento unificado de cómo observamos, medimos y comprendemos el mundo que nos rodea. Al tratar al observador no como un registrador pasivo de hechos, sino como un participante activo cuyas preguntas dan forma a las respuestas, podríamos encontrar una manera más precisa y poderosa de dar sentido a los complejos datos que impulsan nuestra sociedad.