Entangling power of neural networks

Imagina que estás intentando describir un rompecabezas masivo y complejo a un amigo, pero solo puedes enviarle dos sobres diminutos por separado: un sobre contiene las piezas del lado izquierdo del rompecabezas, y el otro contiene las piezas del lado derecho. La gran pregunta en la ciencia es: ¿Cuánta información necesitas meter en esos diminutos sobres para que, cuando tu amigo los junte, pueda reconstruir perfectamente la imagen completa? En el mundo de la física cuántica, esto es como intentar entender cómo dos partículas distantes están "entrelazadas": una conexión misteriosa donde el estado de una afecta instantáneamente a la otra, sin importar qué tan lejos estén. Los científicos han sabido durante mucho tiempo que, para algunos de estos rompecabezas cuánticos, los "sobres" deben ser increíblemente enormes para contener todos los detalles necesarios. Pero, ¿y si la forma de volver a armar el rompecabezas no es solo un simple trabajo de apilamiento? ¿Qué pasaría si la persona que reensambla el rompecabezas tiene un cerebro súper inteligente y no lineal que puede mirar los dos pequeños sobres y, mágicamente, descifrar la imagen completa? Este es el misterio que un equipo de físicos de MIT, Harvard y Caltech decidió resolver. Querían saber si el uso de un tipo específico de "cerebro" matemático —una red neuronal— podría reducir esos sobres gigantes a algo manejable, incluso para las conexiones cuánticas más complicadas.

El artículo, titulado "Entangling power of neural networks", introduce una nueva forma de medir qué tan buena es una red neuronal en este truco de "reasemblaje". Los autores, Taige Wang, Nisarga Paul y Liang Fu, proponen un concepto que llaman "poder de entrelazamiento" (entangling power). Piensa en una red neuronal como un proceso de dos pasos: primero, dos "codificadores" toman los datos de los lados izquierdo y derecho y los comprimen en un pequeño "espacio latente" compartido (como comprimir una maleta grande en una mochila diminuta). Luego, un "decodificador" toma esas dos mochilas e intenta reconstruir la función o la función de onda original. En los viejos tiempos, los científicos se limitaban a observar cuántos elementos había en las mochilas (el "rango de Schmidt") para adivinar cuán compleja era la conexión. Pero este artículo argumenta que el tipo de decodificador importa tanto como el tamaño. Si el decodificador es solo una herramienta lineal simple (como una calculadora básica), no puede hacer mucha magia. Sin embargo, si el decodificador es un polinomio "no lineal" —una función matemática sofisticada que puede retorcer y girar los datos—, puede generar una cantidad masiva de entrelazamiento a partir de una mochila sorprendentemente pequeña.

Los investigadores calcularon exactamente qué tan poderosos son estos decodificadores polinómicos. Descubrieron que la capacidad de generar entrelazamiento depende de dos cosas: el tamaño del espacio latente (llamémoslo $K$, el ancho de la mochila) y la complejidad del decodificador (llamémoslo $p$, el grado del polinomio). Su hallazgo principal es una fórmula que muestra que el poder de entrelazamiento, $E_p(K)$, es igual a $\binom{K+p}{p}$. Esto puede parecer una ecuación matemática aterradora, pero el resultado es asombroso: incluso con una mochila de tamaño muy modesto (una $K$ pequeña), si utilizas un decodificador con una complejidad decente (un $p$ más alto), la red puede manejar un número astronómico de conexiones.

Para probar esto, los autores analizaron un estado "máximamente entrelazado", que es como el rompecabezas más complicado imaginable (específicamente, $n$ pares de Bell, donde el número de configuraciones es $D = 2^n$). Normalmente, representar este estado requiere una mochila cuyo tamaño crece exponencialmente con el número de partículas. Pero el artículo muestra que, si utilizas un decodificador polinómico, puedes reducir drásticamente el tamaño de esa mochila. Por ejemplo, si utilizas un decodificador con un grado de $p = n$ (donde $n$ es el número de partículas), solo necesitas un ancho de espacio latente de aproximadamente $0.29n$. Aún más sorprendente es que, si dejas que el decodificador se vuelva realmente complejo (grado $p \ge 2n - 1$), puedes comprimir todo el estado máximamente entrelazado en una sola variable ($K=1$). El artículo proporciona una prueba matemática rigurosa para esto, demostrando que cualquier función puede representarse exactamente siempre que el número de combinaciones polinómicas posibles sea mayor que el número de configuraciones que se necesitan describir.

Los autores también aclaran lo que esto no significa. Señalan que, si bien teóricamente puedes comprimir cualquier función en un espacio diminuto si el decodificador es lo suficientemente complejo, ese decodificador en sí mismo podría volverse imposiblemente complicado de construir. En su ejemplo de "máximo entrelazamiento", muestran que comprimir el estado a $K=1$ requiere un decodificador de grado $D-1$ (que es enorme). Por lo tanto, existe una compensación: puedes hacer la mochila diminuta, pero las "instrucciones de reensamblaje" (el decodificador) se vuelven mucho más largas y complejas. El artículo establece que las redes neuronales, con sus decodificadores no lineales, tienen un "poder de entrelazamiento exponencial" con recursos modestos, lo que significa que son mucho más eficientes para capturar correlaciones cuánticas complejas de lo que se pensaba anteriormente, siempre que estés dispuesto a usar un decodificador lo suficientemente complejo. Este trabajo no solo se aplica a la física cuántica; ofrece un nuevo marco para entender cómo los modelos de aprendizaje automático manejan las correlaciones en general, sugiriendo que la "no linealidad" en nuestros modelos de IA es un superpoder para comprimir información que los métodos lineales simplemente no pueden igualar.