Quantum Variational Activation Functions Empower Kolmogorov-Arnold Networks

Resumen Técnico: Funciones de Activación Variacionales Cuánticas Potencian las Redes Kolmogorov-Arnold

Planteamiento del Problema
Los Circuitos Variacionales Cuánticos (VQC) son centrales en el Aprendizaje Automático Cuántico (QML), sin embargo, su aplicación se ha centrado mayoritariamente en la codificación de datos y el mapeo de características, en lugar de servir como funciones de activación aprendibles dentro de arquitecturas neuronales. Por el contrario, las redes Kolmogorov-Arnold (KAN) clásicas han demostrado el poder de las funciones de activación variacionales (VAF) aprendibles, reemplazando las no linealidades fijas por funciones entrenables en cada arista para mejorar la interpretabilidad y la precisión. No obstante, las implementaciones existentes de KAN suelen depender de B-splines o series de Fourier, que pueden ser computacionalmente costosas o requerir un gran número de parámetros para la aproximación de altas frecuencias. Además, aunque los VQC de múltiples cúbits ofrecen expresividad teórica, enfrentan barreras prácticas significativas en la era de la Computación Cuántica de Escala Intermedia con Ruido (NISQ), incluyendo altas tasas de error en puertas de dos cúbits, problemas de mesetas estériles (barren plateaus) durante el entrenamiento y el costo prohibitivo de la simulación clásica para sistemas grandes. El artículo aborda la necesidad de un marco que unifique la expresividad de los circuitos cuánticos con la escalabilidad e interpretabilidad de las KAN, diseñado específicamente para ser viable en el hardware actual y simuladores clásicos.

Metodología
Los autores proponen un marco general denominado Funciones de Activación Variacionales Cuánticas (QVAF), donde los circuitos cuánticos parametrizados sirven como funciones de activación aprendibles. Para hacer este marco práctico ante las restricciones actuales, introducen una instanciación específica de un solo cúbit llamada DatA Re-Uploading ActivatioN (DARUAN).

• Arquitectura DARUAN: A diferencia de los VQC estándar que codifican los datos una sola vez, DARUAN utiliza una estrategia de re-carga de datos (data re-uploading). Consiste en una secuencia de $r$ bloques, donde cada bloque alterna entre una unitaria entrenable $W^{(\ell)}(\theta_\ell)$ y una operación de codificación de datos $S(w_\ell x) = e^{-i w_\ell x H}$. Crucialmente, los pesos de preprocesamiento de datos $w_\ell$ son entrenables. La salida es el valor de la esperanza de un observable de Pauli (típicamente $\sigma_z$) medido en un solo cúbit.
• QKAN y HQKAN: Los autores integran DARUAN en la topología de KAN para crear Redes Kolmogorov-Arnold de Inspiración Cuántica (QKANs). En las QKANs, cada activación de arista es un circuito DARUAN de un solo cúbit distinto. Para abordar las limitaciones de escalabilidad de las KAN (donde los parámetros escalan cuadráticamente con las dimensiones de entrada/salida), los autores introducen la QKAN Híbrida (HQKAN). La HQKAN envuelve un núcleo latente compacto de QKAN con capas de compresión y expansión clásicas totalmente conectadas, permitiendo al modelo manejar entradas de alta dimensión de manera eficiente.
• Extensión de Capas: Para optimizar la estabilidad del entrenamiento y la capacidad, los autores emplean una estrategia de "extensión de capa". Los modelos se entrenan primero con un número pequeño de repeticiones de re-carga ($r$) y luego se extienden progresivamente a un $r$ mayor, inicializando los nuevos parámetros como identidad. Esto permite que el modelo aprenda primero las estructuras de baja frecuencia y luego refine los detalles de alta frecuencia sin tener que reentrenar desde cero.
• Análisis Teórico: El artículo proporciona pruebas teóricas que demuestran que, con pesos de preprocesamiento entrenables, el espectro de frecuencia accesible de un DARUAN de un solo cúbit puede crecer exponencialmente con el número de repeticiones $r$ (específicamente, una elección geométrica de pesos $w_\ell = 2^{\ell-1}$ produce un ancho de banda lleno de $2^r - 1$). Esto ofrece una reducción de parámetros en términos de capacidad comparado con las KAN basadas en Fourier clásicas, que requieren parámetros que aumentan linealmente para lograr el mismo ancho de banda.

Contribuciones Clave

1. Marco QVAF: Una definición general de circuitos cuánticos como funciones de activación aprendibles, uniendo el QML con el aprendizaje profundo clásico.
2. DARUAN: Una instanciación de un solo cúbit de QVAF, computacionalmente eficiente, clasificablemente simulable y ejecutable directamente en el hardware NISQ actual.
3. Arquitecturas QKAN y HQKAN: Nuevos diseños de redes que integran DARUAN en las KAN, ofreciendo una mejor eficiencia de parámetros, expresividad y generalización.
4. Garantías Teóricas: Pruebas que demuestran que los pesos de preprocesamiento entrenables permiten un crecimiento exponencial en el soporte de frecuencia accesible, proporcionando una base teórica para la eficiencia de parámetros de las QKANs sobre las alternativas clásicas basadas en Fourier.
5. Destilación de Conocimiento: Un método para transferir los parámetros aprendidos de una QKAN entrenada a una KAN clásica (usando B-splines), permitiendo que las QKANs sirvan como un mecanismo de preentrenamiento para modelos clásicos.

Resultados Experimentales
Los autores validan su enfoque a través de tres dominios:

• Regresión de Funciones: En tareas de regresión ruidosa utilizando el conjunto de datos Feynman, las QKAN superan consistentemente o igualan a las KAN clásicas y a los MLP. Notablemente, las QKAN logran un RMSE comparable o menor con aproximadamente un 24% menos de parámetros en promedio. En un benchmark más amplio de 66 expresiones simbólicas, las QKAN lograron el RMSE más bajo en más del 80% de las ecuaciones utilizando un 30% menos de parámetros que las KAN clásicas.
• Clasificación de Imágenes: En MNIST, CIFAR-10 y CIFAR-100, las QKAN y HQKAN alcanzan precisiones top-1 y top-5 competitivas. Las HQKAN, en particular, demuestran una eficiencia de parámetros superior, logrando una precisión comparable o mejor con significativamente menos parámetros (por ejemplo, en CIFAR-100, la HQKAN usa ~32k parámetros frente a ~384k de la KAN) manteniendo una alta precisión.
• Modelado Generativo: Al integrarse en GPT-2 (como HQKANs), los modelos lograron una menor perplejidad y una convergencia más rápida en comparación con las líneas base de MLP, utilizando solo un tercio de los parámetros y un 30% menos de memoria durante el entrenamiento.
• Validación de Hardware: Los autores realizaron la validación de inferencia en el procesador cuántico IBM Aachen. Si bien la regresión de alta precisión mostró sensibilidad al ruido de disparo (shot noise) y errores de hardware, las tareas de clasificación (CIFAR-10/100) mantuvieron un rendimiento robusto (dentro de un 2-3% de la precisión del solucionador exacto) incluso con conteos bajos de disparos (100 disparos), demostrando la viabilidad de la inferencia de DARUAN de un solo cúbit en dispositivos NISQ.

Significancia y Reivindicaciones
El artículo afirma que las QKAN representan un "puente" entre las arquitecturas clásicas interpretables y las activaciones estructuradas derivadas de circuitos cuánticos. La significancia radica en los siguientes puntos:

• Practicidad: Al utilizar circuitos de un solo cúbit, el enfoque evita el problema de las mesetas estériles y los cuellos de botella de fidelidad de las puertas de entrelazamiento de múltiples cúbits, lo que lo hace inmediatamente viable en simuladores clásicos y en el hardware cuántico actual para inferencia.
• Eficiencia: El acoplamiento estructurado de los coeficientes de Fourier a través de parámetros de rotación compartidos actúa como un regularizador implícito, permitiendo que las QKAN logren una alta expresividad con menos parámetros que sus contrapartes clásicas.
• Escalabilidad: La arquitectura HQKAN y la estrategia de extensión de capas abordan los desafíos de escalabilidad inherentes a las KAN, permitiendo la aplicación de módulos de inspiración cuántica a modelos de gran escala como los LLM.
• Validación: El trabajo sirve como una "validación en el presente" del concepto QVAF. Aunque los autores reconocen que los VAF de múltiples cúbits con puertas de entrelazamiento podrían ofrecer beneficios adicionales (por ejemplo, reducción de profundidad), enfatizan que el diseño actual de un solo cúbit es el camino más robusto y escalable, dado las limitaciones del hardware actual. Los modelos entrenados pueden ejecutarse directamente en hardware NISQ para inferencia, proporcionando una vía directa para la ventaja cuántica en tareas de inferencia específicas incluso antes de la disponibilidad de computadoras cuánticas tolerantes a fallos.