Which data samples matter when training a quantum model?

Planteamiento del Problema

Si bien la expresividad, los paisajes de pérdida y la generalización de los modelos de Aprendizaje Automático Cuántico (QML) se han estudiado extensamente desde una perspectiva centrada en el modelo, existe una falta de comprensión respecto a la compatibilidad entre modelos cuánticos específicos y conjuntos de datos particulares. La investigación existente suele caracterizar la capacidad y la entrenabilidad del modelo, pero no aborda directamente cómo contribuyen los puntos de datos individuales al proceso de aprendizaje o cómo seleccionar eficientemente subconjuntos de datos que maximicen el rendimiento del modelo. Los autores postulan que es necesaria un enfoque centrado en los datos para determinar qué puntos de datos son más críticos para la dinámica de aprendizaje de un modelo y para mejorar la eficiencia de datos en los flujos de entrenamiento de QML.

Metodología

Los autores extienden el marco de la información V-utilizable (V-usable information), introducido originalmente por Xu et al. para modelos clásicos, al dominio de los modelos cuánticos parametrizados. Este marco cuantifica la información que una familia de modelos específica puede extraer de un conjunto de datos en relación con sus restricciones computacionales y arquitectónicas.

1. Marco Teórico:

• Información V-utilizable ($I_V$): Definida como la reducción de la incertidumbre sobre las etiquetas $Y$ cuando se proporciona el dato $X$, la cual es alcanzable solo por una familia de modelos $V$. Se calcula como $I_V(X \to Y) = H_V(Y) - H_V(Y|X)$, donde $H_V(Y)$ es la entropía predictiva con una entrada nula (sin datos) y $H_V(Y|X)$ es la entropía condicional dado el dato.
• Información V-puntual (PVI): Una extensión que asigna un valor de información a puntos de datos individuales $(x, y)$. La PVI puede ser negativa, lo que indica que un ejemplar específico podría obstaculizar el aprendizaje (por ejemplo, debido al ruido o al etiquetado erróneo) o que el modelo lo predice mejor sin él.
• Proxy de V-generalización ($\Delta_V$): Una métrica definida como la diferencia absoluta entre la información V-utilizable en los datos de prueba frente a los de entrenamiento, que sirve como una medida de la capacidad de generalización basada en la teoría de la información.

2. Adaptación Cuántica:

• Construcción de la Entrada Nula: Un desafío crítico en el entorno cuántico es definir una "entrada nula" ($\emptyset$) que no proporcione información específica de la tarea pero que preserve el sesgo inductivo del modelo. Los autores evaluaron tres candidatos: una aproximación de estado de Haar aleatorio (N1), un estado de producto de Hadamard (N3) y un estado cero (N2). Determinaron que el estado de producto de Hadamard ($H^{\otimes S}|0\rangle^{\otimes S}$, etiquetado como N3) ofrece una línea base práctica de alta entropía comparable a los estados de Haar aleatorios, sin requerir cúbits ancilla ni simulaciones de la matriz de densidad. El estado cero (N2), que no aplica puertas ($U_{\emptyset} = I$), tuvo un desempeño sustancialmente inferior.
• Estimación: La información V-utilizable se aproxima empíricamente mediante el entrenamiento de un conjunto de $K$ instancias de modelos cuánticos independientes con semillas de parámetros aleatorias.

3. Configuración Experimental:

• Conjuntos de Datos:
  • Clasificación de Fases: Estados fundamentales de Hamiltonianos de clúster generalizados (16 cúbits) que distinguen entre fases topológicas protegidas por simetría, ferromagnéticas, antiferromagnéticas y triviales.
  • Adhoc: Una tarea de clasificación 2D sintética con ambigüedad, redundancia y ruido controlados.
  • NTangled: Una tarea específica de naturaleza cuántica en 8 cúbits que distingue estados mediante valores de Entrelazamiento Concentrado.
• Modelos: Circuitos cuánticos parametrizados (PQCs) con codificaciones de mapas de características (feature-map) y capas de ansatz entrenables (por ejemplo, 10 capas de rotaciones y CNOTs).
• Escala: Los experimentos se realizaron utilizando simulaciones de vector de estado para sistemas más pequeños y métodos de redes de tensores para evaluar un modelo de 50 cúbits, demostrando la tractabilidad más allá de los límites estándar de la simulación de vectores de estado.

Contribuciones Clave

1. Formulación de la Información V-utilizable para QML: Los autores proporcionan una formulación independiente de la arquitectura de la información V-utilizable aplicable a circuitos de codificación de mapa de características-ansatz, modelos de re-carga de datos (data re-uploading) y codificaciones parametrizadas integradas.
2. Estrategia de Entrada Nula Cuántica: Abordan la construcción no trivial de una entrada nula para modelos cuánticos, validando el estado de producto de Hadamard (N3) como una línea base efectiva y de bajo costo computacional.
3. Diagnósticos a Nivel de Muestra: Mediante el uso de la PVI, este trabajo ofrece una visión detallada de la dinámica de aprendizaje, identificando qué muestras son memorizadas, cuáles apoyan la generalización y cómo evoluciona la utilidad de la muestra durante el entrenamiento.
4. Estrategia de Selección de Subconjuntos de Datos: Los autores introducen una estrategia de preselección que identifica subconjuntos de datos informativos sin requerir un modelo entrenado. En lugar de descartar las muestras de baja PVI (lo que requeriría un entrenamiento previo), proponen seleccionar muestras con una PVI baja en la inicialización. La hipótesis es que estas muestras no están bien representadas por el sesgo inductivo inicial del modelo y, por lo tanto, proporcionan una señal de aprendizaje más fuerte y diversa.
5. Demostración de Escalabilidad: El flujo de trabajo se demuestra como tratable para modelos de 50 cúbits utilizando métodos de redes de tensores, cerrando la brecha entre las métricas teóricas y la simulación cuántica a gran escala.

Resultados

• Dinámica de Aprendizaje: Los mapas de PVI en la tarea de clasificación de fases revelaron que el modelo tuvo dificultades para aprender información cerca de los límites de fase y en la Fase IV, lo cual se reflejó en valores bajos de PVI. La métrica de información V-utilizable rastreó el progreso del entrenamiento de forma más continua que la precisión (accuracy), la cual se estancó y fluctuó.
• Generalización: El proxy de V-generalización ($\Delta_V$) mostró una fuerte concordancia cualitativa con la diferencia entre la pérdida de entrenamiento y la de prueba, validándolo como una medida significativa de la generalización.
• Eficiencia de Datos:
  • En los conjuntos de datos de clasificación de fases, adhoc y NTangled, la estrategia de selección de subconjuntos guiada por PVI superó al muestreo aleatorio uniforme, al muestreo de entropía, al muestreo k-center y al muestreo inspirado en TDA, particularmente al seleccionar subconjuntos del 10% o más.
  • Los subconjuntos seleccionados mediante PVI produjeron normas de gradiente inicial más grandes y dimensiones efectivas más altas, lo que sugiere una mejor expresividad.
  • Prueba de Concepto de 50 Cúbits: Entrenar un modelo de 50 cúbits con solo el 20% de los datos (seleccionados vía PVI) alcanzó una precisión de prueba de 0.716, comparado con 0.742 para el conjunto de datos completo. La diferencia (2.6%) estuvo dentro de la desviación estándar de las ejecuciones del subconjunto, demostrando que el subconjunto seleccionado retuvo la mayor parte del rendimiento del conjunto de datos completo mientras reducía las muestras de entrenamiento en un 80%.

Significancia y Reivindicaciones

El artículo afirma establecer la información V-utilizable como una poderosa herramienta de diagnóstico para las dinámicas de aprendizaje y una vía práctica hacia un aprendizaje automático cuántico eficiente en datos.

• Perspectiva Centrada en los Datos: Desplaza el enfoque de las propiedades puramente centradas en el modelo hacia la compatibilidad entre los modelos y conjuntos de datos específicos, revelando estructuras que las métricas estándar (como la precisión) o los límites de generalización podrían pasar por alto.
• Eficiencia de Recursos: La estrategia de selección basada en PVI propuesta permite identificar muestras de entrenamiento críticas sin el costo computacional de entrenar primero en el conjunto de datos completo, abordando directamente la intensidad de recursos en el entrenamiento de QML.
• Extensión Teórica: El trabajo complementa los avances recientes en la teoría de la generalización dependiente del modelo al proporcionar diagnósticos puntuales centrados en los datos.
• Limitaciones: Los autores señalan modestamente que la métrica no está normalizada (lo que requiere cuidado al comparar entre tareas con diferentes distribuciones de etiquetas) y que la elección de la entrada nula sigue siendo un supuesto de modelado. También destacan que la robustez del marco ante el ruido del hardware cuántico requiere una evaluación adicional.

En conclusión, los autores argumentan que los estudios empíricos y dependientes de los datos utilizando la información V-utilizable son esenciales para evaluar los modelos de QML, ya que las garantías teóricas no siempre predicen el comportamiento práctico de los modelos entrenados con conjuntos de datos finitos.