Diagnosing Simulation and Hardware Barriers to Cross-Size Transfer in Equivariant Quantum Reinforcement Learning

Planteamiento del Problema

Los problemas de optimización combinatoria (CO), como el Problema del Viajante (TSP), son centrales en la logística y el diseño de redes, pero son NP-duros, lo que hace que las soluciones exactas sean intratables para entradas de gran tamaño. Si bien el Aprendizaje por Refuerzo (RL) y el Aprendizaje por Refuerzo Cuántico (QRL) ofrecen estrategias heurísticas, persiste un importante cuello de botella de escalabilidad: la mayoría de los métodos de QRL requieren un reentrenamiento desde cero para cada nueva instancia o tamaño de problema.

Este artículo investiga si los Circuitos Cuánticos Equivariantes (EQC) —que codifican la simetría de permutación para asegurar que el recuento de parámetros sea independiente del tamaño del problema— pueden facilitar la transferencia zero-shot entre tamaños (zero-shot cross-size transfer). Específicamente, los autores se preguntan si los parámetros $\theta_n$ entrenados en instancias de TSP de $n$ ciudades pueden transferirse directamente a instancias de $m$ ciudades más grandes ($m > n$) sin reentrenamiento, y si esta transferencia sobrevive a una ejecución realista en hardware cuántico.

Metodología

Los autores emplean un pipeline de evaluación de cinco etapas con protocolos emparejados para aislar los efectos de las aproximaciones de simulación, el ruido y el muestreo de disparos finitos (finite-shot sampling) del comportamiento genuino de la transferencia. El estudio utiliza la arquitectura EQC de Skolik et al. [11] (profundidad $L=1$, dos escalares entrenables $\beta, \gamma$) aplicada a instancias de TSP euclídeo.

El pipeline progresa a través de:

1. Etapa Base: Selección de una receta de entrenamiento estable (reescalado de observación congelado, reporte del mejor checkpoint) en un carril de validación de 12 nodos.
2. N1 (Políticas de Origen): Entrenamiento desde cero en $n \in \{5, 10, 15, 20\}$ ciudades utilizando simulación exacta de estado vectorial (statevector).
3. N2 (Transferencia Exacta): Evaluación de la transferencia zero-shot y el ajuste fino (fine-tuning) entre tamaños (ej., $5 \to 10$, $10 \to 15$) utilizando simulación exacta de estado vectorial.
4. N3 (Frontera de Escalamiento): Extensión a tamaños mayores ($n$ hasta 100) utilizando simulación de Red de Productos de Matriz (MPS), MPS con ruido (modelo de ruido de IBM) y barridos de alta dimensión de enlace (high-bond-dimension sweeps) para caracterizar los límites de fidelidad de la simulación.
5. N4 (Ejecución en Hardware): Ejecución de las mismas políticas transferidas en hardware de iones atrapados Quantinuum (H2-2, Helios-1) y emuladores, seguido de una campaña cross-platform a través de cinco dispositivos (Quantinuum, IBM, Rigetti, IQM) que abarcan dos tecnologías de cúbits y cuatro proveedores.

Marco Teórico

El artículo deriva un límite diagnóstico condicional de transferencia para el rendimiento esperado $P_m(\theta^*_n)$ en un tamaño objetivo $m$, dado un entrenamiento de origen en tamaño $n$. El límite descompone la caída de rendimiento en:

• Generalización de Origen: Un término $G^{roll}_n(\delta)$ que controla la brecha entre el rendimiento empírico y el real de origen.
• Penalización de Transferencia ($D_{n \to m}$): Una suma de:
  • Desajuste Paramétrico: Escala linealmente con la norma $\ell_1$ de los parámetros y el salto relativo de tamaño $(m-n)/m$.
  • Suavidad Estructural: Un término $\Psi(n, m)$ (modelado como $\sqrt{m} - \sqrt{n}$ basado en el escalamiento de Beardwood–Halton–Hammersley) que representa la suavidad de la política a través de tamaños de grafo.

Los autores señalan explícitamente que este límite es diagnóstico y de caso peor (worst-case), destinado a identificar estructuras de escalamiento en lugar de predecir brechas numéricas con alta precisión. También aclaran que la arquitectura EQC específica estudiada (Modelo B) es clásicamente simulable mediante métodos algebraicos de Lie (Modelo A), y utilizan esta simulabilidad como un "instrumento de medición" (verdad fundamental) en lugar de reclamar ventaja cuántica.

Resultados Clave

1. Transferencia Validada en el Régimen

Dentro de un régimen validado (saltos de tamaño pequeños, ej., $5 \to 10$), la transferencia zero-shot supera al entrenamiento del tamaño objetivo en las seis evaluaciones completadas. La transferencia $5 \to 10$ logró una brecha de optimalidad media del 5.07%, superando la línea base entrenada desde cero. Esto sugiere que los EQC codifican conocimientos estructurales que se generalizan entre escalas cuando el salto de tamaño es moderado.

2. Tres Barreras Independientes para la Escalabilidad

Más allá del régimen validado, tres barreras distintas impiden que la arquitectura densa y de todos contra todos (all-to-all) de los EQC escale:

• Barrera B1: Pérdida de Señal Inducida por el Backend (Simulación/Truncamiento)

  • Observación: En la simulación MPS, una dimensión de enlace de $\chi=64$ (estándar para muchos estudios) causa un fallo catastrófico para $n=20$ (brecha media del 85.22%), incluso para la transferencia de igual tamaño.
  • Causa: La estructura de entrelazamiento densa genera un crecimiento de entrelazamiento que invalida las aproximaciones de baja dimensión de enlace. El error de truncamiento excede la magnitud de la señal ($\langle Z_i Z_j \rangle$), corrompiendo el ranking de acciones codiciosas (greedy).
  • Umbral: La precisión fiable de la política requiere $\chi \ge 256$, lo cual es computacionalmente prohibitivo para $n$ grandes.

• Barrera B2: Degradación de la Transferencia entre Tamaños (Saltos Grandes)

  • Observación: El rendimiento se degrada de forma suave pero sustancial a medida que aumenta el salto de tamaño $|m-n|$ (ej., la brecha de $5 \to 20$ sube a ~12–18%).
  • Causa: Esto se alinea con el límite de transferencia teórico, impulsado por el desajuste paramétrico y los cambios estructurales. Aunque el ajuste fino puede recuperar parte del rendimiento (ej., la brecha de $15 \to 20$ baja de 13.9% a 10.6% con ajuste fino), la transferencia zero-shot por sí sola es insuficiente para saltos grandes.

• Barrera B3: Penalización de Ejecución por Disparos Finitos (Hardware)

  • Observación: En hardware, la brecha se infla de ~5% (statevector) a 31.3% (emulador sin ruido con 4096 disparos) y 45.3% (hardware real).
  • Causa: Los márgenes de acción (diferencias entre los valores Q candidatos) se encuentran por debajo del umbral de ruido de disparo ($1/\sqrt{N_s}$). Con 4096 disparos, el umbral de ruido es ~0.016, mientras que el margen de acción medio es ~0.006. En consecuencia, las decisiones codiciosas quedan estadísticamente sin resolver (37 de 40 decisiones tuvieron $z < 2$).
  • Confirmación Cross-Platform: Una campaña en cinco dispositivos (Quantinuum, IBM, Rigetti, IQM) confirmó que la penalización está determinada por el conteo de puertas de dos cúbits nativas y la mitigación de errores, no por el presupuesto de disparos.
    • Iones atrapados (all-to-all, 45 puertas): Brecha del 45.3%.
    • Superconductores (rutas, 153–172 puertas, sin mitigar): Brecha del 108–125% (efectivamente recorridos aleatorios).
    • Superconductores (mitigados, 172 puertas): Brecha del 67.8%.
  • Conclusión: Aumentar simplemente los disparos no resuelve el problema porque la relación señal-ruido está fundamentalmente limitada por el sesgo inducido por las puertas y el bajo contraste por borde de la familia de observables densos.

Significancia y Reivindicaciones

Los autores explícitamente no reclaman ventaja cuántica computacional. La arquitectura EQC estudiada es clásicamente simulable. En cambio, la significancia del artículo reside en:

1. Establecer un Estándar Diagnóstico: Proporcionar una metodología reproducible y con protocolos emparejados para evaluar la transferencia entre tamaños en QRL, disociando el comportamiento de la transferencia de los artefactos del simulador o del hardware.
2. Identificar Obstrucciones Arquitectónicas: Demostrar que el ansatz canónico de EQC denso y de todos contra todos enfrenta barreras fundamentales (B1, B2, B3) arraigadas en su conectividad. La topología all-to-all invalida la simulación eficiente de redes de tensores (B1), exacerba las penalizaciones de transferencia (B2) y crea márgenes de acción demasiado pequeños para ser resueltos en el hardware actual (B3).
3. Proponer un Camino a Seguir: Los resultados motivan el uso de diseños de circuitos equivariantes dispersos (sparse) como la solución arquitectónica necesaria para relajar las tres barreras simultáneamente, en lugar de depender únicamente de aumentar los presupuestos de disparos o la mitigación de errores.

El artículo concluye que, si bien los ELC ofrecen un sesgo inductivo prometedor para la transferencia, su implementación densa actual no es escalable a tamaños industrialmente relevantes en el hardware existente sin una modificación arquitectónica.