Benchmarking Quantum Computers via Protocols, Comparing IBM's Heron vs IBM's Eagle

Este trabajo aplica una metodología de evaluación basada en protocolos para comparar las arquitecturas IBM Eagle y Heron, revelando mejoras sustanciales en el rendimiento operativo de la generación Heron y demostrando la utilidad de este enfoque para identificar ventajas cuánticas prácticas.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una prueba de manejo extremadamente rigurosa para dos generaciones de coches eléctricos de una misma marca (IBM), pero en lugar de coches, son computadoras cuánticas.

Los autores (un equipo de científicos de Israel) querían saber: "¿Cuál de estas dos máquinas es realmente capaz de hacer magia cuántica y cuál es solo un juguete caro?".

Aquí tienes la explicación en español, usando analogías sencillas:

1. El Problema: ¿Cómo medimos la "magia"?

Antes, para ver si una computadora cuántica funcionaba, los científicos miraban si cada "interruptor" (puerta lógica) individual funcionaba bien. Pero es como evaluar a un equipo de fútbol solo mirando si cada jugador puede patear un balón en el entrenamiento, sin ver si pueden jugar un partido real.

La solución de este equipo: En lugar de mirar los interruptores, crearon protocolos (partidos de fútbol completos).

• La analogía: Imagina que tienes que enviar un mensaje secreto a través de una fila de personas.
  • Si la fila es corta y el mensaje llega intacto, ¡bien!
  • Si la fila es larga y el mensaje llega, ¡excelente!
  • Si el mensaje se pierde o se cambia en el camino, la computadora falla.

2. Las Dos "Máquinas" en Competencia

Compararon dos generaciones de chips de IBM:

• Eagle (Brisbane): El modelo "viejo". Es como un coche eléctrico de la primera generación. Tiene menos baterías (qubits) y a veces se queda sin energía o falla en las curvas.
• Heron (Kingston): El modelo "nuevo". Es el coche de última generación. Tiene más baterías, mejor suspensión y está diseñado para ir más lejos sin fallar.

3. La Prueba de Fuego: El "Protocolo de Envío" (Transmit)

Al principio, los modelos viejos (Eagle) eran tan frágiles que ni siquiera podían hacer la prueba más simple: enviar un estado cuántico de un lado a otro sin que se rompiera. Era como intentar pasar una copa de agua llena de un lado a otro de una habitación mientras caminas sobre una cuerda floja; se caía todo el tiempo.

• El hallazgo: Los científicos tuvieron que inventar una prueba aún más simple llamada "Transmit" (Transmitir) para ver si siquiera podían mover un bit de información.
• Resultado en Eagle (Viejo): La mayoría de las piezas del chip fallaron. Solo unas pocas "islas" pequeñas funcionaban.
• Resultado en Heron (Nuevo): ¡La mayoría de las piezas funcionaron! El chip nuevo es mucho más estable.

4. La Metáfora del "Mapa de Tesoros" (Protocol Vector)

Como estos chips son gigantes (tienen más de 100 "habitaciones" o qubits), no todos funcionan igual de bien. Algunos son habitaciones con fugas, otras son perfectas.

Los autores crearon un Mapa de Tesoros (llamado Protocol Vector):

• En el chip viejo (Eagle/Brisbane): El mapa está lleno de zonas rojas (peligro). Solo hay unos pocos puntos verdes (zonas seguras) donde puedes confiar. Si intentas hacer una tarea compleja que necesite conectar dos zonas, el mapa te dice: "No, aquí no puedes".
• En el chip nuevo (Heron/Kingston): El mapa está lleno de zonas verdes. Hay grandes áreas donde puedes conectar habitaciones y hacer cosas complejas sin que se rompa nada.

5. Los Resultados Finales: ¿Quién ganó?

La diferencia fue abismal, como comparar un patinete oxidado con un Ferrari:

• El modelo viejo (Eagle): Falló en las pruebas más avanzadas. No pudo hacer "teletransportación" (enviar información de forma mágica) ni "codificación superdensa" (enviar mucha información en poco espacio) en ninguna parte del chip. Era como intentar correr una maratón con zapatos de madera.
• El modelo nuevo (Heron): Pasó la mayoría de las pruebas. Incluso en las tareas más difíciles (como el "intercambio de entrelazamiento", que es como hacer que dos personas se teletransporten al mismo tiempo), el chip nuevo funcionó muy bien.

6. ¿Por qué es importante esto?

El artículo nos dice que la tecnología cuántica está avanzando rápido, pero no todos los chips son iguales.

• Para los usuarios: Si quieres usar una computadora cuántica para hacer algo real, no basta con decir "tengo un chip de IBM". Debes mirar el mapa. Con el chip viejo, solo podías hacer cosas muy simples en rincones pequeños. Con el chip nuevo, puedes hacer cosas complejas en áreas grandes.
• La lección: No todos los qubits son creados iguales. La calidad y la estabilidad han mejorado drásticamente en la nueva generación.

En resumen

Imagina que IBM construyó dos edificios:

1. Edificio Viejo (Eagle): Tiene muchas habitaciones, pero la mayoría tienen goteras, las puertas se atascan y si intentas caminar de una punta a otra, el suelo se hunde. Solo unas pocas habitaciones son habitables.
2. Edificio Nuevo (Heron): Es un rascacielos moderno. Las habitaciones son estables, los pasillos son seguros y puedes conectar habitaciones lejanas sin que se caiga el edificio.

Este estudio es simplemente el informe de inspección que nos dice: "Dejen de usar el edificio viejo para experimentos serios; el nuevo es el que realmente funciona".

Resumen técnico

Resumen Técnico: Evaluación de Computadoras Cuánticas mediante Protocolos

1. Problema y Motivación

El avance rápido del hardware de computación cuántica ha creado una necesidad crítica de evaluar objetivamente las capacidades y tasas de error de los nuevos procesadores. Los métodos tradicionales de evaluación a nivel de puertas (gate-level) a menudo no capturan la utilidad práctica de un procesador para tareas reales.

• El Desafío: Existe una falta de comprensión clara y realista del rendimiento cuántico actual, lo que dificulta priorizar la investigación y medir el progreso real hacia la ventaja cuántica práctica.
• El Contexto: El estudio se centra en comparar dos generaciones de hardware de IBM: la arquitectura Eagle-r3 (chip "Brisbane", más antiguo) y la arquitectura Heron-r2 (chip "Kingston", más nuevo). Además, se analiza una mejora temporal en el chip Brisbane ocurrida entre mayo y septiembre de 2025.

2. Metodología: Flujo de Trabajo de Búsqueda Óptima (Optimal Lookup Workflow)

Los autores aplican y extienden una metodología de evaluación basada en protocolos (definida previamente en [1]) que utiliza umbrales de "cuanticidad" (quantumness) bien definidos. En lugar de medir errores de puertas individuales, evalúan el rendimiento a nivel de protocolos completos.

Los Protocolos Evaluados:
Se utilizan cinco protocolos fundamentales, ordenados por complejidad:

1. Transmit (Nuevo): Definido por los autores para chips con rendimiento muy bajo. Consiste en mover un estado cuántico de un qubit a otro usando solo puertas de intercambio (swap). Umbral de fidelidad: $2/3$.
2. Do-nothing (No hacer nada): El protocolo base. Se inicializa un estado y se mide sin operaciones complejas, solo para verificar la coherencia básica. Umbral: $2/3$.
3. Bell-state transfer: Transferencia de un estado entrelazado. Umbral: $0.5$.
4. Teleportación: Teletransporte de estado cuántico.
5. Super-dense coding y Entanglement swapping: Protocolos de comunicación y manipulación de entrelazamiento más complejos.

El Flujo de Trabajo (Optimal Lookup):
El proceso es jerárquico y eficiente en recursos, diseñado para identificar "sub-chips" (subconjuntos de qubits) funcionales dentro de un chip grande:

1. Estructura: Los chips se dividen en "rectángulos" de 12 qubits.
2. Fase 1 (c2c - Corner to Corner): Se prueba el protocolo en las rutas más largas entre esquinas opuestas del rectángulo. Solo los rectángulos que superan el umbral avanzan.
3. Fase 2 (M-L - Maximal Lengths): Se prueban todas las rutas de longitud máxima dentro del rectángulo para asegurar que cada qubit actúe como objetivo medido.
4. Fase 3 (A-L - All Lengths): Se prueban todas las rutas internas posibles. Si un rectángulo pasa esta fase, se considera un "sub-chip capaz" para ese protocolo.
5. Evaluación de Pares: Rectángulos vecinos que pasan la evaluación individual se prueban en pares (y potencialmente tríos) para evaluar la escalabilidad.

Vector de Protocolo:
El resultado final es un "vector de protocolo" visual que mapea qué rectángulos del chip son capaces de ejecutar qué protocolos, permitiendo a los usuarios seleccionar la mejor parte del chip para sus cálculos.

3. Contribuciones Clave

• Definición del Protocolo "Transmit": Creado para evaluar chips que fallaban incluso en los protocolos más simples, proporcionando una línea base más baja para medir la "cuanticidad" en hardware defectuoso.
• Metodología de Evaluación Jerárquica: Un enfoque que filtra el hardware ineficiente rápidamente, evitando gastar recursos en evaluar protocolos complejos en regiones del chip que ya fallan en tareas básicas.
• Análisis Comparativo Temporal: Documentación de una mejora significativa no oficial en el chip Brisbane (antes y después de agosto de 2025), demostrando la volatilidad y la capacidad de mejora del hardware.
• Comparación de Arquitecturas: La primera evaluación exhaustiva basada en protocolos que contrasta directamente la generación Eagle con la generación Heron.

4. Resultados Principales

A. Chip Brisbane (Eagle-r3) - Versión Modificada (Septiembre 2025)

• Rendimiento General: Mostró mejoras notables respecto a su versión antigua, pero sigue siendo limitado.
• Protocolos Exitosos:
  • Transmit: 10 rectángulos individuales pasaron la evaluación completa.
  • Do-nothing: 6 rectángulos individuales pasaron.
  • Teleportación: 4 rectángulos individuales.
  • Bell-state transfer: 1 rectángulo individual.
  • Super-dense coding y Entanglement swapping: 0 rectángulos pasaron incluso la fase inicial (c2c).
• Escalabilidad: Ningún par de rectángulos vecinos logró pasar la evaluación para Do-nothing u otros protocolos complejos. El chip no demostró capacidad para ejecutar protocolos en sub-chips más grandes que un solo rectángulo.

B. Chip Kingston (Heron-r2)

• Rendimiento General: Superó drásticamente a Brisbane en todos los aspectos, demostrando una ventaja cuántica práctica real.
• Protocolos Exitosos:
  • Transmit: 13 rectángulos individuales.
  • Do-nothing: 11 rectángulos individuales.
  • Teleportación: 11 rectángulos individuales y 19 pares exitosos.
  • Bell-state transfer: 12 rectángulos individuales.
  • Entanglement swapping: 10 rectángulos individuales y 13 pares exitosos.
  • Super-dense coding: 9 rectángulos individuales y 4 pares exitosos.
• Escalabilidad: Kingston demostró que puede mantener la fidelidad por encima del umbral incluso al duplicar el tamaño del sub-chip (pares de rectángulos), algo que Brisbane no logró en ningún protocolo complejo.

C. Métricas de Puntuación Global
Utilizando una fórmula de puntuación que combina la tasa de éxito (yield) y la fidelidad media:

• Heron (Kingston): Puntuaciones altas en todos los protocolos (ej. 0.431 en Do-nothing, 0.416 en Teleportación).
• Eagle (Brisbane): Puntuaciones muy bajas o nulas en protocolos complejos (ej. 0.0 en Entanglement swapping y Super-dense coding).

5. Significado y Conclusiones

• Superioridad de Heron: La arquitectura Heron-r2 representa un salto cualitativo significativo sobre Eagle-r3. No solo tiene más qubits, sino que ofrece una coherencia y fidelidad operativa que permite ejecutar protocolos cuánticos complejos en regiones funcionales del chip.
• Utilidad del Método: La evaluación basada en protocolos revela limitaciones que los benchmarks de puertas individuales podrían ocultar. Por ejemplo, un chip podría tener puertas de alta fidelidad individualmente, pero fallar al intentar ejecutar un protocolo completo debido a errores de correlación o de calibración.
• Implicaciones Prácticas: El "Vector de Protocolo" permite a los usuarios de IBM Q seleccionar dinámicamente los mejores sub-chips para sus tareas específicas, optimizando el uso de hardware imperfecto.
• Limitaciones: El estudio enfrentó desafíos de consistencia temporal (el rendimiento variaba semana a semana) y cancelaciones de experimentos por parte del proveedor, lo que obligó a estrategias de agregación de datos.

En conclusión, el estudio demuestra que la nueva generación de hardware de IBM (Heron) ha alcanzado un nivel de madurez donde es posible identificar y utilizar sub-chips funcionales para tareas cuánticas complejas, mientras que la generación anterior (Eagle), incluso mejorada, sigue siendo insuficiente para la mayoría de las aplicaciones prácticas más allá de tareas básicas.