Resumen Técnico: Porteros y Alucinaciones en la Generación de Circuitos Cuánticos Impulsada por LLM

Declaración del Problema

A medida que los Modelos de Lenguaje Extensos (LLM) se integran en los flujos de trabajo de simulación cuántica —sirviendo como copilotos de IDE, asistentes de cuadernos y orquestadores de pipelines agénticos— existe una brecha crítica en la infraestructura de evaluación. Los benchmarks actuales suelen centrarse en la corrección sintáctica o la generación de código ejecutable. Sin embargo, para las tareas de VQE (Eigensolver Cuántico Variacional) informadas por materiales, lo que está en juego es mayor: los modelos deben preservar restricciones físicamente significativas, interpretar correctamente las entradas de bases de datos externas (por ejemplo, Materials Project) y mantener decisiones de diseño consistentes a través de las ejecuciones.

Los autores identifican que los fallos de los LLM en este dominio no son aleatorios, sino estructurados y diversos. Crucialmente, algunos modos de fallo son "silenciosos": el resultado parece sintácticamente válido y plausible, pero es físicamente incorrecto (por ejemplo, una geometría molecular errónea o llamadas a API inexistentes). A medida que las capacidades de los modelos avanzan, el artículo postula que la plausibilidad de la salida puede aumentar más rápido que la corrección física, lo que hace que una infraestructura de evaluación robusta sea cada vez más vital para evitar la propagación de errores a través de costosos pipelines de simulación cuántica.

Metodología

El artículo propone un marco de evaluación por capas diseñado para ser reutilizable y agnóstico al modelo, aplicado a la generación de circuitos VQE para tareas informadas por materiales. El marco consta de tres etapas distintas:

1. Tamizaje de Porteros (Gatekeeper Screening): Una etapa de cribado ligera basada en rúbricas aplicada antes de comprometerse con tareas costosas informadas por materiales. Los modelos son probados en una tarea base (generación de código UCCSD para H2/STO-3G/Jordan–Wigner) y calificados en una escala de 0 a 4 a través de siete criterios:

   • Validez Física
   • Cumplimiento de Simetría
   • Estado de Referencia (Hartree–Fock)
   • Objetivo de Correlación
   • Localidad
   • Corrección del Framework
   • Calidad de la Explicación

2. Taxonomía de Fallos Estructurada y Análisis de Fidelidad de Circuito:

   • Clasificación del Ansatz: Las salidas se clasifican según el tipo de ansatz que realmente se instancia en el código, independientemente de las afirmaciones del modelo.
   • Métricas de Fidelidad: Para el caso H2/STO-3G/JW/UCCSD, las salidas de los modelos se comparan contra dos tipos de referencia:
     • Analítica: Exactamente 3 parámetros variacionales (derivados de los primeros principios para un espacio activo de (2e, 2o)).
     • Implementación de Referencia: Conteos de puertas y profundidad específicos (por ejemplo, profundidad 73, 24 puertas CX) derivados de una descomposición específica de Qiskit 1.2.x.
   • Taxonomía de Fallos: Los autores categorizan los fallos en cinco modos distintos basados en su detectabilidad (silencioso, en tiempo de ejecución u ostensible).

3. Entropía de Diseño (Consistencia de Comportamiento): Una métrica novedosa que calcula la entropía de Shannon normalizada de las tuplas de diseño distintas (profundidad, conteo de puertas de dos qubits, conteo de parámetros) a través de ejecuciones repetidas. Esto mide si el modelo explora el espacio de diseño de manera amplia o si converge hacia un comportamiento basado en plantillas.

Configuración Experimental:
La evaluación se llevó a cabo en un flujo de trabajo agéntico que integra el Materials Project mediante un servidor MCP. Se probaron múltiples modelos fundacionales (incluyendo Claude Sonnet 4.5, Opus 4.1, Llama 3/4, DeepSeek R1, OpenAI OSS-120B, Nova Pro y Qwen 3-32B). También se realizó una auditoría forense del código fuente de la plataforma de evaluación para verificar el origen de las salidas.

Resultados Clave

1. Taxonomía de Fallos y Fallos Silenciosos

El estudio identificó cinco modos de fallo distintos:

• Alucinación de Geometría: Generar circuitos válidos para la molécula incorrecta.
• Uso de API Inexistente: Llamar a métodos o importar módulos que no existen.
• Fallos de Integración en Tiempo de Ejecución: Código estructuralmente correcto que falla debido a colapsos en el pipeline (por ejemplo, retornos nulos de la recuperación de la base de datos).
• Violaciones de Restricciones: Incumplimiento de contratos de salida estrictos (por ejemplo, emitir cadena de pensamiento cuando se solicitó solo código).
• Salida Plausible pero No Verificable: Proporcionar métricas o resúmenes sin código ejecutable.

Hallazgo Crítico: Los autores descubrieron que dos modelos (Llama 3 70B y DeepSeek R1) parecían generar código de la "molécula incorrecta" (CO en lugar de H2). Una auditoría forense del entorno de evaluación reveló que estos no fueron generaciones del modelo. Los modelos fallaron al emitir código extraíble (uno debido al agotamiento de tokens, el otro por la ausencia de un bloque de código), lo que activó un mecanismo de fallback silencioso en la plataforma que sustituyó una plantilla pregenerada con una fórmula resuelta incorrectamente. Esto demostró que la propia infraestructura de evaluación puede ser una fuente de fallo silencioso, disfrazándose de errores del modelo.

2. Fidelidad de Circuito y Conteos de Parámetros

• Claude Sonnet 4.5 fue el único modelo que produjo una salida UCCSD confirmada y ejecutada que coincidía con todos los valores de referencia (3 parámetros, profundidad 73, 24 puertas CX).
• Claude Opus 4.1 generó código UCCSD estructuralmente correcto, pero el pipeline circundante falló debido a un TypeError en la capa de manejo de respuestas (un fallo de integración en tiempo de ejecución).
• Otros Modelos: La mayoría de los modelos reportaron conteos de parámetros inconsistentes con los primeros principios (por ejemplo, Nova Pro reportó 10 parámetros, un error de +233%). OpenAI GPT produjo una llamada a la API plausible, pero con conteos de parámetros y composiciones de puertas físicamente inconsistentes.

3. Entropía de Diseño y Estabilidad

• Entropía: Una entropía alta indicó una exploración amplia de diseños de circuitos, mientras que una entropía baja sugirió un comportamiento basado en plantillas.
• Estabilidad de Temperatura: Las pruebas de Claude Sonnet 4.5 a través de temperaturas de muestreo ($T \in \{0.1, \dots, 1.0\}$) revelaron que el modelo mantenía una estructura de código y elecciones de API casi idénticas (similitud estructural $\ge 0.96$ para $T \ge 0.3$). Esto contrasta con los hallazgos generales de generación de código donde la diversidad aumenta con la temperatura, sugiriendo un sesgo inductivo específico del dominio hacia diseños canónicos fundamentados físicamente para este modelo.

Significado y Reivindicaciones

El artículo afirma que su contribución principal no es un ranking de los modelos actuales, sino el establecimiento de un vocabulario y metodología compartidos para caracterizar los fallos que son estructurales a la tarea de la generación de circuitos cuánticos impulsada por LLM.

• Necesidad de Porteros (Gatekeepers): Los autores argumentan que la validación tipo portero es un salvaguarda necesario, no opcional, para un despliegue fiable. A medida que los modelos mejoren, los fallos silenciosos serán más difíciles de detectar, haciendo esencial el tamizaje de pre-compromiso.
• Límite de Confianza de la Infraestructura: Una afirmación central es que el entorno de evaluación pertenece al mismo límite de confianza que los modelos. La contaminación a nivel de pipeline (como la sustitución de plantillas silenciosa) puede invalidar los resultados de la evaluación, lo que requiere auditorías forenses de la propia infraestructura.
• Verificación Analítica: El artículo destaca que el error en el conteo de parámetros es el diagnóstico más accesible. Dado que el número correcto de parámetros variacionales para sistemas específicos es derivable analíticamente, esto proporciona una comprobación rápida y definitiva que no requiere la ejecución del circuito.
• Alcance Modesto: Los autores mantienen la modestia respecto a sus hallazgos. Señalan que la observación de estabilidad de temperatura se basa en un solo modelo y un solo prompt ($n=5$) y debe verse como preliminar. También reconocen limitaciones, como la puntuación de rúbrica de un solo evaluador y el hecho de que los verdaderos comportamientos de algunos modelos se vieron oscurecidos por fallos en el entorno de evaluación.

En conclusión, el marco proporciona una base para la evaluación transparente y reproducible de herramientas cuánticas agénticas, enfatizando que fundamentar el código generado por LLM en restricciones físicas y esquemas externos es un desafío persistente que no desaparecerá con la escala.