Resumen Técnico: UCAgent

1. El Problema

La verificación funcional sigue siendo el cuello de botella más crítico en los ciclos de desarrollo de circuitos integrados (IC), consumiendo aproximadamente el 70% del tiempo total de desarrollo. A medida que la complejidad de los diseños de semiconductores crece exponencialmente, los métodos tradicionales (verificación aleatoria con restricciones, verificación formal) luchan por mantener el ritmo.

Aunque los Modelos de Lenguaje Grande (LLM) han mostrado promesa en la generación de código, su aplicación en la verificación funcional de extremo a extremo enfrenta tres desafíos principales:

1. Baja precisión en lenguajes de descripción de hardware (HDL): Los LLMs tienen dificultades para generar código de verificación en SystemVerilog/Verilog debido a la escasez de datos de entrenamiento en comparación con lenguajes como Python, lo que resulta en errores sintácticos y semánticos.
2. Fragilidad en flujos de trabajo complejos: La verificación funcional requiere procesar grandes volúmenes de especificaciones y código. Los LLMs sufren de "alucinaciones", pérdida de contexto y acumulación de errores en tareas de múltiples pasos, lo que compromete la fiabilidad del resultado final.
3. Inconsistencia de verificación: Es difícil mantener la trazabilidad semántica entre las especificaciones del diseño, los modelos de cobertura y los casos de prueba. Los LLMs a menudo alteran terminología o generan escenarios inválidos, rompiendo la cadena de trazabilidad necesaria para una verificación confiable.

2. Metodología: UCAgent

Para abordar estos desafíos, los autores proponen UCAgent, un agente autónomo de extremo a extremo que automatiza la verificación funcional a nivel de bloque de hardware. En lugar de generar código SystemVerilog directamente, UCAgent se basa en tres mecanismos centrales:

A. Entorno de Verificación en Python Puro

Para evitar las limitaciones de los LLMs en la generación de SystemVerilog, UCAgent transforma el diseño bajo prueba (DUT) en un paquete de Python (PyDUT) utilizando la herramienta Picker.

• Se utiliza el framework Toffee para proporcionar abstracciones de alto nivel sobre PyDUT.
• Esto permite que el LLM genere todo el entorno de prueba, los casos de prueba y la lógica de verificación en Python, un lenguaje donde los modelos tienen una competencia superior, eliminando la dependencia de la complejidad sintáctica de los HDLs.

B. Flujo de Trabajo de 31 Etapas (Fine-Grained Workflow)

Se ha diseñado un flujo de trabajo configurable y detallado que descompone la verificación en 31 etapas manejables (desde el análisis de requisitos hasta la generación de casos de prueba y análisis de errores).

• Validación por Etapa: Cada etapa cuenta con un verificador automático (checker) dedicado. Antes de avanzar a la siguiente etapa, el output generado por el LLM debe pasar estas validaciones.
• Retroalimentación: Si un verificador detecta un error, devuelve un mensaje específico al LLM para que se autocorrija, evitando la acumulación de errores en etapas posteriores.
• Flexibilidad: El flujo es configurable; por ejemplo, se pueden insertar etapas para generar "mocks" (módulos simulados) si el DUT tiene dependencias complejas.

C. Mecanismo de Etiquetado de Consistencia de Verificación (VCLM)

Para garantizar la trazabilidad y consistencia semántica, se introduce el VCLM.

• Estructura Jerárquica: Obliga al LLM a asignar etiquetas jerárquicas a todos los artefactos generados en tres niveles:
  1. FG (Function Group): Categorías de alto nivel de la especificación.
  2. FC (Function Checkpoint): Características funcionales concretas dentro de un grupo.
  3. CK (Check Point): Condiciones de verificación específicas.
• Validación Cruzada: Los verificadores extraen estas etiquetas de las especificaciones, los modelos de cobertura y los casos de prueba para asegurar que coincidan perfectamente. Si hay una discrepancia (ej. un caso de prueba cubre un punto no definido en la especificación), el flujo se detiene y corrige.

3. Contribuciones Clave

1. Cambio de Paradigma de Implementación: La propuesta de realizar la verificación completa en un entorno de Python puro (usando PyDUT y Toffee) supera la barrera de la baja calidad de generación de SystemVerilog por parte de los LLMs.
2. Arquitectura de Agente con Validación Estricta: La integración de un flujo de trabajo de 31 etapas con verificadores automáticos en cada paso mitiga las alucinaciones y la pérdida de contexto, permitiendo la ejecución de tareas complejas de extremo a extremo.
3. Mecanismo VCLM: Formaliza la consistencia de la verificación mediante etiquetas estructuradas, resolviendo el problema de la trazabilidad entre especificación, cobertura y prueba, algo que los enfoques anteriores (basados solo en prompts) no lograban garantizar.
4. Descubrimiento de Errores Reales: El sistema no solo automatiza la generación de pruebas, sino que ha demostrado capacidad para descubrir defectos de diseño previamente desconocidos en hardware real.

4. Resultados Experimentales

UCAgent fue evaluado en varios módulos de hardware, incluyendo UART, divisores enteros, unidades de punto flotante y módulos de caché.

• Cobertura de Código: Logró hasta un 98.5% de cobertura de código.
• Cobertura Funcional: Alcanzó hasta un 100% de cobertura funcional en módulos como el divisor entero.
• Desempeño por Modelo:
  • Claude-Sonnet-4.5: Mostró la mayor granularidad funcional y cobertura de código promedio (85.9%), aunque requirió más tiempo y reintentos.
  • GPT-5: Demostró la mayor estabilidad en la cobertura funcional (consistentemente 100%) con una variación mínima en fallos.
  • Qwen3-Coder-Plus: Fue el más eficiente en tiempo (promedio 74 min), aunque con una cobertura final ligeramente inferior debido a una descomposición funcional más gruesa.
• Descubrimiento de Bugs: En el módulo LaneFAdd (no verificado previamente), UCAgent descubrió tres errores de condiciones de borde relacionados con el manejo de valores especiales en precisión FP16 y BF16, trazándolos automáticamente a sus puntos de verificación específicos.
• Escalabilidad: Para módulos masivos como PageTableWalker (155k líneas), el flujo automático no pudo completarse solo, pero una estrategia de "humano en el bucle" logró la verificación en 8 horas.

5. Significado e Impacto

El trabajo de UCAgent representa un avance significativo hacia la automatización total de la verificación de hardware.

• Viabilidad Práctica: Demuestra que es posible construir agentes autónomos capaces de gestionar flujos de verificación complejos sin intervención humana constante, superando las limitaciones actuales de los LLMs en el dominio de hardware.
• Reducción de Costos: Al automatizar la generación de entornos de prueba, modelos de cobertura y casos de prueba, podría reducir drásticamente el tiempo y los recursos humanos requeridos (actualmente el 70% del ciclo de desarrollo).
• Nuevos Paradigmas: Establece un nuevo estándar donde la consistencia y la trazabilidad se garantizan mediante mecanismos estructurales (etiquetas y verificadores) en lugar de depender únicamente de la capacidad de razonamiento del modelo de lenguaje.

En conclusión, UCAgent no solo automatiza tareas, sino que introduce una arquitectura robusta que mitiga las debilidades inherentes de los LLMs, ofreciendo una solución práctica y escalable para los desafíos de verificación en la industria de semiconductores moderna.