Resumen Técnico: EDATracer

Declaración del Problema

El diseño moderno de semiconductores depende en gran medida de las herramientas de Automatización de Diseño Electrónico (EDA), las cuales generan colecciones vastas y heterogéneas de artefactos que incluyen código fuente (RTL), scripts de síntesis, registros (logs), netlists y reportes de PPA (Potencia-Rendimiento-Área). El análisis de estos artefactos es crítico para la depuración, optimización y comprensión de los flujos de diseño. Sin embargo, este proceso enfrenta tres desafíos principales:

1. Falta de Benchmarks: Los conjuntos de datos existentes se centran en la generación de código o el análisis de un solo registro, careciendo de benchmarks públicos para el análisis a gran escala y trans-artefacto donde la evidencia está distribuida a través de múltiples tipos de archivos y etapas de diseño.
2. Complejidad y Escala: Un solo diseño puede producir miles de archivos y millones de líneas de salida. El prompting de contexto completo es impracticable debido a los límites de tokens y la heterogeneidad de los datos.
3. Fallos de Fundamentación (Grounding): El análisis efectivo a menudo requiere vincular la evidencia de fuentes dispares (por ejemplo, un mensaje de error en un archivo de registro vinculado a un módulo específico en un archivo fuente o en un reporte anterior). Sin una referencia confiable al contexto de la herramienta EDA, los agentes de Modelos de Lenguaje de Gran Escala (LLM) tienden a alucinar o a depender de coincidencias superficiales de palabras clave en lugar de un razonamiento fundamentado.

Metodología

Los autores proponen EDATracer, un marco de agentes diseñado para el análisis de artefactos EDA basado en evidencia. El sistema opera a través de dos etapas distintas:

1. Curación y Construcción del Conjunto de Datos

Para abordar la falta de datos públicos, los autores construyeron un conjunto de datos exhaustivo que comprende 2,787 diseños de chips de código abierto sintetizables y sus artefactos EDA asociados, totalizando 18.9 GB.

• Colección: Se aplicó un proceso de filtrado de cuatro fases (descubrimiento, filtrado heurístico, evaluación basada en LLM y verificaciones de factibilidad de síntesis) a repositorios públicos de GitHub para identificar diseños RTL válidos y sintetizables.
• Generación: Un pipeline automatizado sintetizó cada diseño utilizando herramientas estándar de la industria (Synopsys Design Compiler) y librerías de tecnología de código abierto (NanGate45, SkyWater130, ASAP7). Este proceso involucró un bucle iterativo de reparación de errores para manejar fallos de síntesis mediante el ajuste de la selección del módulo superior, señales de reloj o configuraciones de scripts.
• Artefactos: El conjunto de datos final incluye código fuente, scripts de síntesis, registros, netlists a nivel de compuerta y reportes de PPA.

2. Arquitectura del Marco de Agentes

EDATracer organiza estos artefactos en una representación estructurada para permitir la recuperación y el razonamiento:

• Etapa Offline (Grafo de Conocimiento e Índice):
  • Grafo de Conocimiento (KG): Los artefactos se mapean en un grafo de conocimiento tipado ($G$) donde los nodos representan entidades (diseños, módulos, registros, reportes) y las aristas codifican la jerarquía, procedencia y relaciones estructurales.
  • Índice de Vectores Semánticos: Los nodos que contienen texto (por ejemplo, fragmentos de registros, documentación) se embeben e indexan ($Z$) para soportar la búsqueda semántica manteniendo los vínculos hacia la estructura del grafo.
• Etapa Online (Interacción de Agentes):
  • Agente de Recuperación: Interactúa con la consulta del usuario para generar solicitudes de información. Utiliza dos modos: Recuperación Semántica (búsqueda vectorial sobre fragmentos de texto) y Recuperación Estructurada (consultas Cypher sobre el grafo de conocimiento para extraer métricas, relaciones o procedencia específicas).
  • Agente de Razonamiento: Sintetiza la evidencia recuperada. Evalúa iterativamente si el contexto acumulado es suficiente para responder a la consulta. Si no es así, solicita más evidencia; de lo contrario, genera una respuesta fundamentada apoyada por artefactos específicos.

Contribuciones Clave

1. Marco EDATracer: Un sistema de agentes que combina un grafo de conocimiento específico del dominio con el razonamiento de LLM para realizar un análisis de artefactos de diseño de chips fundamentado y trans-artefacto.
2. Conjunto de Datos EDA a Gran Escala: Un conjunto de datos curado de 2,787 diseños con 18.9 GB de artefactos heterogéneos, capturando jerarquías de diseño y dependencias entre artefactos.
3. Benchmark de 90 Preguntas: Un benchmark verificado manualmente que cubre tareas factuales, estadísticas y de razonamiento en diversos niveles de dificultad para evaluar las capacidades de análisis de artefactos EDA.
4. Evaluación Exhaustiva: Una comparación rigurosa contra agentes comerciales de última generación (Cursor, Claude Code) y varios backbones de LLM (Claude Opus, Sonnet, Haiku, GPT-5, Qwen).

Resultados

La evaluación demuestra que EDATracer supera a los marcos de agentes comerciales existentes tanto en precisión como en eficiencia:

• Precisión: EDATracer logró la mejor precisión pass@1 general, superando a Cursor en un promedio de 6.4 puntos porcentuales y a Claude Code en 7.2 puntos porcentuales. El sistema mostró una fortaleza particular en preguntas estadísticas, donde logró agregar datos de múltiples artefactos preservando correctamente las unidades y prefijos.
• Eficiencia: EDATracer utilizó de 2.0× a 3.2× menos tokens que Cursor y Claude Code. Esta reducción se atribuye al mecanismo de recuperación estructurada, que evita pasar contextos grandes e irrelevantes al LLM y, en su lugar, recupera nodos y relaciones específicas del grafo.
• Despliegue Local: El marco permitió que modelos más pequeños de pesos abiertos (por ejemplo, Qwen 3.5-9B) funcionaran eficazmente en tareas factuales y estadísticas, acercándose al rendimiento de modelos propietarios más grandes cuando son fundamentados por el grafo de conocimiento.

Significado y Reivindicaciones

El artículo posiciona a EDATracer como una solución al cuello de botella práctico del análisis de artefactos EDA en el diseño de chips moderno. Los autores afirman que, al organizar los artefactos heterogéneos en un grafo de conocimiento estructurado, el marco permite que los agentes de LLM realicen un razonamiento fundamentado en lugar de depender de alucinaciones o emparejamientos de patrones superficiales.

La importancia radica en demostrar que la recuperación basada en grafos puede mejorar significamente la eficiencia de costos y la precisión del análisis de EDA basado en LLM. Los autores señalan que, aunque el marco actual se centra en los artefactos de la etapa de síntesis, la metodología proporciona una base para extender el análisis a etapas más amplias del flujo de diseño (floorplanning, ruteo, sign-off) y artefactos multimodales (layouts, formas de onda) en trabajos futuros. El documento enfatiza que la representación estructurada es crucial para vincular la evidencia a través del flujo de diseño, una capacidad de la que carecen los enfoques de generación aumentada por recuperación (RAG) de tipo plano.