HDLxGraph: Bridging Large Language Models and HDL Repositories via HDL Graph Databases

El artículo presenta HDLxGraph, un marco innovador que integra la estructura gráfica de los lenguajes de descripción de hardware (HDL) con la generación aumentada por recuperación (RAG) para superar las limitaciones de los métodos actuales en proyectos complejos, complementado con el nuevo conjunto de datos de referencia HDLSearch.

Lo esencial

¡Claro que sí! Imagina que tienes un gigantesco libro de instrucciones para construir una ciudad de Lego compleja (esto es el código de hardware o HDL), pero el libro tiene miles de páginas, está desordenado y está escrito en un idioma muy técnico.

Ahora, imagina que tienes un asistente de inteligencia artificial (IA) muy inteligente, pero que a veces se confunde porque:

1. No entiende que la ciudad de Lego tiene niveles (barrios, edificios, habitaciones, cables).
2. No entiende que cuando dices "luz roja", en el mundo de los circuitos significa algo muy específico que no tiene nada que ver con un semáforo real.

Aquí es donde entra el trabajo de los autores de este paper, llamado HDLxGraph. Vamos a explicarlo con una analogía sencilla:

1. El Problema: El "Traductor" que se pierde

Antes, cuando querías que la IA encontrara una pieza específica en ese libro gigante de instrucciones, usábamos un sistema llamado RAG (que es como un bibliotecario que busca en el índice por palabras clave).

El problema es que este bibliotecario tradicional cometía dos errores graves:

• Error de Estructura (El Mapa): Si le decías "busca el cable que va al semáforo", el bibliotecario buscaba la palabra "cable" en todo el libro sin darse cuenta de que los cables están dentro de "habitaciones", que están dentro de "edificios". Se perdía en la jerarquía.
• Error de Vocabulario (El Dialecto): Si decías "el sistema se detiene", el bibliotecario buscaba la palabra "detener". Pero en el código de hardware, eso se escribe como un "borde de reloj" o una "señal de reinicio". El bibliotecario no entendía que son lo mismo.

2. La Solución: HDLxGraph (El "Arquitecto" con dos planos)

Los autores crearon HDLxGraph, que es como darle al bibliotecario dos planos especiales de la ciudad de Lego para que nunca se pierda:

• Plan 1: El Árbol de la Ciudad (AST - Árbol de Sintaxis Abstracta)
  Imagina que este plano muestra la jerarquía. Le dice a la IA: "Oye, no busques 'cables' en todo el libro. Primero busca el 'Edificio A', luego la 'Habitación B', y solo ahí busca el 'Cable C'".

  • Analogía: Es como si en lugar de buscar "llave" en toda la casa, el sistema te dijera: "La llave está en el cajón de la cocina, dentro de la casa principal".

• Plan 2: El Mapa del Agua (DFG - Gráfico de Flujo de Datos)
  Este plano muestra cómo viaja la energía o la información. Imagina que el agua (datos) fluye por tuberías. Si hay una fuga (un error o "bug"), este plano te permite seguir la tubería hacia atrás para ver dónde se rompió, sin importar qué palabras se usaron para describirla.

  • Analogía: Si la luz de tu habitación no enciende, no buscas la palabra "bombilla", sino que sigues el cableado desde el interruptor hasta la bombilla para ver dónde se cortó la corriente.

3. ¿Qué lograron hacer?

Crearon un nuevo sistema que combina estos dos planos. Cuando le haces una pregunta a la IA:

1. Descompone tu pregunta: Entiende si buscas un edificio, una habitación o un cable.
2. Busca en el plano correcto: Usa el "Árbol" para encontrar la estructura y el "Mapa de Agua" para entender cómo funciona la lógica.
3. Encuentra la respuesta exacta: Ya no se confunde con palabras similares o estructuras planas.

4. El Nuevo "Examen" (HDLSearch)

Además, los autores se dieron cuenta de que no había un examen estándar para probar si estos sistemas funcionaban bien en el mundo real (con proyectos gigantes de miles de líneas de código). Así que crearon HDLSearch, que es como un banco de preguntas y respuestas generado automáticamente a partir de proyectos reales de hardware, para poner a prueba a la IA.

En resumen:

HDLxGraph es como darle a un asistente de IA un GPS de doble capa para navegar por el caos de los códigos de hardware.

• Sin esto, la IA es como un turista perdido en una ciudad enorme, preguntando por "la calle del semáforo" y terminando en el parque.
• Con esto, la IA es como un arquitecto local que conoce cada callejón, cada tubería y cada edificio, y puede encontrar el error o la pieza que necesitas en segundos, incluso si la pregunta estaba un poco confusa.

Los resultados mostraron que este nuevo sistema es mucho más preciso para buscar código, encontrar errores (debugging) y completar tareas que los métodos anteriores, funcionando incluso con diferentes tipos de inteligencias artificiales.

Resumen técnico

Resumen Técnico: HDLxGraph

1. El Problema

El uso de Modelos de Lenguaje Grande (LLM) para tareas de Diseño de Lenguaje de Descripción de Hardware (HDL) se enfrenta a dos desafíos principales: la escasez de datos de entrenamiento y la degradación del rendimiento debido a prompts excesivamente largos. Aunque la Generación Aumentada por Recuperación (RAG) se ha utilizado para mitigar estos problemas, las aproximaciones actuales basadas en similitud semántica (texto plano) fallan en proyectos de HDL reales y complejos (con miles de líneas de código) debido a dos desajustes fundamentales:

• Desajuste Estructural: Las consultas en lenguaje natural son planas y secuenciales, mientras que el diseño en HDL es jerárquico y estructurado (módulos, bloques, señales). Los métodos tradicionales no pueden navegar eficazmente por esta jerarquía multi-nivel.
• Desajuste de Vocabulario: La terminología específica del dominio de hardware (operadores, palabras clave, flujos de datos) difiere significativamente de las descripciones en lenguaje natural, lo que impide que los embeddings semánticos estándar capturen la verdadera semántica del código.

Esto resulta en una baja recuperación (recall) y precisión al intentar buscar, depurar o completar código en repositorios grandes.

2. Metodología: HDLxGraph

Los autores proponen HDLxGraph, el primer marco de trabajo que integra las características inherentes de grafos de los lenguajes HDL con los sistemas RAG. En lugar de tratar el código como texto plano, HDLxGraph construye una base de datos de grafos que captura tanto la estructura como el comportamiento del hardware.

El marco se basa en dos tipos de grafos específicos de HDL:

1. Árboles de Sintaxis Abstracta (AST): Capturan la estructura jerárquica del código (Módulos $\to$ Bloques $\to$ Señales). Esto permite alinear las consultas de lenguaje natural con la arquitectura física del diseño.
2. Grafos de Flujo de Datos (DFG): Capturan las conexiones a nivel de señal y el flujo de datos entre componentes. Esto aborda el desajuste de vocabulario al rastrear cómo se propagan las señales y dependen unas de otras, independientemente de los nombres de las variables.

Flujo de Trabajo:

• Preparación de la Base de Datos de Grafos: Se utilizan analizadores (basados en Verilator) para extraer AST y DFG de los repositorios de código. Se generan incrustaciones (embeddings) para los nodos y se establecen relaciones cruzadas entre archivos (instancias de módulos).
• Recuperación Multi-nivel:
  • Descomposición de Consultas: Un LLM (llamado "Decomposer") descompone la consulta del usuario en niveles estructurales (módulo, bloque, señal).
  • Recuperación AST: Se realiza una búsqueda semántica en los niveles jerárquicos, filtrando pares válidos de módulo-bloque.
  • Recuperación DFG: Para tareas de depuración y completado, se utiliza el DFG para rastrear el flujo de señales. En depuración, se recorre el grafo aguas arriba desde la señal errónea; en completado, se buscan patrones de flujo de datos similares.
• Tareas de Descarga: Los fragmentos de código recuperados se fusionan y se envían al LLM para generar la solución final (búsqueda, corrección de errores o completado de código).

3. Contribuciones Clave

• HDLxGraph: Un marco híbrido RAG que es el primero en integrar AST y DFG específicos de HDL para resolver los desajustes estructurales y de vocabulario.
• HDLSearch: La creación de un nuevo conjunto de datos y benchmark para la búsqueda de código HDL. Dado que no existían benchmarks públicos de alta calidad para esta tarea, los autores generaron automáticamente pares de consulta-respuesta derivados de proyectos reales de nivel de repositorio (como CPUs y protocolos de interconexión).
• Validación Exhaustiva: Demostración de la adaptabilidad del marco con tres LLMs de diferentes escalas (Claude-3.5-Sonnet, Qwen2.5-Coder-7B, LLaMA-3.1) en tareas de búsqueda, depuración y completado.

4. Resultados Experimentales

Los experimentos compararon HDLxGraph contra métodos basados en similitud (BM25, CodeT5+) y contra el estado del arte en RAG de grafos para software (GraphRAG de Microsoft).

• Búsqueda de Código (HDLSearch): HDLxGraph superó a los baselines mejorando la MRR (Mean Reciprocal Rank) en un 12.04% sobre el RAG basado en similitud y un 11.59% sobre el GraphRAG de software. Esto demuestra la necesidad de la jerarquía estructural para la recuperación precisa.
• Depuración de Código: En el repositorio mor1kx, HDLxGraph logró puntuaciones ROUGE consistentemente más altas, mejorando un 12.22% en depuración sobre el RAG basado en similitud y un 8.18% sobre el GraphRAG de software. El enfoque de rastreo de señales permitió localizar errores que los métodos textuales pasaban por alto.
• Completado de Código: Se observó una mejora en la tasa de Pass@1 de entre un 3% y un 10% en varios modelos, destacando que la comprensión estructural beneficia incluso tareas a nivel de módulo.
• Estudio de Ablación: Confirmó que el análisis AST es crucial para la búsqueda y el completado, mientras que el análisis DFG es esencial para la depuración, validando la necesidad de ambos componentes.

5. Significado e Impacto

Este trabajo representa un avance significativo en la intersección entre la Inteligencia Artificial y el diseño de hardware.

• Superación de Limitaciones Actuales: Demuestra que tratar el HDL como texto plano es insuficiente para proyectos complejos y que la representación basada en grafos es necesaria para capturar la semántica del hardware.
• Herramienta para la Industria: Proporciona una metodología escalable para gestionar y buscar en grandes repositorios de código de hardware, facilitando la automatización de tareas de ingeniería.
• Nuevo Estándar de Evaluación: Al introducir HDLSearch, establece una línea base necesaria para futuras investigaciones en la recuperación y generación de código HDL, llenando un vacío crítico en la literatura académica.

En resumen, HDLxGraph no solo mejora la precisión de las tareas asistidas por LLM en hardware, sino que redefine cómo se debe estructurar la información de los repositorios de HDL para aprovechar al máximo las capacidades de los modelos de lenguaje modernos.