Wrong Code, Right Structure: Learning Netlist Representations from Imperfect LLM-Generated RTL

Este trabajo propone un marco de aprendizaje efectivo para representaciones de netlistas que supera la escasez de datos etiquetados al utilizar RTL imperfecto generado por modelos de lenguaje grande, demostrando que sus patrones estructurales preservados permiten entrenar modelos que generalizan bien a diseños reales y superan a los métodos existentes.

Lo esencial

Imagina que quieres enseñar a un robot a entender cómo funciona un cerebro humano, pero tienes un problema enorme: nadie quiere compartir los planos reales de esos cerebros porque son secretos industriales (propiedad intelectual) y son muy caros de estudiar.

Además, los pocos planos que tienes son muy pocos y muy simples. El robot, al no tener suficientes ejemplos, se vuelve tonto y no puede entender cerebros complejos.

Aquí es donde entra este paper, que propone una solución brillante y un poco "trampa": enseñar al robot con planos imperfectos.

La Gran Idea: "Código Errado, Estructura Correcta"

Los autores descubrieron algo fascinante: si le pides a una Inteligencia Artificial (como un Chatbot avanzado) que escriba el código de un circuito electrónico, a menudo falla en la lógica (el circuito no funciona como debería), pero acierta en la forma (la estructura de los cables y puertas lógicas se ve muy parecida a la real).

Es como si un estudiante de arquitectura dibujara un edificio. Quizás se equivocó al calcular las vigas y el edificio se caería si lo construyeras (código erródo), pero el dibujo tiene las ventanas, las puertas y la escalera en el lugar correcto (estructura correcta).

El paper dice: "¡No importa que el edificio se caiga! Si el dibujo se parece al plano real, podemos usarlo para enseñar al robot a reconocer la forma del edificio."

¿Cómo funciona su método? (La Fábrica de Planos)

Los investigadores crearon una "fábrica" automática que hace tres cosas:

1. El Generador (El Artista Caótico): Usan una IA para escribir miles de versiones de circuitos basándose en una descripción simple (ej: "haz un multiplicador"). La IA escribe mucho código rápido, aunque a veces tenga errores.
2. El Filtro (El Inspector de Calidad): Como muchos de esos dibujos son basura, ponen un filtro. No buscan que el circuito funcione perfectamente (eso es difícil y caro), sino que se parezca estructuralmente a un circuito de referencia. Si el dibujo tiene la "forma" correcta, lo guardan. Si es un desastre total, lo tiran.
3. El Votante (El Crítico de Arquitectura): Para que el robot no aprenda solo un tipo de edificio, piden a la IA que invente diferentes estilos (uno con escaleras de caracol, otro con ascensores, etc.). Luego, otra IA vota por los diseños más interesantes y variados para asegurar que el robot aprenda a reconocer el concepto, no solo un dibujo específico.

¿Qué lograron?

Entrenaron a un modelo de aprendizaje automático (un "cerebro digital") con estos miles de planos imperfectos generados por la IA. Luego, lo pusieron a prueba con circuitos reales y secretos que nunca había visto.

El resultado fue sorprendente:

• El modelo entrenado con estos "planos de IA imperfectos" funcionó tan bien o incluso mejor que los modelos entrenados con los pocos planos reales perfectos que existen.
• Lograron identificar partes de circuitos complejos (como el núcleo de una CPU) en diseños reales, algo que antes era casi imposible por falta de datos.

La Analogía Final

Imagina que quieres aprender a reconocer perros.

• El problema: Solo tienes 5 fotos de perros reales, y son de una raza específica.
• La solución tradicional: Intentar dibujar más perros a mano (lento y costoso).
• La solución de este paper: Le pides a un niño que dibuje perros. El niño se equivoca mucho: le pone 5 patas, le dibuja un hocico de gato, o le pone alas.
  • Sin embargo, el niño sabe que los perros tienen orejas, cola y patas.
  • Si le enseñas a tu robot a reconocer "orejas, cola y patas" usando los dibujos del niño (aunque sean raros), el robot aprenderá la esencia de lo que es un perro.
  • Cuando luego le muestras una foto real de un perro, el robot lo reconoce perfectamente, porque aprendió la estructura, no solo la foto exacta.

En resumen

Este trabajo rompe el "cuello de botella" de los datos en el diseño de chips. Demuestra que no necesitas datos perfectos para aprender, solo necesitas datos que capturen la estructura correcta, incluso si el funcionamiento es un desastre. Es una forma inteligente, barata y escalable de enseñar a las máquinas a entender el hardware complejo del mundo real.

Resumen técnico

Resumen Técnico: Aprendizaje de Representaciones de Netlistas a partir de RTL Generado por LLM Imperfecto

1. El Problema: Escasez de Datos Etiquetados en Circuitos

El aprendizaje de representaciones de netlistas (listas de conexiones de puertas lógicas) es fundamental para tareas posteriores como la detección de piratería de IP, la comprensión funcional, la ingeniería inversa y la auditoría de seguridad de hardware. Sin embargo, este campo enfrenta un cuello de botella crítico:

• Escasez de datos: Los diseños reales están protegidos por Propiedad Intelectual (IP) y son costosos de etiquetar manualmente.
• Limitaciones de los métodos actuales: Los enfoques existentes se basan en conjuntos de datos pequeños y limpios (como ISCAS-85 o EPFL), lo que limita la escalabilidad y la capacidad de generalización de los modelos a diseños complejos del mundo real.
• El desafío de los LLM: Aunque los Modelos de Lenguaje Grande (LLMs) pueden generar código RTL (Nivel de Transferencia de Registros) a gran escala, estos códigos suelen contener errores funcionales. Tradicionalmente, esto ha impedido su uso en el análisis de circuitos, ya que filtrar los ejemplos funcionalmente correctos es prohibitivamente costoso.

2. Observación Clave y Premisa

Los autores hacen una observación contraintuitiva pero crucial: incluso cuando el RTL generado por un LLM es funcionalmente incorrecto, las netlistas sintetizadas resultantes conservan patrones estructurales que son altamente indicativos de la funcionalidad pretendida.
Esto sugiere que la estructura de la red lógica está parcialmente desacoplada de su funcionalidad exacta, permitiendo utilizar datos "ruidosos" (con errores funcionales) para el aprendizaje de representaciones, siempre que la estructura sea fiel al diseño objetivo.

3. Metodología: Marco de Trabajo End-to-End

El paper propone un marco de trabajo automatizado y rentable que transforma la generación de código imperfecto en un conjunto de datos de entrenamiento robusto. El proceso se divide en tres etapas principales (ver Figura 2 del paper):

A. Ampliación de Datos de Circuitos (Circuit Data Augmentation)
Esta etapa genera un conjunto de datos masivo y diverso a partir de especificaciones funcionales o RTL existente:

1. Generación de RTL basada en LLM: Se utiliza un flujo de trabajo impulsado por especificaciones. El LLM extrae especificaciones de diseños existentes o recibe especificaciones de usuario para generar nuevas implementaciones RTL. Se emplea un enfoque de "abajo hacia arriba" para diseños jerárquicos.
2. Bucle de Retroalimentación de Síntesis: Un agente de depuración analiza los registros de error de la herramienta de síntesis (Synopsys Design Compiler) para corregir el código, asegurando que todo el RTL generado sea sintetizable, aunque pueda seguir siendo funcionalmente incorrecto.
3. Mecanismos de Filtrado y Selección:
   • Filtrado a Nivel de Netlista (Similitud Estructural): Para diseños que buscan replicar una arquitectura de referencia, se calcula la similitud coseno entre las incrustaciones de grafos de la netlista generada y la "netlista dorada" (Golden). Se descartan aquellos con similitud estructural muy baja, manteniendo así la diversidad arquitectónica pero asegurando la fidelidad estructural.
   • Votación de Arquitectura a Nivel de RTL: Para fomentar la diversidad arquitectónica (ej. sumaradores de arrastre vs. lookahead), se utiliza un mecanismo de votación donde el LLM actúa como evaluador, seleccionando los diseños más diversos y complejos de un lote, en lugar de filtrar por similitud con un diseño de referencia.

B. Aprendizaje de Representación de Netlistas

• Transformación a Grafo: Las netlistas se convierten en grafos no dirigidos donde los nodos son puertas lógicas y las aristas son cables.
• Extracción de Características: Cada nodo se inicializa con vectores de características que incluyen conectividad (entradas/salidas primarias), función lógica (codificación one-hot) y propiedades estructurales locales (grado de entrada/salida).
• Entrenamiento de GNN: Se entrena una Red Neuronal de Grafos (GNN), utilizando muestreo GraphSAINT para escalabilidad, para aprender incrustaciones (embeddings) que capturen tanto la estructura como la intención funcional latente. Se reutiliza la arquitectura de GNN-RE para garantizar una comparación justa.

C. Tareas de Clasificación
Las incrustaciones aprendidas se utilizan para:

• Clasificación a Nivel de Nodo: Identificación de límites de subcircuitos (ej. distinguir una unidad de multiplicación dentro de un chip plano).
• Clasificación a Nivel de Grafo: Identificación de componentes completos (IPs).

4. Resultados y Evaluación

Los autores evaluaron el marco en tareas de comprensión funcional, escalando desde el nivel de operadores hasta el nivel de IP (Sistemas en Chip completos).

• Identificación de Límites de Subcircuitos (Nivel de Operador):

  • El modelo entrenado con datos aumentados por LLM (específicamente el conjunto LLM-Aug-t2) superó al Baseline (entrenado solo con datos reales limitados), logrando un F1-Macro del 93.79% frente al 90.15% del Baseline.
  • Esto demuestra que los datos sintéticos de alta calidad pueden enriquecer el espacio de características más allá de los datos reales escasos.

• Evaluación de Generalización (Diversidad Arquitectónica):

  • Al probar en variantes arquitectónicas no vistas, el conjunto de datos que utilizó el mecanismo de Votación de Arquitectura obtuvo el mejor rendimiento (F1-Micro 94.45%), superando significativamente a los datos crudos de LLM sin filtrar. Esto confirma que la selección de diversidad arquitectónica es clave para la generalización.

• Estudio de Caso a Nivel de IP (SoC PicoRV32 y NEORV32):

  • Se entrenó un modelo con datos generados de PicoRV32 y se probó exclusivamente en la netlista plana de NEORV32 (un diseño completamente diferente y no visto).
  • Comparativa: El método propuesto (LLM-Filtered) logró un F1 de 68.35%, superando tanto a la ampliación basada en reglas (58.28%) como a la ampliación cruda de LLM (60.44%).
  • La mejora en la precisión (del 58.90% al 71.02%) demuestra que el filtrado estructural elimina eficazmente componentes no relevantes, permitiendo delimitar con precisión los límites funcionales del núcleo de la CPU en un entorno desconocido.

5. Contribuciones Clave

1. Replanteamiento del Valor del RTL Imperfecto: Demuestran que las características estructurales de las netlistas son robustas frente a errores funcionales en el RTL fuente, estableciendo una base principista para el aprendizaje con supervisión ruidosa en hardware.
2. Marco de Aprendizaje Rentable: Presentan el primer marco que utiliza sistemáticamente RTL generado por LLM (funcionalmente imperfecto) para el aprendizaje de representaciones de circuitos. Reduce los costos de preparación de datos en órdenes de magnitud en comparación con la anotación manual o la ampliación basada en reglas.
3. Escalabilidad a Escenarios Reales: Validan que los modelos entrenados con datos sintéticos a gran escala pueden igualar o superar a los métodos que dependen de etiquetas de alta calidad escasas, resolviendo el cuello de botella de datos y extendiendo el alcance de la partición de subcircuitos desde el nivel de operadores hasta el nivel de IP.

6. Significado e Impacto

Este trabajo es significativo porque rompe la dependencia de los conjuntos de datos etiquetados manualmente, que son el principal obstáculo para el avance en el análisis de hardware automatizado. Al demostrar que la estructura es un indicador más robusto y fácil de generar que la funcionalidad perfecta, los autores abren la puerta a la creación de modelos de IA masivos y generalizables para la seguridad y el diseño de hardware, utilizando la capacidad de generación a escala de los LLMs sin incurrir en los costos prohibitivos de la verificación funcional exhaustiva.