🤖 AI

NoTB: Oracle-Free Triage of LLM-Generated RTL via Cross-Model Formal Consensus

El artículo presenta NoTB, un marco de trabajo libre de oráculo que aprovecha la verificación de equivalencia secuencial a través de múltiples diseños RTL generados por LLM para establecer una señal de consenso formal, permitiendo un triaje de alta precisión de la corrección funcional sin depender de bancos de pruebas o referencias doradas.

Autores originales: Elisavet Lydia Alvanaki, Je Yang, Biruk Seyoum, Luca P. Carloni

Publicado 2026-08-25

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Elisavet Lydia Alvanaki, Je Yang, Biruk Seyoum, Luca P. Carloni

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo del diseño de chips informáticos, los ingenieros tradicionalmente escriben código que describe cómo debe fluir la electricidad a través de un circuito. Este código, conocido como nivel de transferencia de registros o RTL, actúa como un plano para el hardware físico. Durante décadas, la creación de este código ha sido un proceso meticuloso impulsado por humanos, donde cada línea se verifica contra una referencia confiable para asegurar que el chip funcione correctamente. Recientemente, la inteligencia artificial ha comenzado a escribir este código por nosotros. Los modelos de lenguaje extensos, el mismo tipo de tecnología que puede escribir historias o responder preguntas, ahora se están utilizando para generar estos complejos planos de hardware a partir de descripciones de texto simples. Si bien estos modelos pueden producir muchas versiones de un diseño rápidamente, persiste un problema crítico: ¿cómo saben los ingenieros cuáles de estos diseños generados por IA realmente funcionan? En el pasado, la respuesta era comparar la salida de la IA contra una referencia perfecta hecha por humanos o ejecutarla a través de una prueba de simulación. Sin embargo, la creación de estas referencias perfectas es costosa y lenta, y las pruebas mismas a veces pueden pasar por alto errores ocultos.

Un equipo de investigadores de la Universidad de Columbia ha introduido una nueva forma de clasificar estos diseños generados por IA sin necesidad de una referencia perfecta o una prueba preescrita. Llaman a su sistema NoTB. En lugar de depender de un único juez para decidir si un diseño es bueno, o de ejecutar una simulación que podría pasar por alto un fallo crítico, NoTB pide a múltiples modelos de IA diferentes que escriban el mismo diseño de forma independiente. Luego, utiliza una herramienta matemática rigurosa llamada verificación de equivalencia secuencial para ver si las diferentes versiones se comportan exactamente de la misma manera bajo cada condición posible. La idea central es que, si varios modelos de IA diferentes, que han sido entrenados de distintas maneras, llegan exactamente al mismo comportamiento, es muy probable que hayan encontrado la solución correcta. Este enfoque permite a los ingenieros identificar los diseños más confiables en una etapa temprana del proceso, ahorrando tiempo y recursos antes de comprometerse con la construcción del chip real.

Los investigadores probaron este método en setenta y ocho tareas diferentes de diseño de hardware. Utilizaron cuatro familias distintas de modelos de lenguaje extensos para generar múltiples versiones de cada diseño. Para cada tarea, compararon las salidas para ver cuáles eran matemáticamente idénticas. Descubrieron que cuando los diseños de las cuatro familias de IA estaban de acuerdo en el mismo comportamiento, el sistema era correcto casi el noventa y cinco por ciento de las veces. Esta alta confianza conllevó una compensación: el sistema solo realizó una predicción para aproximadamente el veintisiete por ciento de las tareas. Sin embargo, al reducir el requisito a solo tres familias de acuerdo, el sistema pudo cubrir el treinta y tres por ciento de las tareas manteniendo una tasa de precisión del ochenta y siete por ciento. Esto ofrece a los diseñadores una herramienta flexible: pueden optar por ser extremadamente cautelosos y aceptar solo los diseños más seguros, o pueden aceptar un riesgo ligeramente mayor para lograr que se aprueben más diseños para pruebas posteriores.

El estudio también reveló por qué los métodos antiguos de verificación de diseños de IA no eran fiables. Un enfoque común consistía en pedir a un segundo modelo de IA que actuara como juez y predijera si un diseño era correcto. Los investigadores descubrieron que este método era inconsistente; el mismo diseño podía ser marcado como correcto por un juez e incorrecto por otro, dependiendo de qué modelo de IA estuviera realizando la labor de juzgar. Otro método implicaba pasar los diseños a través de una prueba creada por una IA. Los investigadores descubrieron que la calidad de los resultados dependía enteramente de la calidad de esa prueba. Si la prueba era débil, podía fallar al detectar errores, llevando al sistema a creer que un diseño defectuoso era en realidad correcto. En contraste, el nuevo método no depende de una prueba ni de un juez. Se basa en el hecho de que los diseños mismos están probados como idénticos a lo largo de todo el rango de entradas posibles, lo que hace que el acuerdo sea una propiedad del diseño en lugar de una propiedad de la herramienta utilizada para verificarlo.

Para que este proceso sea eficiente, el sistema utiliza una técnica de filtrado inteligente. En lugar de comparar cada par de diseños individualmente, lo que tomaría mucho tiempo, primero elimina los duplicados exactos y luego agrupa los diseños que ya han sido probados como iguales. Esto reduce significamente el número de comparaciones necesarias. Todo el proceso, desde la generación de los diseños hasta su verificación, toma en promedio entre uno y dieciséis minutos por tarea, dependiendo de cuántas versiones se generen. El costo de ejecutar este sistema también es manejable, ya que evita la necesidad de realizar llamadas costosas y repetidas a los modelos de IA solo para que actúen como jueces. Los investigadores enfatizan que este método no reemplaza la necesidad de una verificación final. En cambio, actúa como un sistema de triaje, una forma de clasificar la pila de diseños generados por IA para que los más prometedores puedan avanzar con confianza, mientras que los inciertos se dejan de lado para una revisión más tradicional y exhaustiva.

Los hallazgos sugieren que la diversidad de los modelos de IA utilizados es clave para el éxito del sistema. Los investigadores probaron qué sucedería si eliminaban una de las cuatro familias de IA de la mezcla. Descubrieron que el sistema seguía siendo robusto y preciso incluso cuando faltaba un modelo, demostrando que la señal de confianza proviene del acuerdo colectivo del grupo y no de la dependencia de un solo modelo. Esto hace que el enfoque sea práctico para el uso en el mundo real, donde el acceso a modelos de IA específicos puede variar. El estudio concluye que, al cambiar el enfoque de las pruebas simuladas a la prueba matemática formal de acuerdo, los ingenieros pueden construir un flujo de trabajo más fiable para el uso de la inteligencia artificial en el diseño de hardware. Esto permite a la industria aprovechar la velocidad de la generación por IA mientras mantiene los rigurosos estándares de seguridad requeridos para los complejos chips que impulsan la tecnología moderna.

Resumen Técnico: NoTB – Triaje de RTL generado por LLM libre de oráculos mediante consenso formal entre modelos

Planteamiento del problema
Los Modelos de Lenguaje de Gran Escala (LLM) son cada vez más capaces de generar diseños de Transferencia de Registros-a-Nivel (RTL) sintetizables a partir de especificaciones en lenguaje natural. Sin embargo, persiste un cuello de botella crítico: evaluar la corrección funcional de estos diseños generados de forma temprana en el proceso sin acceso a un "oráculo" confiable (como un banco de pruebas de referencia o un modelo RTL dorado). La construcción de tales oráculos es costosa y propensa a errores, y a menudo no están disponibles al inicio de una tarea de diseño.

Los enfoques actuales libres de oráculo sufren limitaciones fundamentales:

LLM-como-Juez: Reemplaza la ejecución con la predicción basada en modelos, pero carece de garantías formales y exhibe un fuerte sesgo dependiente del modelo, lo que conduce a tasas de falsa aceptación inconsistentes (que varían hasta un 45% entre modelos).
Autoconsistencia basada en simulación: Depende del acuerdo conductual bajo bancos de pruebas generados por LLM. Este enfoque asume que el banco de pruebas cubre el espacio de entrada relevante y que las implementaciones incorrectas discrepan entre sí. En la práctica, los bancos de prueba débiles pueden omitir entradas críticas, permitiendo que diseños incorrectos formen un "falso consenso", mientras que los modos de error compartidos pueden causar que múltiples modelos converjan en el mismo comportamiento erróneo.

Metodología: El marco NoTB
Los autores introducen NoTB, un marco que reemplaza el acuerdo heurístico por el consenso formal entre modelos cruzados. La idea central es que si las implementaciones producidas por familias de LLM entrenadas de forma independiente son probadas como equivalentes sobre todo el espacio de entrada mediante Verificación de Equivalencia Secuencial (SEC), su acuerdo es una propiedad de los diseños mismos, no de un conjunto finito de vectores de prueba.

El flujo de trabajo de NoTB consta de cuatro etapas:

Generación de RTL multi-modelo: Para una especificación dada, el sistema toma muestras de múltiples implementaciones RTL de $M$ familias de LLM entrenadas independientemente (por ejemplo, Claude, GPT, Gemini, Qwen). Cada modelo genera $K$ candidatos, creando un conjunto de candidatos diverso $D(s)$ .
Clasificación de equivalencia formal: NoTB construye un grafo donde los nodos son implementaciones candidatas y las aristas representan la equivalencia probada. Utiliza una herramienta formal (Cadence JasperGold) para realizar la Verificación de Equivalencia Secuencial (SEC) en pares de diseños.
- Dos diseños se conectan solo si la herramienta prueba que producen salidas idénticas para todas las secuencias de entrada.
- Los resultados inconclusos o los desajustes de interfaz no crean aristas.
- Los componentes conectados en este grafo forman clústeres de equivalencia.
Poda incremental: Para gestionar el costo computacional ( $O(|D|^2)$ $O (∣ D ∣^{2})$ ), NoTB emplea una poda ligera:
- Los archivos sintácticamente idénticos se fusionan mediante hashing antes de la SEC.
- Una estructura de datos de unión-conjunto (union-find) rastrea los componentes de equivalencia; una vez que un par es probado como equivalente, se omiten comparaciones futuras dentro de ese componente.
- Las no equivalencias probadas entre representantes de componentes evitan comprobaciones redundantes entre componentes.
Puntuación de confianza mediante diversidad de modelos: El sistema identifica el clúster de equivalencia más grande ( $C^*$ $C^{*}$ ) para una especificación. La puntuación de confianza se define como el conteo de modelos: el número de distintas familias de LLM representadas dentro de ese clúster.
- Un mayor conteo de modelos indica que modelos independientes con diferentes sesgos inductivos convergieron en el mismo comportamiento formalmente probado.
- Los diseñadores pueden establecer un umbral $\tau$ (por ejemplo, $\tau=4$ ) para aceptar solo especificaciones donde el clúster dominante contenga implementaciones de al menos $\tau$ familias distintas. Esto crea un compromiso ajustable entre precisión (confianza) y cobertura (número de especificaciones aceptadas).

Contribuciones clave

Demostración de la dependencia del banco de pruebas: El artículo muestra que el triaje libre de oráculo basado en simulación es altamente sensible al generador del banco de pruebas. Sobre un conjunto de candidatos fijo, la precisión de un consenso de simulación de cuatro vías varió del 43% al 84% basándose únicamente en qué LLM generó el banco de pruebas.
Introducción de NoTB: Un marco novedoso que sustituye el acuerdo aprendido/basado en simulación por el consenso formal entre modelos cruzados. Clasifica los candidatos mediante SEC y los puntúa mediante la diversidad de familias de LLM en el clúster.
Señal de corrección calibrada: La evidencia empírica demuestra que el conteo de modelos es una señal calibrada para la corrección. El sistema demuestra una relación monotónica: un acuerdo formal más fuerte entre modelos se correlaciona con tasas de error empírico más bajas.

Resultos experimentales
Evaluado en 78 tareas de generación de RTL del benchmark NVIDIA CVDP utilizando cuatro familias de LLM (Claude 3.7, GPT-OSS-120B, Gemini 2.5, Qwen 3) con 5 muestras cada una:

Consenso de cuatro familias ( $\tau=4$ ): Logró una precisión del 94.7% con una cobertura del 27%.
Conso de tres familias ( $\tau=3$ ): Logró una precisión del 87% con una cobertura del 33%.
Comparación con líneas base:
- LLM-como-Juez: Mostró alta inestabilidad; las tasas de falsos positivos variaron significamente dependiendo del generador y del modelo juez.
- Clasificación basada en simulación: La precisión fluctuó drásticamente (43%–84%) dependiendo del generador del banco de pruebas, mientras que la SEC formal se mantuvo estable en ~95%.
Robustez: Los estudios de ablación de "dejar uno fuera" confirmaron que la señal de alta precisión no depende de ninguna familia de modelos específica; la alta precisión se mantuvo incluso cuando se eliminaba una familia.
Costo: Aunque la SEC requiere un tiempo de cómputo significativo (mediana de 1–16 minutos por especificación dependiendo de las muestras), evita los costos masivos de tokens asociados con ejecutar miles de llamadas de "juez" o generar múltiples bancos de pruebas para cada candidato.

Significado y afirmaciones
El artículo afirma que NoTB proporciona una base fiable y libre de oráculos para un triaje de alta confianza en las etapas tempranas del diseño de hardware. Al aprovechar las garantías formales en lugar de heurísticas aprendidas o vectores de prueba finitos, NoTB permite a los diseñadores certificar selectivamente un subconjunto de diseños RTL generados que probablemente sean correctos, permitiéndoles saltarse las comprobaciones de etapa temprana o priorizarlos para la verificación final. Los autores enfatizan que NoTB no reemplaza la necesidad de un oráculo confiable o un flujo de verificación completo; más bien, actúa como un filtro para identificar candidatos de alta confianza antes de que haya una referencia dorada disponible. El método se presenta como una solución práctica al problema del "triaje", ofreciendo un control explícito sobre el compromiso entre riesgo y cobertura sin requerir oráculos dependientes de modelos.

Más como este