💻 computer science

CHORUS: Complementary Experts for High-Coverage Testbench Stimulus Generation

CHORUS es un marco de post-entrenamiento que aprovecha puntos de control conductualmente diversos y aprendizaje por refuerzo de recompensa densa para crear modelos expertos complementarios, los cuales son luego consolidados en un único modelo de 4B que supera significativamente a modelos de vanguardia más grandes en la generación de estímulos de bancos de pruebas de verificación de hardware de alta cobertura.

Autores originales: Hejia Zhang, Sheng Lu, Zhongming Yu, Chia-Tung Ho, Brucek Khailany, Jishen Zhao

Publicado 2026-08-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hejia Zhang, Sheng Lu, Zhongming Yu, Chia-Tung Ho, Brucek Khailany, Jishen Zhao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras son como castillos de LEGO gigantes e increíblemente complejos. Antes de que los ingenieros puedan construir estos castillos en la realidad, tienen que asegurarse de que cada ladrillo encaje perfectamente y de que toda la estructura no se derrumbe cuando sople el viento. Para lograr esto, escriben "scripts de prueba" especiales, como un robot que recorre el castillo, sacudiendo paredes, abriendo puertas y comprobando si todo funciona. Este proceso se llama verificación de hardware, y es una parte fundamental para asegurar que nuestros teléfonos, autos y computadoras no tengan errores ocultos.

Durante mucho tiempo, la gente pensó que la única forma de mejorar en esto era construir "cerebros" (modelos de computadora) cada vez más grandes para determinar las mejores pruebas. Pero recientemente, un nuevo tipo de cerebro de computadora inteligente, llamado Modelo de Lenguaje Extenso (LLM por sus siglas en inglés), comenzó a ayudar. Estos modelos son excelentes escribiendo código, pero a menudo necesitan un pequeño empujón para aprender de sus errores. En lugar de solo leer un libro de texto, obtienen la oportunidad de "ejecutar" su código, ver si se rompe e intentarlo de nuevo. Esto es como un videojuego donde no solo lees el manual; juegas el nivel, mueres y aprendes cómo vencerlo la próxima vez. La gran pregunta que los investigadores se plantean es: ¿Cómo hacemos que estos modelos sean verdaderos maestros de las pruebas de hardware sin simplemente hacerlos infinitamente enormes y costosos?

Aquí entra CHORUS, un nuevo método que cambia las reglas del juego. En lugar de intentar que un único modelo gigante y superinteligente lo haga todo, los investigadores se dieron cuenta de que el camino para convertirse en un experto está lleno de desvíos interesantes. Descubrieron que si entrenan un modelo en etapas, terminan con varias "versiones" diferentes del modelo. Aunque estas versiones terminan con puntuaciones generales similares, en realidad son expertas en cosas distintas: como si una fuera excelente probando la cocina, mientras que otra fuera una maga probando el garaje.

El artículo muestra que, al tomar estas diferentes versiones "expertas" y combinarlas, puedes crear un único modelo superpotente que es mucho mejor que cualquiera de ellas por separado. De hecho, este nuevo modelo de 4 mil millones de parámetros (que es relativamente pequeño y compacto) logró obtener un 88.0% en un importante desafío de pruebas de hardware. Este es un salto masivo, superando a un modelo famoso mucho más grande llamado DeepSeek-R1 (que tiene 671 mil millones de parámetros) por 13.5 puntos porcentuales.

Así es como lo hicieron, utilizando una analogía sencilla:

El entrenamiento "por etapas":
Imagina que estás entrenando a un grupo de atletas. Normalmente, eliges al mejor y lo sigues entrenando hasta que sea perfecto. Pero el equipo de CHORUS hizo algo diferente. Entrenaron a tres atletas distintos a través de las mismas etapas rigurosas. Al final, los tres estaban casi igual de en forma, pero tenían diferentes fortalezas. Uno era un velocista, otro un corredor de maratón y otro un saltador de altura.

El descubrimiento "complementario":
Los investigadores notaron que estos atletas no solo hacían lo mismo. Cuando enfrentaban un obstáculo específico, el velocista podría fallar, pero el saltador de altura lo superaría fácilmente. Eran "complementarios". Si solo mirabas su puntuación promedio, pensarías que son iguales, pero si mirabas qué obstáculos podían superar, eran totalmente diferentes.

La magia de la "fusión":
El equipo se preguntó: "¿Podemos combinar a estos tres atletas en un superatleta?".

La mezcla simple (Fusión sin entrenamiento): Intentaron promediar sus músculos juntos. Funcionó un poco, haciendo al nuevo atleta mejor que cualquiera de ellos individualmente, pero no fue perfecto.
El entrenador inteligente (Destilación adaptativa): Este fue el verdadero gran avance. Crearon un nuevo estudiante atleta y actuaron como un entrenador. Para cada nuevo obstáculo, el entrenador miraba a los tres expertos y preguntaba: "¿Quién es el mejor para esto en particular?". Si el velocista era el mejor, el estudiante aprendía del velocista. Si el saltador de altura era el mejor, aprendía de él. Crucialmente, si ninguno de los expertos podía hacerlo mejor que el estudiante, el entrenador saltaba esa tarea para que el estudiante no aprendiera malos hábitos.

El resultado:
Al usar este método de "Entrenador Inteligente", el nuevo modelo único se convirtió en un maestro de todos los obstáculos. No solo promedió las habilidades; eligió la mejor habilidad para cada situación específica. El resultado es un modelo pequeño y eficiente que supera a los gigantes masivos de la industria.

El artículo descarta explícitamente la idea de que solo necesitas un modelo más grande para resolver estos problemas. Demostraron que incluso un modelo masivo de 671 mil millones de parámetros no podía alcanzar el mismo nivel de rendimiento que su pequeño y hábil modelo de 4 mil millones de parámetros. También encontraron que simplemente entrenar un modelo durante más tiempo no ayudaba; la clave era mantener las diferentes "etapas" de entrenamiento para preservar esas fortalezas únicas y complementarias.

En resumen, CHORUS demuestra que en el mundo de las pruebas de hardware, tener un equipo diverso de especialistas y saber cómo combinar sus talentos únicos es mucho más poderoso que tener un único cerebro gigante y omnisciente. Es un recordatorio de que, a veces, la mejor manera de ser un genio es saber cuándo escuchar a tus diferentes voces internas.

Resumen Técnico: CHORUS

Planteamiento del Problema
La verificación de hardware es un componente crítico del diseño de chips, específicamente en la generación de estímulos para bancos de pruebas (testbenches) de alta cobertura. A diferencia de la generación de código estándar, la calidad de un banco de pruebas está determinada por una señal de ejecución medible y no diferenciable: la cobertura alcanzada cuando el estímulo se ejecuta en un simulador de hardware. Aunque los Modelos de Lenguaje Grande (LLMs) han avanzado en la generación de código mediante retroalimentación ejecutable, los modelos de frontera (incluso aquellos con cientos de miles de millones de parámetros) tienen dificultades con esta tarea. Como muestra el artículo, aumentar únicamente el tamaño del modelo produce rendimientos decrecientes, y los procesos de entrenamiento post-entrenamiento estándar (Fine-Tuning Supervisado seguido de Aprendizaje por Refuerzo) tienden a saturarse por debajo del techo de rendimiento alcanzable.

Metodología
Los autores presentan CHORUS (Complementary Experts for High-Coverage Testbench Stimulus Generation), un marco de trabajo de post-entrenamiento diseñado para extraer la máxima capacidad de modelos compactos y especializados en el dominio (específicamente modelos de 4 mil millones de parámetros). El marco se basa en dos observaciones centrales y un proceso de tres etapas:

Observación de Fortalezas Complementarias: Los autores observan que un currículo de Fine-Tuning Supervisado (SFT) por etapas produce checkpoints que, aunque varían en su rendimiento inicial, evolucionan en "expertos" distintos cuando se someten a un proceso idéntico de Aprendizaje por Refuerzo (RL) guiado por ejecución. Aunque estos expertos logran una precisión agregada comparable, poseen fortalezas a nivel de tarea distintas, teniendo éxito en diferentes subconjuntos de diseños de hardware.
2.El Proceso CHORUS:
- Etapa 1: Entrenamiento de RL Independiente: El marco toma checkpoints intermedios de un proceso de SFT por etapas (específicamente del proceso LLM4Cov) y aplica un procedimiento de RL guiado por ejecución idéntico (basado en DAPO) a cada uno. Esto transforma los checkpoints en un conjunto de expertos de RL ( $\pi^0_{RL}, \pi^1_{RL}, \pi^2_{RL}$ ) que son comparables en precisión general pero complementarios en sus capacidades específicas.
- Etapa 2: Consolidación: Para integrar estas fortalezas complementarias en un único modelo desplegable, CHORUS explora dos métodos de consolidación:
  - Fusión sin Entrenamiento (Training-Free Merging): Promedio simple de pesos (Model Soup) o fusión consciente de interferencias (TIES, DELLA) de los pesos de los expertos.
  - Destilación On-Policy de Múltiples Maestros Adaptativa (OPD): Este es el método principal. Un modelo estudiante es entrenado sobre sus propios despliegues (rollouts), pero es guiado por un grupo de maestros expertos. Crucialmente, el sistema emplea un enrutamiento basado en recompensas (reward-gated routing): para cada tarea, el sistema identifica al maestro con mejor rendimiento basado en la recompensa de ejecución. La destilación ocurre solo si ese maestro supera al estudiante actual; de lo contrario, la tarea se omite. Esto evita que el estudiante aprenda comportamientos inferiores y asegura que las actualizaciones ocurran solo donde existe un objetivo demostrablemente mejor.

Contribuciones Clave

Identificación de Redundancia y Diversidad: El artículo demuestra que, si bien las etapas posteriores de SFT aportan poco beneficio adicional una vez aplicado el RL guiado por ejecución, los checkpoints intermedios sirven como una fuente vital de diversidad. Estos checkpoints, cuando se ajustan mediante RL de forma independiente, se convierten en expertos complementarios en lugar de variaciones redundantes.
Destilación con Filtro de Recompensa (Reward-Gated Distillation): La introducción de un mecanismo de destilación adaptativo de múltiples maestros que enruta dinámicamente las tareas al mejor experto y omite las tareas donde ningún experto ofrece una mejora. Este enfoque evita el "promedio de la especialización" común en la fusión de modelos estática.
Eficiencia: El marco logra resultados de vanguardia utilizando un único modelo de 4 mil millones de parámetros, desafiando la noción de que los modelos más grandes son estrictamente necesarios para tareas complejas de verificación de hardware.

Resultados
Evaluado bajo un protocolo de refinamiento agéntico en el benchmark CVDP-ECov (83 repositorios de hardware):

Rendimiento: El modelo CHORUS final (consolidado mediante OPD adaptativa) alcanza un 88.0% de Pass@1.
Comparación: Este resultado supera al DeepSeek-R1 de 671 mil millones de parámetros por 13.5 puntos porcentuales y supera significativamente al estado del arte anterior (LLM4Cov Etapa-2).
Análisis de Diversidad: La "unión oráculo" de los tres expertos independientes alcanza un 90.8% de Pass@1, lo que indica un margen teórico de aproximadamente 5 puntos sobre el mejor experto individual. Los métodos de consolidación de CHORUS recuperan con éxito una parte sustancial de esta brecha, alcanzando un 86.7% mediante la fusión sin entrenamiento y un 88.0% mediante OPD adaptativa.
Robustez: Los resultados se mantienen a través de diferentes modos de inferencia (refinamiento agéntico e inferencia directa) y métricas de cobertura.

Significancia
El artículo sostiene que CHORUS demuestra que las estrategias de post-entrenamiento dirigidas pueden desbloquear capacidades en modelos compactos que superan a los modelos masivos de frontera para tareas de ingeniería especializadas. Al tratar los checkpoints intermedios de SFT como una fuente de expertos complementarios en lugar de simples pasos hacia un modelo final, y al utilizar RL guiado por ejecución para refinar y consolidar estos expertos, el marco logra la generación de estímulos de alta cobertura sin el costo computacional de escalar el tamaño del modelo. El trabajo sugiere que el potencial del proceso "SFT-a-RL" no reside solo en el checkpoint final, sino en el diverso paisaje de expertos que atraviesa.

Más como este