💻 computer science

CHORUS: Complementary Experts for High-Coverage Testbench Stimulus Generation

O CHORUS é um framework de pós-treinamento que aproveita checkpoints comportamentalmente diversos e aprendizado por reforço de recompensa densa para criar modelos especialistas complementares, que são então consolidados em um único modelo de 4B que supera significativamente modelos de estado da arte maiores na geração de estímulos de testbench para verificação de hardware de alta cobertura.

Autores originais: Hejia Zhang, Sheng Lu, Zhongming Yu, Chia-Tung Ho, Brucek Khailany, Jishen Zhao

Publicado 2026-08-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hejia Zhang, Sheng Lu, Zhongming Yu, Chia-Tung Ho, Brucek Khailany, Jishen Zhao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde computadores são como castelos de LEGO gigantes e incrivelmente complexos. Antes que os engenheiros possam construir esses castelos de verdade, eles precisam garantir que cada peça se encaixe perfeitamente e que toda a estrutura não desabe quando o vento soprar. Para fazer isso, eles escrevem "scripts de teste" especiais — como um robô que corre ao redor do castelo, sacudindo paredes, abrindo portas e verificando se tudo funciona. Esse processo é chamado de verificação de hardware, e é uma parte enorme de garantir que nossos telefones, carros e computadores não tenham bugs ocultos.

Por muito tempo, as pessoas pensaram que a única maneira de melhorar nisso era construir "cérebros" (modelos de computador) cada vez maiores para descobrir os melhores testes. Mas recentemente, um novo tipo de cérebro de computador inteligente, chamado Modelo de Linguagem de Grande Escala (LLM), começou a ajudar. Esses modelos são ótimos em escrever código, mas muitas vezes precisam de um pequeno empurrão para aprender com seus erros. Em vez de apenas ler um livro didático, eles podem "executar" seu código, ver se ele quebra e tentar novamente. Isso é como um videogame onde você não apenas lê o manual; você joga o nível, morre e aprende como vencê-lo na próxima vez. A grande questão que os pesquisadores estão fazendo é: Como tornamos esses modelos verdadeiros mestres no teste de hardware sem apenas torná-los infinitamente gigantes e caros?

Apresentamos o CHORUS, um novo método que muda o jogo. Em vez de tentar fazer um único modelo gigante e superinteligente fazer tudo, os pesquisadores perceberam que o caminho para se tornar um especialista é cheio de desvios interessantes. Eles descobriram que, se treinarem um modelo em estágios, acabarão com várias "versões" diferentes do modelo. Embora essas versões terminem com pontuações gerais semelhantes, elas são, na verdade, especialistas em coisas diferentes — como uma que é ótima em testar a cozinha, enquanto outra é uma maga em testar a garagem.

O artigo mostra que, ao pegar essas diferentes versões "especialistas" e combiná-las, você pode criar um único modelo superpoderoso que é muito melhor do que qualquer uma delas sozinha. De fato, este novo modelo de 4 bilhões de parâmetros (que é relativamente pequeno e compacto) conseguiu pontuar 88,0% em um grande desafio de teste de hardware. Isso é um salto massivo, superando um modelo famoso e muito maior, o DeepSeek-R1 (que possui 671 bilhões de parâmetros), em 13,5 pontos percentuais.

Aqui está como eles fizeram isso, usando uma analogia simples:

O Treinamento "Em Estágios":
Imagine que você está treinando um grupo de atletas. Normalmente, você escolhe o melhor e continua treinando-o até que ele seja perfeito. Mas a equipe do CHORUS fez algo diferente. Eles treinaram três atletas diferentes através dos mesmos estágios rigorosos. Ao final, todos os três eram quase igualmente em forma, mas tinham forças diferentes. Um era um velocista, outro um maratonista e outro um saltador em altura.

A Descoberta "Complementar":
Os pesquisadores notaram que esses atletas não faziam apenas as mesmas coisas. Quando enfrentavam um obstáculo específico, o velocista poderia falhar, mas o saltador em altura o superaria facilmente. Eles eram "complementares". Se você olhasse apenas para a pontuação média deles, pensaria que eram iguais, mas se olhasse para quais obstáculos eles conseguiam superar, eles eram totalmente diferentes.

A Magia da "Fusão":
A equipe então perguntou: "Podemos combinar esses três atletas em um superatleta?"

A Mistura Simples (Fusão Sem Treinamento): Eles tentaram apenas tirar a média de seus músculos juntos. Funcionou um pouco, tornando o novo atleta melhor do que qualquer um individualmente, mas não era perfeito.
O Treinador Inteligente (Destilação Adaptativa): Este foi o verdadeiro avanço. Eles criaram um novo atleta estudante e atuaram como um treinador. Para cada novo obstáculo, o treinador olhava para os três especialistas e perguntava: "Quem é o melhor para isso especificamente?" Se o velocista fosse o melhor, o estudante aprendia com o velocista. Se o saltador em altura fosse o melhor, o estudante aprendia com ele. Crucialmente, se nenhum dos especialistas pudesse fazer melhor do que o estudante, o treinador pulava essa tarefa para que o estudante não aprendesse maus hábitos.

O Resultado:
Ao usar este método de "Treinador Inteligente", o novo modelo único tornou-se um mestre de todos os obstáculos. Ele não apenas tirou a média das habilidades; ele escolheu a melhor habilidade para cada situação específica. O resultado é um modelo pequeno e eficiente que supera os gigantes da indústria.

O artigo descarta explicitamente a ideia de que você só precisa de um modelo maior para resolver esses problemas. Eles mostraram que mesmo um modelo massivo de 671 bilhões de parâmetros não conseguiu alcançar o mesmo nível de desempenho que o pequeno e inteligentemente treinado modelo de 4 bilhões de parâmetros deles. Eles também descobriram que simplesmente treinar um modelo por mais tempo não ajudava; a chave era manter os diferentes "estágios" de treinamento para preservar essas forças únicas e complementares.

Em resumo, o CHORUS prova que, no mundo dos testes de hardware, ter uma equipe diversificada de especialistas e saber como combinar seus talentos únicos é muito mais poderoso do que ter um único cérebro gigante e onisciente. É um lembrete de que, às vezes, a melhor maneira de ser um gênio é saber quando ouvir suas diferentes vozes interiores.

Resumo Técnico: CHORUS

Definição do Problema
A verificação de hardware é um componente crítico do design de chips, especificamente na geração de estímulos de testbench com alta cobertura. Diferente da geração de código padrão, a qualidade de um testbench é determinada por um sinal de execução mensurável e não diferenciável: a cobertura alcançada quando o estímulo é executado em um simulador de hardware. Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado na geração de código através de feedback executável, modelos de fronteira (mesmo aqueles com centenas de bilhões de parâmetros) têm dificuldade com essa tarefa. Como mostrado no artigo, o aumento do tamanho do modelo isoladamente produz retornos decrescentes, e os pipelines padrão de pós-treinamento (Fine-Tuning Supervisionado seguido de Aprendizado por Reforço) tendem a saturar abaixo do teto de desempenho alcançável.

Metodologia
Os autores apresentam o CHORUS (Complementary Experts for High-Coverage Testbench Stimulus Generation), um framework de pós-treinamento projetado para extrair a capacidade máxima de modelos compactos e especializados no domínio (especificamente modelos de 4 bilhões de parâmetros). O framework é construído sobre duas observações principais e um pipeline de três estágios:

Observação de Forças Complementares: Os autores observam que um currículo de Supervised Fine-Tuning (SFT) em estágios produz checkpoints que, embora variem em desempenho inicial, evoluem para "especialistas" distintos quando submetidos a um Aprendizado por Reforço (RL) guiado por execução idêntico. Embora esses especialistas alcancem acurácia agregada comparável, eles possuem forças distintas em nível de tarefa, tendo sucesso em diferentes subconjuntos de designs de hardware.
O Pipeline CHORUS:
- Estágio 1: Treinamento de RL Independente: O framework utiliza checkpoints intermediários de um processo de SFT em estágios (especificamente do pipeline LLM4Cov) e aplica um procedimento de RL guiado por execução (baseado em DAPO) idêntico a cada um. Isso transforma os checkpoints em um conjunto de especialistas de RL ( $\pi^0_{RL}, \pi^1_{RL}, \pi^2_{RL}$ ) que são comparáveis em acurácia geral, mas complementares em suas capacidades específicas.
- Estágio 2: Consolidação: Para integrar essas forças complementares em um único modelo implantável, o CHORUS explora dois métodos de consolidação:
  - Fusão Sem Treinamento (Training-Free Merging): Média simples de pesos (Model Soup) ou fusão consciente de interferência (TIES, DELLA) dos pesos dos especialistas.
  - Destilação On-Policy de Múltiplos Professores Adaptativa (Adaptive Multi-Teacher OPD): Este é o método principal. Um modelo estudante é treinado em seus próprios rollouts, mas é guiado por um pool de professores especialistas. Crucialmente, o sistema emprega roteamento baseado em recompensa (reward-gated routing): para cada tarefa, o sistema identifica o professor com melhor desempenho com base na recompensa de execução. A destilação ocorre apenas se esse professor superar o estudante atual; caso contrário, a tarefa é ignorada. Isso evita que o estudante aprenda comportamentos inferiores e garante que as atualizações ocorram apenas onde existe um alvo demonstravelmente melhor.

Principais Contribuições

Identificação de Redundância e Diversidade: O artigo demonstra que, embora os estágios posteriores de SFT ofereçam pouco benefício adicional uma vez aplicado o RL guiado por execução, os checkpoints intermediários servem como uma fonte vital de diversidade. Esses checkpoints, quando ajustados de forma independente via RL, tornam-se especialistas complementares em vez de variações redundantes.
Destilação com Gatilho de Recompensa (Reward-Gated Distillation): A introdução de um mecanismo de destilação adaptativa de múltiplos professores que roteia dinamicamente as tarefas para o melhor especialista e pula tarefas onde nenhum especialista oferece uma melhoria. Essa abordagem evita o "apagamento por média" comum na fusão estática de modelos.
Eficiência: O framework atinge resultados de estado da arte usando um único modelo de 4 bilhões de parâmetros, desafiando a noção de que modelos maiores são estritamente necessários para tarefas complexas de verificação de hardware.

Resultados
Avaliado no benchmark CVDP-ECov (83 repositórios de hardware) sob um protocolo de refinamento agêntico:

Desempenho: O modelo CHORUS final (consolidado via OPD adaptativa) atinge 88,0% de Pass@1.
Comparação: Este resultado supera o DeepSeek-R1 de 671 bilhões de parâmetros em 13,5 pontos percentuais e ultrapassa significativamente o estado da arte anterior (LLM4Cov Estágio-2).
Análise de Diversidade: A "união oráculo" dos três especialistas independentes atinge 90,8% de Pass@1, indicando um potencial teórico (headroom) de ~5 pontos sobre o melhor especialista individual. Os métodos de consolidação do CHORUS recuperam com sucesso uma parte substancial dessa lacuna, com a fusão sem treinamento atingindo 86,7% e o OPD adaptativo atingindo 88,0%.
Robustez: Os resultados sustentam-se em diferentes modos de inferência (refinamento agêntico e inferência direta) e métricas de cobertura.

Significância
O artigo afirma que o CHORUS demonstra que estratégias de pós-treinamento direcionadas podem desbloquear capacidades em modelos compactos que excedem as de modelos de fronteira massivos para tarefas de engenharia especializadas. Ao tratar os checkpoints intermediários de SFT como uma fonte de especialistas complementares em vez de apenas degraus para um modelo final, e ao usar RL guiado por execução para refinar e consolidar esses especialistas, o framework alcança a geração de estímulos de alta cobertura sem o custo computacional de escalar o tamanho do modelo. O trabalho sugere que o potencial do pipeline "SFT-para-RL" não reside apenas no checkpoint final, mas na diversificada paisagem de especialistas que ele percorre.

Mais como este