iScript: A Domain-Adapted Large Language Model and Benchmark for Physical Design Tcl Script Generation

O artigo apresenta o iScript, um modelo de linguagem adaptado ao domínio de design físico e um benchmark correspondente, que superam os modelos de linguagem gerais na geração de scripts Tcl para o EDA ao utilizar um pipeline de síntese de dados multiestágio e uma estratégia de treinamento em duas etapas para mitigar a escassez de dados e garantir alta confiabilidade.

O essencial

Imagine que projetar um chip de computador moderno (como os do seu celular) é como construir uma cidade gigante e complexa. Para organizar essa cidade, os engenheiros usam um "idioma de comando" muito específico chamado Tcl. É como se eles tivessem que escrever milhares de instruções manuais para dizer ao computador onde colocar cada prédio (transistor), como conectar as ruas (fios) e como garantir que a energia chegue a todos sem causar um apagão.

O problema é que escrever essas instruções manualmente é lento, chato e exige um conhecimento tão especializado que poucos engenheiros conseguem fazer isso bem. É como tentar escrever um manual de instruções para um foguete espacial usando apenas um dicionário de palavras comuns.

Aqui entra o iScript, o "herói" desta história.

O Que é o iScript?

O iScript é um assistente de inteligência artificial (IA) treinado especificamente para falar a língua dos engenheiros de chips. Pense nele como um "estagiário genial" que foi treinado não com livros de história ou receitas de bolo, mas apenas com manuais técnicos de construção de chips.

O grande desafio era que não existiam muitos exemplos públicos dessas instruções (os dados eram escassos e secretos). Então, os criadores do iScript tiveram uma ideia brilhante: eles criaram seus próprios dados de treinamento.

Como eles ensinaram o iScript? (A Fábrica de Dados)

Como não havia livros suficientes, eles construíram uma "fábrica de receitas":

1. Coleta de Ingredientes: Eles pegaram manuais técnicos e fóruns de discussão para entender quais comandos existiam.
2. Montagem Aleatória (e Bagunçada): Usaram robôs para misturar esses comandos aleatoriamente, criando milhões de "frases" em Tcl. Muitas estavam erradas, como tentar montar um carro misturando peças de uma bicicleta.
3. O Inspetor de Qualidade (Linting): Um programa especial varreu todas essas frases e jogou fora as que estavam com erros de gramática (sintaxe).
4. O Professor Inteligente (Back-Inference): Aqui está a mágica. Eles usaram uma IA superpoderosa (como um professor sábio) para olhar as frases corretas e perguntar: "Que pergunta o engenheiro fez para receber essa resposta?".
   • Exemplo: A IA vê o comando set_place_mode e o professor deduz: "O engenheiro deve ter pedido: 'Coloque as células de forma eficiente'".
5. O Raciocínio (Chain-of-Thought): O professor também escreveu o "passo a passo" do pensamento. Não basta dar a resposta; é preciso explicar por que aquela resposta foi escolhida.

No final, eles tiveram 10.000 exemplos perfeitos de: Pergunta + Pensamento Lógico + Resposta Correta.

O Treinamento (Escola de Especialização)

Com esses dados, eles treinaram o iScript em duas etapas:

1. Imersão: O modelo leu milhares de scripts para aprender a "gramática" do Tcl, como um aluno que aprende a falar um novo idioma antes de tentar escrever poesia.
2. Prática com Explicação: O modelo aprendeu a responder às perguntas dos engenheiros, mas obrigatoriamente explicando o raciocínio antes de dar o código. Isso o torna mais confiável e menos propenso a alucinações.

O Teste de Prova (iScript-Bench)

Para saber se o iScript realmente aprendeu, eles criaram um exame de qualificação chamado iScript-Bench.

• O exame tem perguntas de 5 áreas diferentes (como "desenhar o mapa da cidade" ou "consertar o trânsito").
• As perguntas têm 3 níveis de dificuldade: Fácil (uma linha de código), Médio (várias linhas) e Difícil (lógica complexa).

Como corrigir o exame sem um computador real?
Rodar esses scripts em um chip real é caro e demorado (como testar um foguete real a cada erro de escrita). Então, eles usaram uma estratégia de dois passos:

1. Verificação de Gramática: Um robô simples verifica se o código tem erros óbvios de sintaxe.
2. Verificação de Significado: Uma segunda IA (o "professor") lê o código gerado e compara com o que o engenheiro pediu, usando manuais técnicos para entender se a lógica faz sentido.

Os Resultados

Quando colocaram o iScript para competir contra as IAs mais famosas do mundo (como GPT-4, Gemini, Claude), o resultado foi impressionante:

• As IAs gerais (que sabem de tudo um pouco) falharam miseravelmente nos comandos específicos de chips. Elas escreviam código que parecia inglês, mas não funcionava na "língua" do chip.
• O iScript venceu em quase todas as categorias. Ele não só escreveu o código correto, mas também explicou o raciocínio.
• Mesmo nas perguntas mais difíceis, onde as outras IAs desistiam, o iScript ainda conseguia acertar uma parte significativa das respostas.

Conclusão

Em resumo, o iScript é como ter um engenheiro sênior disponível 24 horas por dia que não comete erros de digitação e entende perfeitamente as regras complexas de construção de chips.

A lição principal é: IAs genéricas são ótimas para conversar, mas para tarefas muito específicas e técnicas, você precisa de um especialista treinado com dados do mundo real (ou dados criados inteligentemente). Isso vai acelerar a criação de chips mais rápidos e eficientes no futuro, tornando a tecnologia acessível a mais pessoas.

Resumo técnico

Título: iScript: Um Modelo de Linguagem Grande Adaptado a Domínio e Benchmark para Geração de Scripts Tcl de Design Físico

1. O Problema

O estágio de Design Físico (PD) na implementação de ASICs modernos tornou-se extremamente complexo, dependendo pesadamente de scripts Tcl (Tool Command Language) para automatizar fluxos de place-and-route (P&R), como floorplanning, colocação, síntese de árvore de clock e roteamento.
Os principais desafios identificados pelos autores são:

• Escassez de Dados: Scripts de PD são proprietários e raros em fontes públicas, dificultando o treinamento de modelos de linguagem (LLMs).
• Semântica Específica: Comandos e opções de ferramentas (como o Cadence Innovus) formam um vocabulário altamente especializado e esparsamente distribuído, que LLMs gerais não dominam.
• Acoplamento Semântico: Há uma forte dependência entre comandos (ex.: regiões de colocação devem alinhar com a geometria do floorplan), tornando a tradução de requisitos em linguagem natural para scripts executáveis muito difícil.
• Falta de Avaliação Padronizada: Não existem benchmarks públicos para avaliar a geração de scripts Tcl em PD, e a verificação funcional completa exige ferramentas EDA comerciais caras e não reprodutíveis.

2. Metodologia

Os autores propõem uma abordagem completa que abrange a síntese de dados, o treinamento do modelo e uma estratégia de avaliação inovadora.

A. Pipeline de Síntese de Dados (Multi-estágio)
Para superar a falta de dados de treinamento, foi desenvolvido um pipeline que gera um conjunto de dados de 10.000 tuplas (Requisito, Cadeia de Pensamento [CoT], Script):

1. Geração de Scripts: Extração de comandos Tcl de manuais e guias, seguida pela geração de fragmentos de scripts via combinações e permutações programáticas.
2. Validação Sintática Estática: Uso de um linter Tcl para filtrar scripts sintaticamente inválidos, garantindo a correção estrutural.
3. Inferência de Requisitos e Geração de CoT: Um modelo "professor" (GPT-4.1) é usado para:
   • Inferência Reversa: Deduzir o requisito em linguagem natural que gerou o script válido.
   • Geração de CoT: Criar uma explicação passo a passo do raciocínio lógico que conecta o requisito ao script, ensinando o modelo a "pensar" antes de codificar.

B. Treinamento do Modelo (iScript)
O modelo base escolhido foi o Qwen3-8B, adaptado através de uma estratégia de duas etapas:

1. Pré-treinamento Adaptativo ao Domínio (CPT): O modelo é exposto a um grande corpus de scripts Tcl brutos para internalizar a sintaxe e o vocabulário específico do Innovus.
2. Ajuste Fino Supervisionado (SFT) com CoT: O modelo é treinado com as tuplas (Requisito, CoT, Script) para aprender o mapeamento semântico de alto nível entre a intenção do usuário e a ação correta, utilizando o raciocínio encadeado para lidar com fluxos lógicos complexos.

C. Estratégia de Avaliação (iScript-Bench e Verificação em Duas Etapas)

• iScript-Bench: O primeiro benchmark dedicado à geração de scripts Tcl para P&R. Contém 116 tarefas divididas em 5 categorias (ex.: Análise de Netlist, Ajuste de Floorplan, Otimização de Timing) e 3 níveis de dificuldade (L1 a L3).
• Verificação em Duas Etapas:
  1. Verificação Sintática Estática: Execução dos scripts em um sandbox leve (sem ferramenta comercial completa) para detectar erros de sintaxe (logs de erro).
  2. Avaliação Funcional Baseada em LLM: Um LLM especializado, equipado com definições de comandos e manuais, avalia se o script gerado cumpre a função desejada, comparando-o com um script de referência ("golden").

3. Principais Contribuições

1. iScript: Um modelo LLM adaptado ao domínio (baseado em Qwen3-8B) capaz de gerar scripts Tcl sintaticamente válidos e semanticamente significativos para design físico.
2. iScript-Bench: O primeiro benchmark padronizado para avaliar a capacidade de conversão de linguagem natural para Tcl em fluxos de P&R, cobrindo múltiplas categorias e níveis de dificuldade.
3. Pipeline de Síntese de Dados: Uma metodologia inovadora que combina extração de comandos, linting estático e inferência reversa com CoT para criar dados de treinamento de alta qualidade a partir de fontes limitadas.
4. Framework de Avaliação Escalável: Uma estratégia de verificação em duas etapas que permite comparações reprodutíveis entre modelos sem a necessidade de executar fluxos completos em ferramentas EDA comerciais.

4. Resultados Experimentais

O iScript foi comparado com modelos de ponta (GPT-4.1, Gemini-2.5-pro, Claude-sonnet-4.5, DeepSeek-V3.1) no benchmark iScript-Bench.

• Desempenho Geral: O iScript superou consistentemente todos os modelos gerais em quase todas as categorias.
  • Pass@1 (Sintaxe): iScript alcançou 59.48% de taxa de sucesso global, contra 31.03% do segundo colocado (Gemini).
  • Pass@1 (Funcional): iScript alcançou 18.97%, superando significativamente os concorrentes (o próximo melhor foi 14.66%).
• Robustez por Dificuldade:
  • Em tarefas fáceis (L1), o iScript atingiu 94.44% de Pass@5 (sintaxe).
  • Em tarefas difíceis (L3), enquanto outros modelos caíram drasticamente (ex.: Claude e DeepSeek para ~3.85% em Pass@1 sintaxe), o iScript manteve 61.54% em Pass@1 sintaxe e 11.54% em precisão funcional, demonstrando superioridade em lógica complexa.
• Validação Humana: A avaliação baseada em LLM mostrou alta precisão (sem falsos positivos) quando comparada a revisões de engenheiros humanos, atuando como um estimador confiável do desempenho.

5. Significado e Conclusão

Este trabalho preenche uma lacuna crítica na interseção entre EDA (Automação de Design Eletrônico) e Inteligência Artificial.

• Impacto na Indústria: Demonstra que a adaptação de domínio e a síntese de dados podem superar a escassez de dados proprietários, permitindo a automação de tarefas de engenharia complexas e dependentes de especialistas.
• Avanço Científico: Estabelece um padrão para avaliação de LLMs em tarefas de script de hardware, movendo-se além de verificações puramente sintéticas para avaliações funcionais mais robustas.
• Futuro: Os autores reconhecem que, embora o modelo seja promissor, a quantidade de dados de treinamento ainda pode ser insuficiente para tarefas extremamente complexas e que o desenvolvimento de um sistema de avaliação totalmente automatizado (execução real) é o próximo passo necessário.

Em resumo, o iScript prova que modelos de linguagem adaptados, treinados com raciocínio encadeado e avaliados através de benchmarks rigorosos, podem transformar a produtividade e a acessibilidade no design físico de chips avançados.