ORFS-agent: Tool-Using Agents for Chip Design Optimization

1. Declaração do Problema

O design de Circuitos Integrados (IC) envolve fluxos complexos de Automação de Design Eletrônico (EDA) (do Nível de Transferência de Registradores ao layout físico) governados por milhares de hiperparâmetros. Pequenos ajustes nesses parâmetros podem impactar significativamente Potência, Desempenho e Área (PPA).

• O Desafio: Métodos tradicionais de otimização, como Otimização Bayesiana (BO), são eficientes, mas frequentemente carecem de conhecimento de domínio, exigem funções objetivo explicitamente definidas e lutam contra espaços de busca combinatoriais de alta dimensão.
• A Lacuna: Embora os Modelos de Linguagem de Grande Escala (LLMs) possuam amplo "conhecimento de mundo" e capacidades de raciocínio, tentativas anteriores de aplicá-los à EDA frequentemente dependiam de ajuste fino (fine-tuning) de modelos específicos em dados de domínio. Essa abordagem incorre em altos custos, exige manutenção quando novos modelos base são lançados e limita a flexibilidade.
• Objetivo: Desenvolver um agente impulsionado por LLM, agnóstico ao modelo, capaz de ajustar autonomamente parâmetros de EDA usando objetivos em linguagem natural, aproveitando o raciocínio e o uso de ferramentas sem exigir re-treinamento.

2. Metodologia: ORFS-agent

Os autores apresentam o ORFS-agent, um framework de otimização iterativa integrado ao OpenROAD-flow-scripts (ORFS), um fluxo de design de hardware de código aberto.

Arquitetura Central

• Design Agnóstico ao Modelo: O agente atua como um wrapper em torno de qualquer LLM de ponta (testado com Anthropic's Sonnet 3.5, Sonnet 4.6 e Moonshot's Kimi K2.5). Requer zero ajuste fino, permitindo a adoção imediata de modelos mais novos e capazes.
• Loop Iterativo: O agente opera em um loop consistindo em Executar, Ler, Consolidar, Inspecionar, Otimizar, Aglomerar e Alterar.
  1. Executar: Executa $K$ trabalhos OpenROAD paralelos com conjuntos de parâmetros distintos.
  2. Ler/Consolidar: Reúne logs JSON e métricas (por exemplo, comprimento de fio, slack de temporização) de execuções parciais ou completas.
  3. Inspecionar: Analisa distribuições de dados e correlações.
  4. Otimizar: Propõe novos conjuntos de parâmetros para a próxima iteração.
  5. Aglomerar: Seleciona os melhores $K$ candidatos de um pool maior (por exemplo, maximizando diversidade ou qualidade).
  6. Alterar: Atualiza os arquivos de configuração (config.mk e SDC) para a próxima rodada.

Capacidades de Uso de Ferramentas

Diferentemente de agentes baseados apenas em prompts simples, o ORFS-agent utiliza uma interface de chamada de função com quatro categorias de ferramentas:

1. INSPECT: Ferramentas de análise estatística (PCA, LOF, inspeção de distribuição) para entender variedades de dados sem tokenizar logs brutos.
2. OPTIMIZE: Algoritmos para propor novos pontos, incluindo Processos Gaussianos (GP), Melhoria Esperada (EI) e Amostragem Hipercúbica Latina.
3. AGGLOM: Ferramentas de seleção para filtrar conjuntos de candidatos (por exemplo, EntropySelect, GraphSelect) para manter a diversidade.
4. RETRIEVAL: Busca na web opcional (Brave) e consulta acadêmica (OpenAlex) para bootstrap de semântica de parâmetros ou encontrar documentação no início do processo de otimização.

Estratégia de Otimização

• Objetivos em Linguagem Natural: Usuários definem metas via linguagem natural (por exemplo, "minimizar o comprimento de fio mantendo o período de clock abaixo de 1ns"). O agente traduz esses objetivos em funções de perda ponderadas.
• Tratamento de Dados Parciais: O agente lida com dados parciais (por exemplo, usando o comprimento de fio da Síntese da Árvore de Clock como um substituto para o comprimento de fio roteado final se o fluxo completo expirar).
• Modelos de Pensamento: O framework aproveita modelos de "pensamento" (como Sonnet 4.6 e Kimi K2.5) que geram traços de raciocínio internos. Os autores observam que, embora esses traços sejam úteis para depuração, eles não são alimentados de volta verbatim para evitar inchaço de contexto; em vez disso, resumos concisos de decisão são mantidos.

3. Contribuições Principais

1. Integração de Framework: Incorporou com sucesso um agente LLM no fluxo OpenROAD, permitindo o ajuste iterativo autônomo de parâmetros de design físico.
2. Agnosticismo ao Modelo: Demonstrou que o agente funciona perfeitamente em diferentes backends de LLM (proprietários e de pesos abertos) sem re-treinamento, reduzindo significativamente os custos de implantação e a latência.
3. Raciocínio Aumentado por Ferramentas: Mostrou que combinar o raciocínio de LLM com ferramentas externas (bibliotecas de otimização bayesiana, análise estatística e recuperação) supera a otimização puramente de caixa preta.
4. Avaliação Abrangente: Validou o sistema em seis benchmarks (IBEX, AES, JPEG) em dois nós de tecnologia (SKY130HD e ASAP7), comparando com a otimização bayesiana padrão (OR-AutoTuner) e baselines anteriores de LLM.

4. Resultados Experimentais

Os experimentos foram conduzidos na Google Cloud Platform usando 25 execuções paralelas por iteração.

Desempenho vs. OR-AutoTuner (Otimização Bayesiana)

• Eficiência: O ORFS-agent alcançou resultados superiores ou comparáveis ao OR-AutoTuner enquanto usava 40% menos iterações (600 iterações para ORFS-agent vs. 1000 para OR-AutoTuner em configurações de 12 parâmetros).
• Melhoria de Métricas:
  • Sonnet 4.6: Melhorou a média geométrica normalizada do Comprimento de Fio ($WL$) em 1,0%, o Período de Clock Efetivo ($ECP$) em 1,3% e objetivos de co-otimização em 2,7% sobre o OR-AutoTuner.
  • Kimi K2.5 (Pesos Abertos): Alcançou resultados quase idênticos ao Sonnet 4.6 (dentro de 0,24%), provando que modelos de pesos abertos podem ser viáveis para implantação privada e econômica.

Impacto dos Backends de Modelo

• Modelos de Pensamento: A migração do Sonnet 3.5 para o Sonnet 4.6 (um modelo de "pensamento") gerou ganhos significativos: 7,5% de melhoria em $WL$, 3,1% em $ECP$ e 4,0% em co-otimização.
• Raciocínio: Os modelos de "pensamento" demonstraram melhor adesão a restrições e trade-offs de múltiplos objetivos mais estáveis.

Análise de Recuperação

• Convergência Precoce: Ferramentas de recuperação (WebSearch/ScholarlyLookup) aceleraram a convergência inicial (em 200 iterações), melhorando o objetivo de co-otimização da média geométrica em ~0,35%.
• Ponto Final Final: Surpreendentemente, a recuperação degradou os pontos finais de 600 iterações em ~0,6%. Os autores concluem que a recuperação atua como "andaime" para a compreensão inicial de parâmetros, mas introduz ruído ou inchaço de contexto nas etapas posteriores de ajuste fino.

Robustez e Restrições

• Otimização Constrained: O ORFS-agent lidou com sucesso com restrições em linguagem natural (por exemplo, "não degradar a potência em mais de 2%"), superando o OR-AutoTuner, que lutou com tais restrições suaves.
• Significância Estatística: Estudos de ablação extensivos (ofuscação, injeção de ruído, múltiplas execuções) confirmaram que os resultados são robustos e não devidos a vazamento de dados ou memorização.

5. Significado e Direções Futuras

• Mudança de Paradigma: O artigo demonstra que agentes agnósticos ao modelo e que usam ferramentas são uma alternativa superior ao ajuste fino para tarefas de engenharia dinâmicas e de alto risco, como design de chips. Isso permite que a comunidade aproveite instantaneamente os últimos avanços de LLM sem custos de re-treinamento.
• Interpretabilidade: Ao registrar resumos de raciocínio e trajetórias de decisão, o agente fornece uma visão interpretável do processo de otimização, ao contrário dos métodos de BO de "caixa preta".
• Eficiência de Custos: O uso de modelos de pesos abertos (Kimi K2.5) e a redução de contagens de iterações tornam a otimização de chips de alta qualidade significativamente mais acessível e barata.
• Trabalho Futuro: Os autores planejam habilitar a geração dinâmica de ferramentas (permitindo que o LLM crie suas próprias ferramentas), integrar feedback visual para raciocínio multimodal e escalar o framework para circuitos maiores e mais complexos.

Em resumo, o ORFS-agent representa um passo significativo para frente na EDA impulsionada por IA, provando que LLMs equipados com capacidades de raciocínio e uso de ferramentas podem superar algoritmos de otimização tradicionais em cenários complexos de design de hardware do mundo real, oferecendo maior flexibilidade e interpretabilidade.