Resumo Técnico: RulePlanner

Declaração do Problema

O planejamento de piso (floorplanning) é uma etapa crítica e NP-difícil no projeto moderno de Circuitos Integrados Específicos para Aplicação (ASIC), responsável por determinar as coordenadas e formas dos módulos funcionais. À medida que os nós tecnológicos escalam (por exemplo, para 5 nm) e os projetos avançam em direção a cenários 3D com múltiplas camadas empilhadas, a complexidade de aderir às regras de projeto de hardware aumentou significativamente. Essas regras incluem restrições de fronteira (alinhamento de blocos com terminais específicos), restrições de agrupamento (blocos fisicamente adjacentes para ilhas de tensão), alinhamento de blocos entre chips, requisitos de pré-posicionamento, não sobreposição, ajuste ao contorno e restrições de forma.

Os métodos atuais mais avançados, incluindo abordagens analíticas, baseadas em heurísticas e existentes de aprendizado por reforço (RL), lutam para lidar com essas restrições simultaneamente. A maioria dos métodos é adaptada para regras específicas (por exemplo, não sobreposição ou alinhamento) e frequentemente falha em satisfazer outras simultaneamente. Consequentemente, violações de regras não tratadas exigem pós-processamento manual intensivo em mão de obra e demorado por engenheiros especialistas. Os métodos de RL existentes geralmente dependem da incorporação de penalidades em funções de recompensa, o que é frequentemente insuficiente para abordar com precisão restrições complexas e rígidas sem ajuste fino extensivo ou falhar em convergir para soluções válidas.

Metodologia

O artigo propõe o RulePlanner, um framework de aprendizado por reforço profundo projetado para unificar o tratamento de diversas regras de projeto de hardware no planejamento de piso 3D. A abordagem enquadra o problema como um Processo de Decisão de Markov (MDP) episódico resolvido por um agente ator-crítico. A inovação central reside em um framework unificado que compreende três componentes principais:

1. Novas Representações Matriciais para Regras de Projeto

Em vez de tratar as restrições apenas como penalidades suaves, o RulePlanner introduz representações matriciais explícitas para modelar regras de projeto:

• Máscara de Terminal Adjacente: Uma matriz $T \in \mathbb{R}^{W \times H}$ onde cada elemento representa a distância de Manhattan entre uma posição de bloco potencial e um terminal adjacente necessário. Isso modela restrições de fronteira.
• Máscara de Bloco Adjacente: Uma matriz $B \in \mathbb{R}^{W \times H}$ que representa o comprimento de adjacência entre um bloco móvel e blocos já posicionados. Isso modela restrições de agrupamento (por exemplo, ilhas de tensão).
• Máscara de Alinhamento: Usada para modelar restrições de alinhamento de blocos entre chips.

Essas máscaras são computadas eficientemente usando paralelização em GPU (por exemplo, operações meshgrid) para lidar com o custo computacional de avaliar todas as posições possíveis.

2. Restrições do Espaço de Ações

Em vez de depender apenas de penalidades de recompensa para desencorajar movimentos inválidos, o RulePlanner aplica restrições rígidas diretamente ao espaço de ações para filtrar ações inválidas antes que sejam amostradas.

• Filtragem de Posição: A rede de política gera logits para posições de blocos. Uma Máscara de Disponibilidade binária ($M$) é construída combinando as máscaras de terminal adjacente, bloco adjacente, alinhamento e posição binarizadas. Essa máscara é aplicada à distribuição de saída da política (via multiplicação elemento a elemento e softmax) para zerar as probabilidades de posições inválidas, garantindo que o agente apenas amostre posicionamentos que satisfaçam as regras de fronteira, agrupamento e alinhamento.
• Recorte de Razão de Aspecto: A razão de aspecto é modelada como uma distribuição Gaussiana, mas é recortada para o intervalo válido $[AR_{min}, AR_{max}]$ para satisfazer restrições de forma.

3. Análise Quantitativa e Moldagem de Recompensa

O framework emprega métricas quantitativas para avaliar a satisfação de restrições, que são integradas à função de recompensa:

• Métricas: Distância bloco-terminal (a ser minimizada), comprimento de adjacência bloco-bloco (a ser maximizado), pontuação de alinhamento (a ser maximizada), Comprimento de Fio de Semi-Perímetro (HPWL) e sobreposição.
• Função de Recompensa: Um esquema de recompensa densa é usado, incorporando normalização autoadaptativa para lidar com as magnitudes variáveis de diferentes métricas (por exemplo, HPWL versus pontuações de alinhamento). A recompensa inclui termos ponderados para essas métricas, orientando a política a satisfazer múltiplas regras simultaneamente.

Arquitetura do Modelo

• Entrada: O estado consiste em matrizes de regras de projeto empilhadas (máscaras, tela, máscara de fio) e um grafo de netlist.
• Codificador: Um codificador baseado em Transformer processa o grafo de netlist, enquanto uma CNN processa as matrizes espaciais.
• Espaço de Ações Híbrido: O agente gera uma posição discreta $(x, y)$ e uma razão de aspecto contínua $AR$.
• Treinamento: O sistema usa Otimização de Política Proximal (PPO) com um espaço de ações híbrido.

Contribuições Principais

1. Framework Unificado para Regras Diversas: O RulePlanner é apresentado como o primeiro framework capaz de satisfazer simultaneamente mais de sete regras industriais de projeto (fronteira, agrupamento, alinhamento entre chips, pré-posicionamento, não sobreposição, contorno e forma) no planejamento de piso 3D. O framework é modular e extensível para novas regras.
2. Novas Representações: A introdução de máscaras de terminal adjacente e bloco adjacente para modelar explicitamente restrições complexas, indo além de abordagens baseadas em penalidades simples.
3. Poda do Espaço de Ações: O método impõe restrições rígidas filtrando o espaço de ações via máscaras binárias, garantindo que as ações amostradas satisfaçam inerentemente regras críticas de projeto, reduzindo assim o espaço de busca e acelerando o treinamento.
4. Métricas Quantitativas: A proposta de métricas específicas (por exemplo, distância de adjacência bloco-bloco) para avaliar e otimizar quantitativamente restrições complexas.

Resultados Experimentais

Os autores avaliaram o RulePlanner em benchmarks públicos (MCNC e GSRC) em três tarefas com combinações variadas de restrições de projeto.

• Satisfação de Restrições: O RulePlanner alcançou uma distância bloco-terminal de 0,000 em todos os circuitos testados na Tarefa 1, indicando alinhamento perfeito com os terminais. Na Tarefa 2, alcançou um comprimento de adjacência bloco-bloco de 0,223 em média, superando significativamente a melhor linha de base (0,082).
• Comparação com Linhas de Base: Comparado a linhas de base analíticas, heurísticas (B*-3D-SA, WireMask-BBO) e baseadas em RL (GraphPlace, DeepPlace, MaskPlace, FlexPlanner), o RulePlanner consistentemente satisfez todas as regras de projeto simultaneamente. Embora algumas linhas de base (por exemplo, Analítica, WireMask-BBO) tenham alcançado HPWL menor em circuitos grandes específicos, elas falharam em satisfazer restrições de fronteira, agrupamento ou alinhamento, resultando frequentemente em violações significativas.
• Generalização e Transferibilidade:
  • Zero-Shot: Um modelo treinado no circuito n100 demonstrou forte generalização zero-shot para circuitos não vistos (n10 a n300), mantendo alto desempenho nas métricas de satisfação de restrições sem ajuste fino.
  • Ajuste Fino: O ajuste fino de pesos pré-treinados em circuitos maiores (n200, n300) alcançou desempenho comparável ou superior ao treinamento do zero com custo computacional significativamente reduzido.

Significado e Alegações

O artigo afirma que o RulePlanner aborda um gargalo crítico no projeto moderno de chips: a incapacidade das ferramentas automatizadas atuais de lidar com as restrições multifacetadas e simultâneas do projeto de IC 3D. Ao unificar regras diversas em um único framework através de novas representações matriciais e restrições de espaço de ações, o método elimina a necessidade de extenso pós-processamento manual.

Os autores enfatizam que sua abordagem representa uma mudança estratégica de prioridade: garantir a conformidade total com regras de projeto complexas é considerado mais crítico do que alcançar o HPWL absoluto mais baixo isoladamente. A extensibilidade do framework é destacada como uma característica chave para abordar desafios emergentes em projetos de chips futuros, como otimização térmica (proposta como direção futura) e outras restrições implícitas. O trabalho demonstra que o aprendizado por reforço profundo, quando aumentado com restrições estruturais e representações específicas do domínio, pode resolver efetivamente o problema NP-difícil do planejamento de piso 3D restrito.