Resumen Técnico: RulePlanner

Enunciado del Problema

La planificación de planta (floorplanning) es una etapa crítica y NP-dura en el diseño moderno de Circuitos Integrados de Aplicación Específica (ASIC), responsable de determinar las coordenadas y formas de los módulos funcionales. A medida que los nodos tecnológicos escalan (por ejemplo, a 5 nm) y los diseños avanzan hacia escenarios 3D con múltiples capas apiladas, la complejidad de adherirse a las reglas de diseño de hardware ha aumentado significativamente. Estas reglas incluyen restricciones de límite (alineación de bloques con terminales específicos), restricciones de agrupación (bloques adyacentes físicamente para islas de voltaje), alineación de bloques entre chips, requisitos de pre-colocación, no superposición, ajuste de contorno y restricciones de forma.

Los métodos actuales del estado del arte, incluidos los analíticos, los basados en heurísticas y los enfoques existentes de aprendizaje por refuerzo (RL), luchan por manejar estas restricciones simultáneamente. La mayoría de los métodos están adaptados a reglas específicas (por ejemplo, no superposición o alineación) y a menudo fallan al satisfacer otras concurrentemente. En consecuencia, las violaciones de reglas no manejadas requieren un posprocesamiento manual intensivo en mano de obra y que consume tiempo por parte de ingenieros expertos. Los métodos de RL existentes suelen depender de incorporar penalizaciones en las funciones de recompensa, lo cual a menudo es insuficiente para abordar con precisión restricciones complejas y rígidas sin un ajuste fino extensivo o sin lograr converger a soluciones válidas.

Metodología

El artículo propone RulePlanner, un marco de aprendizaje por refuerzo profundo diseñado para unificar el manejo de diversas reglas de diseño de hardware en la planificación de planta 3D. El enfoque plantea el problema como un Proceso de Decisión de Markov (MDP) episódico resuelto por un agente actor-crítico. La innovación central reside en un marco unificado que comprende tres componentes clave:

1. Nuevas Representaciones Matriciales para Reglas de Diseño

En lugar de tratar las restricciones únicamente como penalizaciones suaves, RulePlanner introduce representaciones matriciales explícitas para modelar las reglas de diseño:

• Máscara de Terminal Adyacente: Una matriz $T \in \mathbb{R}^{W \times H}$ donde cada elemento representa la distancia Manhattan entre una posición de bloque potencial y un terminal adyacente requerido. Esto modela las restricciones de límite.
• Máscara de Bloque Adyacente: Una matriz $B \in \mathbb{R}^{W \times H}$ que representa la longitud de adyacencia entre un bloque movible y los bloques ya colocados. Esto modela las restricciones de agrupación (por ejemplo, islas de voltaje).
• Máscara de Alineación: Utilizada para modelar las restricciones de alineación de bloques entre chips.

Estas máscaras se calculan de manera eficiente utilizando la paralelización de GPU (por ejemplo, operaciones meshgrid) para manejar el costo computacional de evaluar todas las posiciones posibles.

2. Restricciones del Espacio de Acciones

En lugar de depender únicamente de penalizaciones de recompensa para desalentar movimientos inválidos, RulePlanner aplica restricciones rígidas directamente al espacio de acciones para filtrar acciones inválidas antes de que se muestreen.

• Filtrado de Posición: La red de políticas genera logits para las posiciones de los bloques. Se construye una Máscara de Disponibilidad binaria ($M$) combinando las máscaras adyacentes de terminal, adyacentes de bloque, de alineación y de posición binarizadas. Esta máscara se aplica a la distribución de salida de la política (mediante multiplicación elemento a elemento y softmax) para anular las probabilidades de posiciones inválidas, asegurando que el agente solo muestree colocaciones que satisfagan las reglas de límite, agrupación y alineación.
• Recorte de Relación de Aspecto: La relación de aspecto se modela como una distribución Gaussiana, pero se recorta al rango válido $[AR_{min}, AR_{max}]$ para satisfacer las restricciones de forma.

3. Análisis Cuantitativo y Configuración de Recompensas

El marco emplea métricas cuantitativas para evaluar la satisfacción de restricciones, las cuales se integran en la función de recompensa:

• Métricas: Distancia bloque-terminal (a minimizar), longitud de adyacencia bloque-bloque (a maximizar), puntuación de alineación (a maximizar), Longitud de Cable de Medio Perímetro (HPWL) y superposición.
• Función de Recompensa: Se utiliza un esquema de recompensa densa, incorporando normalización autoadaptativa para manejar las magnitudes variables de diferentes métricas (por ejemplo, HPWL frente a puntuaciones de alineación). La recompensa incluye términos ponderados para estas métricas, guiando a la política a satisfacer múltiples reglas simultáneamente.

Arquitectura del Modelo

• Entrada: El estado consiste en matrices apiladas de reglas de diseño (máscaras, lienzo, máscara de cable) y un gráfico de lista de conexiones (netlist).
• Codificador: Un codificador basado en Transformer procesa el gráfico de la lista de conexiones, mientras que una CNN procesa las matrices espaciales.
• Espacio de Acciones Híbrido: El agente emite una posición discreta $(x, y)$ y una relación de aspecto continua $AR$.
• Entrenamiento: El sistema utiliza Optimización de Política Proximal (PPO) con un espacio de acciones híbrido.

Contribuciones Clave

1. Marco Unificado para Reglas Diversas: RulePlanner se presenta como el primer marco capaz de satisfacer simultáneamente más de siete reglas de diseño industriales (límite, agrupación, alineación entre chips, pre-colocación, no superposición, contorno y forma) en la planificación de planta 3D. El marco es modular y extensible a nuevas reglas.
2. Nuevas Representaciones: La introducción de máscaras de terminal adyacente y de bloque adyacente para modelar explícitamente restricciones complejas, superando los enfoques basados simplemente en penalizaciones.
3. Poda del Espacio de Acciones: El método impone restricciones rígidas filtrando el espacio de acciones mediante máscaras binarias, asegurando que las acciones muestreadas satisfagan inherentemente las reglas de diseño críticas, reduciendo así el espacio de búsqueda y acelerando el entrenamiento.
4. Métricas Cuantitativas: La propuesta de métricas específicas (por ejemplo, distancia de adyacencia bloque-bloque) para evaluar y optimizar cuantitativamente las restricciones complejas.

Resultados Experimentales

Los autores evaluaron RulePlanner en puntos de referencia públicos (MCNC y GSRC) a través de tres tareas con combinaciones variables de restricciones de diseño.

• Satisfacción de Restricciones: RulePlanner logró una distancia bloque-terminal de 0.000 en todos los circuitos probados en la Tarea 1, lo que indica una alineación perfecta con los terminales. En la Tarea 2, logró una longitud de adyacencia bloque-bloque de 0.223 en promedio, superando significativamente al mejor punto de referencia (0.082).
• Comparación con Puntos de Referencia: En comparación con puntos de referencia analíticos, heurísticos (B*-3D-SA, WireMask-BBO) y basados en RL (GraphPlace, DeepPlace, MaskPlace, FlexPlanner), RulePlanner satisfizo consistentemente todas las reglas de diseño simultáneamente. Mientras que algunos puntos de referencia (por ejemplo, Analítico, WireMask-BBO) lograron un HPWL más bajo en circuitos grandes específicos, fallaron al satisfacer restricciones de límite, agrupación o alineación, resultando a menudo en violaciones significativas.
• Generalización y Transferibilidad:
  • Zero-Shot: Un modelo entrenado en el circuito n100 demostró una fuerte generalización zero-shot a circuitos no vistos (n10 a n300), manteniendo un alto rendimiento en las métricas de satisfacción de restricciones sin ajuste fino.
  • Ajuste Fino: El ajuste fino de pesos preentrenados en circuitos más grandes (n200, n300) logró un rendimiento comparable o superior al entrenamiento desde cero con un costo computacional significativamente reducido.

Significado y Afirmaciones

El artículo afirma que RulePlanner aborda un cuello de botella crítico en el diseño moderno de chips: la incapacidad de las herramientas automatizadas actuales para manejar las restricciones multifacéticas y simultáneas del diseño de CI 3D. Al unificar diversas reglas en un solo marco mediante representaciones matriciales novedosas y restricciones del espacio de acciones, el método elimina la necesidad de un extenso posprocesamiento manual.

Los autores enfatizan que su enfoque representa un cambio estratégico en las prioridades: asegurar el cumplimiento total de las reglas de diseño complejas se considera más crítico que lograr el HPWL absoluto más bajo de forma aislada. La extensibilidad del marco se destaca como una característica clave para abordar los desafíos emergentes en los diseños de chips futuros, como la optimización térmica (propuesta como una dirección futura) y otras restricciones implícitas. El trabajo demuestra que el aprendizaje por refuerzo profundo, cuando se complementa con restricciones estructurales y representaciones específicas del dominio, puede resolver efectivamente el problema NP-duro de la planificación de planta 3D con restricciones.