🤖 AI

RulePlanner: All-in-One Reinforcement Learner for Unifying Design Rules in 3D Floorplanning

Dieser Beitrag stellt RulePlanner vor, ein All-in-One-Framework für Deep Reinforcement Learning, das die Behandlung komplexer 3D-IC-Designregeln durch neuartige Matrixrepräsentationen, eingeschränkte Aktionsräume und quantitative Belohnungssignale vereinheitlicht, wodurch die Notwendigkeit für arbeitsintensive manuelle Nachbearbeitung entfällt und eine hohe Wirksamkeit sowie Übertragbarkeit auf öffentlichen Benchmarks nachgewiesen wird.

Ursprüngliche Autoren: Ruizhe Zhong, Xingbo Du, Junchi Yan

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ruizhe Zhong, Xingbo Du, Junchi Yan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Architekt, der beauftragt wurde, einen massiven, mehrstöckigen Wolkenkratzer zu entwerfen. Doch dies ist kein normales Gebäude; es ist ein Mikrochip. In diesem Wolkenkratzer befinden sich Tausende von winzigen Räumen (genannt „Blöcke"), die spezifische Ausrüstung aufnehmen müssen. Ihre Aufgabe besteht darin, genau zu entscheiden, wo jeder Raum platziert wird und welche Form er haben soll.

Dieser Prozess wird als Floorplanning (Grundrissplanung) bezeichnet.

Das Problem: Ein chaotisches Regelwerk

In der Vergangenheit hatten Architekten (Chipingenieure) nur ein paar einfache Regeln: „Lassen Sie die Räume nicht übereinander liegen" und „Halten Sie das gesamte Gebäude innerhalb des Grundstücks". Doch mit fortschreitender Technologie, die kleiner und komplexer wird (wie beim Übergang zu 3D-Wolkenkratzern mit gestapelten Schichten), ist das Regelwerk explodiert.

Jetzt sind die Regeln unglaublich spezifisch und streng:

Die „Handschlag"-Regel: Bestimmte Räume in verschiedenen Etagen müssen perfekt ausgerichtet sein, damit sie durch den Boden „Händchen halten" (Daten austauschen) können.
Die „Beste-Freunde"-Regel: Einige Räume müssen direkt nebeneinander festgeklebt werden, da sie zusammenarbeiten.
Die „Rand"-Regel: Einige Räume müssen genau an einer bestimmten Wand oder Ecke platziert werden.
Die „Keine Überlappung"-Regel: Räume dürfen nicht ineinander krachen.

Der alte Weg: Aktuelle Computerprogramme sind wie Junior-Architekten. Sie sind gut darin, eine oder zwei dieser Regeln zu befolgen, aber wenn man ihnen das gesamte komplexe Regelwerk gibt, geraten sie in Verwirrung. Sie könnten die Räume perfekt für die „Handschlag"-Regel platzieren, aber die „Beste-Freunde"-Regel vergessen. Wenn dies geschieht, müssen menschliche Experten stundenlang manuell Fehler beheben, wie ein müder Redakteur, der ein unordentliches Manuskript korrigiert.

Die Lösung: RulePlanner

Die Autoren dieses Papers haben ein neues KI-System namens RulePlanner entwickelt. Stellen Sie es sich als einen superintelligenten, allsehenden Architekten vor, der keine einzige Regel vergisst.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die „Magische Karte" (Matrixdarstellungen)

Anstatt nur eine Liste von Regeln zu betrachten, erstellt RulePlanner spezielle „Magische Karten" (Matrizen) für den Chip.

Stellen Sie sich ein Gitter vor, das den gesamten Boden des Gebäudes bedeckt.
Für die „Beste-Freunde"-Regel leuchtet die Karte überall dort in Gelb auf, wo ein Raum neben seinem Freund sitzen kann, und überall sonst in Rot.
Für die „Rand"-Regel leuchtet eine andere Karte nur in der Nähe der Wände auf, an denen ein bestimmter Raum platziert werden darf.
Die KI betrachtet all diese Karten gleichzeitig und erstellt ein klares Bild davon, wo sie Dinge platzieren darf.

2. Der „Türsteher" (Einschränkungen des Aktionsraums)

In vielen KI-Systemen versucht der Computer einen Zug, erkennt, dass er eine Regel gebrochen hat, und erhält dann eine „Strafe" (einen negativen Score), um zu lernen, es nicht wieder zu tun. Dies ist langsam und chaotisch.

RulePlanner verwendet einen Türsteher. Bevor die KI überhaupt versucht, einen Raum zu platzieren, prüft der Türsteher die Magischen Karten.

Wenn ein Platz Rot ist (verboten), blockiert der Türsteher ihn sofort.
Die KI darf nur aus den gelben Plätzen wählen (gültige Züge).
Das bedeutet, dass die KI keine Zeit damit verschwendet, illegale Züge zu machen. Sie lernt nur aus den guten.

3. Die „Punktekarte" (Quantitative Belohnungen)

Selbst mit dem Türsteher muss die KI wissen, wie gut sie abgeschnitten hat. Das Paper führt eine präzise Punktekarte ein.

Anstatt nur zu sagen „Gute Arbeit", misst es genau, wie nah zwei Räume an ihrem idealen Abstand sind.
Es gibt Punkte für jeden Zentimeter Ausrichtung und jeden Millimeter Abstand.
Dies hilft der KI, ihre Platzierung zu verfeinern, um perfekt zu sein, nicht nur „in Ordnung".

Die Ergebnisse: Ein perfektes Gebäude

Die Forscher testeten RulePlanner an Standard-Chip-Designs (wie den MCNC- und GSRC-Benchmarks).

Die alten Architekten: Sie schafften es oft nicht, alle Regeln gleichzeitig zu befolgen. Sie könnten die Form richtig hinbekommen, aber die Ausrichtung verpassen, oder umgekehrt.
RulePlanner: Es folgte erfolgreich allen sieben komplexen industriellen Regeln gleichzeitig. In vielen Tests erreichte es eine perfekte Punktzahl (0,000 Abstandfehler) beim Platzieren von Räumen neben ihren erforderlichen Partnern, während andere Methoden komplett versagten.

Warum das wichtig ist

Das Paper behauptet, dass RulePlanner erweiterbar ist. Das bedeutet, wenn Chipdesigner in Zukunft eine neue Regel erfinden (wie eine neue Art, wie Räume verbunden sein müssen), können sie einfach eine neue „Magische Karte" zum System hinzufügen. Die KI muss nicht von Grund auf neu trainiert werden; sie lernt einfach, die neue Karte zu lesen.

Zusammenfassend: RulePlanner ist eine KI, die nicht einfach nur errät, wo Chipteile platziert werden sollen. Sie verwendet ein System aus „Magischen Karten" und einem strengen „Türsteher", um sicherzustellen, dass jede einzelne komplexe Regel des modernen 3D-Chip-Designs perfekt befolgt wird, und spart menschlichen Ingenieuren Stunden an mühsamer manueller Korrektur.

Technische Zusammenfassung: RulePlanner

Problemstellung

Das Floorplanning ist eine kritische, NP-schwere Phase im modernen Entwurf von anwendungsspezifischen integrierten Schaltungen (ASIC), die für die Bestimmung der Koordinaten und Formen funktionaler Module verantwortlich ist. Mit der Skalierung der Technologieknoten (z. B. auf 5 nm) und der Entwicklung von Designs hin zu 3D-Szenarien mit mehreren gestapelten Schichten hat die Komplexität der Einhaltung von Hardware-Designregeln erheblich zugenommen. Zu diesen Regeln gehören Randbeschränkungen (Ausrichtung von Blöcken mit spezifischen Terminals), Gruppierungsbeschränkungen (physikalische Angrenzung von Blöcken für Spannungsinselflächen), die Ausrichtung von Blöcken zwischen verschiedenen Die, Anforderungen vor dem Platzieren, Nicht-Überlappung, Konturanpassung und Formbeschränkungen.

Derzeitige State-of-the-Art-Methoden, einschließlich analytischer, heuristischer und bestehender Reinforcement-Learning-Ansätze (RL), haben Schwierigkeiten, diese Beschränkungen gleichzeitig zu handhaben. Die meisten Methoden sind auf spezifische Regeln zugeschnitten (z. B. Nicht-Überlappung oder Ausrichtung) und versagen häufig darin, andere gleichzeitig zu erfüllen. Folglich erfordern Verstöße gegen nicht behandelte Regeln einen arbeitsintensiven, zeitaufwändigen manuellen Nachbearbeitungsschritt durch erfahrene Ingenieure. Bestehende RL-Methoden verlassen sich typischerweise auf die Einbeziehung von Strafen in die Belohnungsfunktionen, was oft unzureichend ist, um komplexe, harte Beschränkungen ohne umfangreiche Feinabstimmung genau zu adressieren oder um zu konvergieren und gültige Lösungen zu finden.

Methodik

Die Arbeit schlägt RulePlanner vor, ein Deep-Reinforcement-Learning-Framework, das entwickelt wurde, um die Handhabung verschiedener Hardware-Designregeln im 3D-Floorplanning zu vereinheitlichen. Der Ansatz formuliert das Problem als episodischen Markov-Entscheidungsprozess (MDP), der von einem Actor-Critic-Agenten gelöst wird. Die Kerninnovation liegt in einem einheitlichen Framework, das drei Schlüsselkomponenten umfasst:

1. Neuartige Matrixdarstellungen für Designregeln

Anstatt Beschränkungen ausschließlich als weiche Strafen zu behandeln, führt RulePlanner explizite Matrixdarstellungen zur Modellierung von Designregeln ein:

Adjacent Terminal Mask (Maske für benachbarte Terminals): Eine Matrix $T \in \mathbb{R}^{W \times H}$ , wobei jedes Element die Manhattan-Distanz zwischen einer potenziellen Blockposition und einem erforderlichen benachbarten Terminal darstellt. Dies modelliert Randbeschränkungen.
Adjacent Block Mask (Maske für benachbarte Blöcke): Eine Matrix $B \in \mathbb{R}^{W \times H}$ , die die Längen der Angrenzung zwischen einem beweglichen Block und bereits platzierten Blöcken darstellt. Dies modelliert Gruppierungsbeschränkungen (z. B. Spannungsinselflächen).
Alignment Mask (Ausrichtungsmaske): Wird verwendet, um Beschränkungen für die Ausrichtung von Blöcken zwischen verschiedenen Die zu modellieren.

Diese Masken werden effizient unter Verwendung von GPU-Parallelisierung (z. B. meshgrid-Operationen) berechnet, um die Rechenkosten der Bewertung aller möglichen Positionen zu bewältigen.

2. Beschränkungen des Aktionsraums

Anstatt sich ausschließlich auf Belohnungsstrafen zu verlassen, um ungültige Züge zu verhindern, wendet RulePlanner harte Beschränkungen direkt auf den Aktionsraum an, um ungültige Aktionen zu filtern, bevor sie gesampelt werden.

Positionsfilterung: Das Policy-Netzwerk generiert Logits für Blockpositionen. Eine binäre Verfügbarkeitsmaske (Availability Mask) ( $M$ ) wird durch Kombination der binarisierten Maske für benachbarte Terminals, der Maske für benachbarte Blöcke, der Ausrichtungsmaske und der Positionsmaske konstruiert. Diese Maske wird auf die Ausgabeverteilung des Policies angewendet (durch elementweise Multiplikation und Softmax), um die Wahrscheinlichkeiten für ungültige Positionen auf null zu setzen und sicherzustellen, dass der Agent nur Platzierungen sampelt, die Rand-, Gruppierungs- und Ausrichtungsregeln erfüllen.
Seitenverhältnis-Clipping: Das Seitenverhältnis wird als Gaußsche Verteilung modelliert, wird jedoch auf den gültigen Bereich $[AR_{min}, AR_{max}]$ gekappt, um Formbeschränkungen zu erfüllen.

3. Quantitative Analyse und Reward-Shaping

Das Framework verwendet quantitative Metriken zur Bewertung der Einhaltung von Beschränkungen, die in die Belohnungsfunktion integriert werden:

Metriken: Block-Terminal-Distanz (zu minimieren), Block-Block-Angrenzungslänge (zu maximieren), Ausrichtungsscore (zu maximieren), Halbumfang der Drahtlänge (Half-Perimeter Wire Length, HPWL) und Überlappung.
Belohnungsfunktion: Es wird ein dichtes Belohnungsschema verwendet, das eine selbstadaptive Normalisierung zur Handhabung der unterschiedlichen Größenordnungen verschiedener Metriken (z. B. HPWL vs. Ausrichtungsscores) integriert. Die Belohnung enthält gewichtete Terme für diese Metriken und leitet die Policy an, mehrere Regeln gleichzeitig zu erfüllen.

Modellarchitektur

Eingang: Der Zustand besteht aus gestapelten Designregel-Matrizen (Masken, Leinwand, Drahtmaske) und einem Netlist-Graphen.
Encoder: Ein Transformer-basierter Encoder verarbeitet den Netlist-Graphen, während ein CNN die räumlichen Matrizen verarbeitet.
Hybrider Aktionsraum: Der Agent gibt eine diskrete Position $(x, y)$ und ein kontinuierliches Seitenverhältnis $AR$ aus.
Training: Das System verwendet Proximal Policy Optimization (PPO) mit einem hybriden Aktionsraum.

Hauptbeiträge

Einheitliches Framework für diverse Regeln: RulePlanner wird als das erste Framework vorgestellt, das in der Lage ist, gleichzeitig über sieben industrielle Designregeln (Rand, Gruppierung, Ausrichtung zwischen Die, Platzierung vorab, Nicht-Überlappung, Kontur und Form) im 3D-Floorplanning zu erfüllen. Das Framework ist modular und auf neue Regeln erweiterbar.
Neuartige Darstellungen: Die Einführung von Masken für benachbarte Terminals und benachbarte Blöcke zur expliziten Modellierung komplexer Beschränkungen, was über einfache strafbasierte Ansätze hinausgeht.
Beschneiden des Aktionsraums: Die Methode erzwingt harte Beschränkungen durch Filterung des Aktionsraums mittels binärer Masken, wodurch sichergestellt wird, dass gesampelte Aktionen inhärent kritische Designregeln erfüllen, was den Suchraum reduziert und das Training beschleunigt.
Quantitative Metriken: Die Proposal spezifischer Metriken (z. B. Block-Block-Angrenzungsdistanz) zur quantitativen Bewertung und Optimierung komplexer Beschränkungen.

Experimentelle Ergebnisse

Die Autoren bewerteten RulePlanner an öffentlichen Benchmarks (MCNC und GSRC) über drei Aufgaben mit variierenden Kombinationen von Designbeschränkungen.

Einhaltung von Beschränkungen: RulePlanner erreichte über alle getesteten Schaltungen in Aufgabe 1 eine Block-Terminal-Distanz von 0,000, was eine perfekte Ausrichtung mit den Terminals anzeigt. In Aufgabe 2 erreichte es eine durchschnittliche Block-Block-Angrenzungslänge von 0,223, was die beste Baseline (0,082) erheblich übertrifft.
Vergleich mit Baselines: Im Vergleich zu analytischen, heuristischen (B*-3D-SA, WireMask-BBO) und RL-basierten Baselines (GraphPlace, DeepPlace, MaskPlace, FlexPlanner) erfüllte RulePlanner konsistent alle Designregeln gleichzeitig. Während einige Baselines (z. B. Analytical, WireMask-BBO) bei bestimmten großen Schaltungen eine niedrigere HPWL erreichten, versagten sie darin, Rand-, Gruppierungs- oder Ausrichtungsbeschränkungen zu erfüllen, was häufig zu erheblichen Verstößen führte.
Generalisierung und Übertragbarkeit:
- Zero-Shot: Ein Modell, das auf der Schaltung n100 trainiert wurde, zeigte eine starke Zero-Shot-Generalisierung auf nicht gesehene Schaltungen (n10 bis n300) und behielt eine hohe Leistung bei den Metriken zur Einhaltung von Beschränkungen ohne Feinabstimmung bei.
- Feinabstimmung: Die Feinabstimmung vortrainierter Gewichte auf größeren Schaltungen (n200, n300) erzielte eine vergleichbare oder überlegene Leistung im Vergleich zum Training von Grund auf bei erheblich reduzierten Rechenkosten.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass RulePlanner eine kritische Engstelle im modernen Chip-Design adressiert: die Unfähigkeit aktueller automatisierter Tools, die vielschichtigen und gleichzeitigen Beschränkungen des 3D-IC-Designs zu handhaben. Durch die Vereinheitlichung verschiedener Regeln in einem einzigen Framework mittels neuartiger Matrixdarstellungen und Beschränkungen des Aktionsraums eliminiert die Methode die Notwendigkeit umfangreicher manueller Nachbearbeitung.

Die Autoren betonen, dass ihr Ansatz einen strategischen Prioritätenwechsel darstellt: Die Gewährleistung der vollständigen Einhaltung komplexer Designregeln wird als kritischer erachtet als das Erreichen des absolut niedrigsten HPWL isoliert. Die Erweiterbarkeit des Frameworks wird als Schlüsselfeature zur Bewältigung aufkommender Herausforderungen in zukünftigen Chip-Designs hervorgehoben, wie z. B. thermische Optimierung (als zukünftige Richtung vorgeschlagen) und andere implizite Beschränkungen. Die Arbeit zeigt, dass Deep Reinforcement Learning, wenn es um domänenspezifische strukturelle Beschränkungen und Darstellungen erweitert wird, das NP-schwere Problem des eingeschränkten 3D-Floorplanning effektiv lösen kann.