🤖 machine learning

Addressing Large Action Spaces in 3D Floorplanning via Spatial Generalization

यह शोध पत्र 3D फ्लोरप्लानिंग के लिए एक निरंतर एक्शन प्रतिनिधित्व (continuous action representation) प्रस्तावित करता है जो $L$ -एक्शन समानता के माध्यम से स्थानिक सामान्यीकरण (spatial generalization) का लाभ उठाता है ताकि मॉडल लर्निंग को कैनवास रिज़ॉल्यूशन से अलग किया जा सके, जिससे बड़े डिस्क्रीट एक्शन स्पेस से जुड़ी स्केलेबिलिटी बाधाओं को दूर किया जा सके।

मूल लेखक: Fin Amin, Nirjhor Rouf, Tse-Han Pan, Sounak Dutta, Md Kamal Ibn Shafi, Paul D. Franzon

प्रकाशित 2026-03-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fin Amin, Nirjhor Rouf, Tse-Han Pan, Sounak Dutta, Md Kamal Ibn Shafi, Paul D. Franzon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र "Addressing Large Action Spaces in 3D Floorplanning via Spatial Generalization" का सरल भाषा और रचनात्मक उपमाओं के साथ अनुवाद दिया गया है।

बड़ी समस्या: "पिक्सेलेटेड" पहेली

कल्पना कीजिए कि आप एक विशाल, 3D गगनचुंबी इमारत (skyscraper) डिजाइन करने की कोशिश कर रहे हैं एक आर्किटेक्ट के रूप में। आपके पास सैकड़ों कमरे (फंक्शनल ब्लॉक्स) हैं जिन्हें आपस में पूरी तरह फिट होना चाहिए। आपका लक्ष्य उन्हें इस तरह व्यवस्थित करना है कि गलियारे (wires) छोटे हों, इमारत अधिक गर्म न हो, और लोग ट्रैफिक में न फंसें (congestion)।

इंजीनियर बिल्कुल यही काम करते हैं जब वे कंप्यूटर चिप डिजाइन करते हैं, लेकिन सूक्ष्म स्तर पर। इसे फ्लोरप्लानिंग (Floorplanning) कहा जाता है।

समस्या यह है कि इन कमरों को व्यवस्थित करने के इतने सारे तरीके हैं कि उन सभी की जाँच करना असंभव है। यह एक घर में फर्नीचर को व्यवस्थित करने के हर एक इंच को आज़माने जैसा है।

पुराना तरीका (डिस्क्रीट ग्रिड - Discrete Grid):
पिछले AI तरीकों ने फ्लोरप्लान को एक विशाल पिक्सेलेटेड वीडियो गेम ग्रिड की तरह माना (जैसे Minecraft या Tetris)।

AI को एक कमरा रखने के लिए ग्रिड के एक विशिष्ट "वर्ग" (square) को चुनना पड़ता था।
यदि ग्रिड 100x100 का था, तो AI को केवल एक कमरे के लिए 10,000 विकल्पों में से चुनना पड़ता था।
खामी: यदि AI सीखता है कि वर्ग #5,000 पर कमरा रखना अच्छा है, तो वह स्वतः यह नहीं सीख पाता कि वर्ग #5,001 भी शायद अच्छा ही होगा। वह हर वर्ग को एक पूरी तरह से अलग, असंबंधित विकल्प मानता है। इससे सीखना अविश्वसनीय रूप से धीमा और अक्षम हो जाता है, खासकर जब इमारत बड़ी (3D) होती है।

नया विचार: "स्मूथ" कैनवास

इस पेपर के लेखक एक स्मार्ट तरीका प्रस्तावित करते हैं जिसे स्पेशियल जनरलाइजेशन (Spatial Generalization - SGF) कहा जाता है।

AI को ग्रिड पर एक विशिष्ट पिक्सेल चुनने के लिए मजबूर करने के बजाय, वे AI को कंटीन्यूअस स्पेस (Continuous Space) में सोचने देते हैं—जैसे कि एक वास्तविक दुनिया का नक्शा जहाँ आप एक कमरे को किसी भी निर्देशांक (coordinate) पर रख सकते हैं, न कि केवल ग्रिड लाइन पर।

मुख्य अंतर्दृष्टि: "L-एक्शन सिमिलरिटी" (L-Action Similarity)
यह पेपर एक सरल मानवीय अंतर्ज्ञान पर आधारित है: यदि एक जगह अच्छी है, तो उसके ठीक बगल वाली जगह भी शायद अच्छी ही होगी।

उपमा: यदि आप पार्किंग लॉट में अपनी कार खड़ी करने के लिए एक आदर्श जगह ढूंढ लेते हैं, तो आपको यह जानने के लिए अगले स्थान का परीक्षण करने की आवश्यकता नहीं है कि वह खराब है। आप जानते हैं कि बाईं ओर 2 इंच की जगह भी उतनी ही अच्छी होगी।
लेखक इसे L-एक्शन सिमिलरिटी कहते हैं। AI को यह नियम सिखाकर, यह एक निर्णय से सीख सकता है और तुरंत उस ज्ञान को अपने पड़ोसियों पर लागू कर सकता है।

यह कैसे काम करता है: "सपना देखने वाला" और "जज"

सिस्टम फ्लोरप्लान बनाने के लिए दो-भागों वाली टीम का उपयोग करता है:

द ड्रीमर (The Dreamer - सपना देखने वाला/एक्टर):
- ग्रिड नंबर का अनुमान लगाने के बजाय, 'ड्रीमर' 3D स्पेस में एक स्मूथ, तैरते हुए निर्देशांक (floating coordinate) की ओर इशारा करता है (जैसे, "कमरे को यहाँ रखें, लगभग x=0.45, y=0.82 पर")।
- क्योंकि AI इस स्मूथ स्पेस में सीखता है, यदि वह गलती करता है, तो उसे ऐसा फीडबैक मिलता है जो उसे केवल उस एक विशिष्ट बिंदु के बजाय पूरे पड़ोस को समझने में मदद करता है। वह तेजी से सीखता है।
द जज (The Judge - जज/क्रिटिक):
- ड्रीमर का फ्लोटिंग पॉइंट वास्तविक चिप ग्रिड पर एक कानूनी स्थान नहीं है। इसलिए, सिस्टम उस फ्लोटिंग पॉइंट के 5 सबसे करीबी कानूनी ग्रिड स्पॉट्स को खोजता है।
- जज उन 5 स्थानों को देखता है और उनमें से एक को चुनता है जो एक शानदार इमारत बनाने में सबसे अधिक सफल होने की संभावना रखता है।

जादुई ट्रिक: "रैंडम" गलतियों से सीखना

आमतौर पर, AI को चिप बनाने के लिए प्रशिक्षित करने हेतु आपको मानव विशेषज्ञों द्वारा बनाए गए "परफेक्ट" फ्लोरप्लान के डेटासेट की आवश्यकता होती है। इसे प्राप्त करना महंगा और कठिन है।

इस पेपर ने कुछ आश्चर्यजनक किया: उन्होंने AI को पूरी तरह से रैंडम (यादृच्छिक) फ्लोरप्लान पर प्रशिक्षित किया।

उन्होंने AI को रैंडम तरीके से कमरे रखने दिया, जैसे कोई बच्चा फर्श पर ब्लॉक फेंकता है।
यह क्यों काम किया: "स्मूथनेस" नियम (L-action similarity) के कारण, AI एक रैंडम, अस्त-व्यत लेआउट को देखकर कह सकता था, "ठीक है, यह विशिष्ट स्थान बुरा था, लेकिन इसके पास के स्थान ठीक हो सकते हैं।"
इसने बिना किसी शिक्षक के, अराजकता में पैटर्न को देखकर, अच्छे डिज़ाइन के सिद्धांतों (जैसे "भारी कमरों को किनारे के पास न रखें") को सीखा।

परिणाम

जब उन्होंने इस नए तरीके का पुराने "पिक्सेलेटेड" तरीकों के मुकाबले परीक्षण किया:

बेहतर गुणवत्ता: नए AI ने छोटे तारों और बेहतर लेआउट के साथ चिप्स बनाए।
तेजी से सीखना: इसे यह समझने के लिए लाखों रैंडम संयोजनों को आज़माने की आवश्यकता नहीं थी; इसने जो सीखा उससे सामान्यीकरण (generalize) किया।
स्केलेबिलिटी (Scalability): क्योंकि AI को ग्रिड के विशाल स्पॉट्स की सूची याद रखने की आवश्यकता नहीं है, यह क्रैश हुए बिना बहुत बड़े और जटिल 3D डिज़ाइन को संभाल सकता है।

सारांश उपमा

पुराना तरीका: एक नए शहर को 10,000 विशिष्ट पतों की सूची याद करके सीखने जैसा है। यदि आप जानते हैं कि पता #500 एक बेकरी है, तो आप पता #501 के बारे में कुछ नहीं जानते।
नया तरीका (SGF): पड़ोसों को समझकर शहर को सीखने जैसा है। यदि आप जानते हैं कि "डाउनटाउन" क्षेत्र व्यस्त है, तो आप जानते हैं कि डाउनटाउन के पास की सड़कें भी व्यस्त होंगी। आपको हर एक गली को याद करने की ज़रूरत नहीं है; आप प्रवाह (flow) को समझते हैं।

यह पेपर साबित करता है कि AI को "पिक्सेलेटेड" स्पेस के बजाय "स्मूथ" स्पेस में सोचने देने से, हम बहुत कम डेटा और बहुत तेज़ी से विशाल डिज़ाइन समस्याओं को हल कर सकते हैं।

यहाँ शोध पत्र "Addressing Large Action Spaces in 3D Floorplanning via Spatial Generalization" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

फ्लोरप्लानिंग (Floorplanning) इंटीग्रेटेड सर्किट (IC) डिज़ाइन में एक महत्वपूर्ण, NP-hard चरण है जहाँ पावर, परफॉरमेंस, एरिया और थर्मल मेट्रिक्स को अनुकूलित करने के लिए कार्यात्मक ब्लॉक्स (functional blocks) को रखा जाता है।

बाधा (The Bottleneck): हालिया मशीन लर्निंग (ML) दृष्टिकोण, जैसे कि CircuitTraining और Chipformer, डिस्क्रीट ग्रिड रिप्रेजेंटेशन (discrete grid representations) पर निर्भर करते हैं। यहाँ एक्शन स्पेस को ग्रिड कोऑर्डिनेट्स के वर्गीकरण (classification) के रूप में परिभाषित किया जाता है।
स्केलेबिलिटी की समस्या (Scalability Issue): जैसे-जैसे कैनवास रेजोल्यूशन बढ़ता है (विशेष रूप से 3D में), एक्शन स्पेस तेजी से बढ़ता है (उदाहरण के लिए, एक $100 \times 100 \times 2$ $100 \times 100 \times 2$ कैनवास 20,000 डिस्क्रीट एक्शन्स देता है)। यह मॉडल्स को हजारों क्लासेस पर प्रोबेबिलिटी डिस्ट्रीब्यूशन आउटपुट करने के लिए मजबूर करता है, जिससे निम्नलिखित स्थितियाँ उत्पन्न होती हैं:
- उच्च कम्प्यूटेशनल लागत (बड़े आउटपुट लेयर्स)।
- खराब सैंपल एफिशिएंसी (स्पार्स रिवॉर्ड सिग्नल)।
- सामान्यीकरण (generalization) का अभाव (मॉडल स्थानिक पैटर्न के बजाय विशिष्ट ग्रिड सेल्स को सीख लेता है)।
डेटा की कमी (Data Scarcity): अधिकांश RL-आधारित तरीकों को प्री-ट्रेनिंग के लिए उच्च-गुणवत्ता वाले "एक्सपर्ट" ट्राजेक्टरीज की आवश्यकता होती है, जिन्हें बनाना या सत्यापित करना महंगा होता है।

2. कार्यप्रणाली: फ्लोरप्लानिंग के लिए स्पेशियल जनरलाइजेशन (SGF)

लेखक SGF प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो फ्लोरप्लानिंग को स्ट्रक्चर्ड लार्ज डिस्क्रीट एक्शन स्पेस (SLDAS) समस्या के रूप में मानता है। कैनवास को पहले डिस्क्रीट करने के बजाय, SGF एक कंटीन्यूअस एक्शन स्पेस (continuous action space) में सीखता है और केवल इन्फरेंस (inference) के समय ही इसे डिस्क्रीट करता है।

मुख्य अवधारणाएँ (Core Concepts)

L-एक्शन सिमिलैरिटी (L-Action Similarity): शोध पत्र इस अंतर्ज्ञान को औपचारिक रूप देता है कि स्थान $x$ पर एक मॉड्यूल रखने से $x + \epsilon$ पर रखने के समान रिवॉर्ड (रिटर्न) प्राप्त होता है। गणितीय रूप से, एक्शन-वैल्यू फंक्शन $Q^\pi(s, a)$ L-लिप्सचिट्ज निरंतर (L-Lipschitz continuous) है। इसका अर्थ है कि स्थिति में छोटे बदलावों के परिणामस्वरूप रिवॉर्ड में सीमित परिवर्तन होता है।
इंडक्टिव बायस (Inductive Bias): निरंतर स्थान (continuous space) में कार्य करके, मॉडल को न केवल चुने गए एक्शन के लिए, बल्कि उसके आसपास के स्थानिक क्षेत्र के लिए भी ग्रेडिएंट सिग्नल प्राप्त होते हैं। यह मॉडल को विशिष्ट ग्रिड सेल्स को याद करने के बजाय स्थानिक पैटर्न (स्मूथनेस) सीखने में सक्षम बनाता है।

आर्किटेक्चर (Architecture)

SGF वोल्परटिंग एजेंट (Wolpertinger agent) आर्किटेक्चर को अपनाता है लेकिन एक्टर (Actor) और क्रिटिक (Critic) दोनों के लिए मानक न्यूरल नेटवर्क के स्थान पर डिसीजन ट्रांसफॉर्मर्स (Decision Transformers - DT) का उपयोग करता है।

एक्टर ( $\pi_\theta$ ):
- इनपुट: स्टेट हिस्ट्री (ग्रिड, नेटलिस्ट ग्राफ, डिफरेंस मैप) और टारगेट रिटर्न-टू-गो (RTG)।
- आउटपुट: एक निरंतर 3D कोऑर्डिनेट $\hat{\alpha}_t \in [0, 1]^3$ , जो अगले मॉड्यूल के अनुमानित सेंट्रॉइड (centroid) को दर्शाता है।
- k-NN प्रोजेक्शन: निरंतर आउटपुट को k-नेरेस्ट नेबर (k-Nearest Neighbor) सर्च का उपयोग करके $k$ निकटतम वैध डिस्क्रीट ग्रिड एक्शन्स ( $\{ \hat{a}^{(1)}_t, \dots, \hat{a}^{(k)}_t \}$ ) में मैप किया जाता है।
क्रिटिक ( $g^\pi_\theta$ ):
- इनपुट: स्टेट हिस्ट्री और एक्टर द्वारा उत्पन्न $k$ कैंडिडेट डिस्क्रीट एक्शन्स।
- आउटपुट: प्रत्येक कैंडिडेट के लिए प्रेडिक्टेड रिटर्न-टू-गो (RTG)।
- चयन (Selection): अंतिम एक्शन उस कैंडिडेट के रूप में चुना जाता है जो प्रेडिक्टेड RTG और टारगेट RTG के बीच के अंतर को न्यूनतम करता है:
  $\tilde{a}_t = \arg \min_{a \in N_k(\hat{\alpha}_t)} |g^\pi_\theta(\gamma_t, a) - g_t|$

ट्रेनिंग स्ट्रैटेजी (Training Strategy)

रैंडम ट्राजेक्टरी ट्रेनिंग (Random Trajectory Training): विशिष्ट रूप से, SGF को पूरी तरह से रैंडम फ्लोरप्लान ट्राजेक्टरीज पर प्रशिक्षित किया जाता है (कोई एक्सपर्ट डेटा नहीं)।
तंत्र (Mechanism): यह हैसाइट एक्सपीरियंस रीप्ले (Hindsight Experience Replay - HER) और गोल-कंडीशन्ड सुपरवाइज्ड लर्निंग (GCSL) का लाभ उठाता है। मॉडल यह मूल्यांकन करने के लिए सीखता है कि क्या एक रैंडम प्लेसमेंट डिजाइन उद्देश्यों (वायर लेंथ, कंजेशन, थर्मल) के साथ संरेखित है, जो भविष्य के रिटर्न की भविष्यवाणी करके किया जाता है। एक्शन स्पेस की निरंतर प्रकृति मॉडल को इन शोर वाले, उप-इष्टतम (sub-optimal) उदाहरणों से सीखने की अनुमति देती है।

3. प्रमुख योगदान (Key Contributions)

SLDAS का औपचारिकीकरण: यह शोध पत्र चिप लेआउट को एक स्ट्रक्चर्ड लार्ज डिस्क्रीट एक्शन स्पेस के रूप में औपचारिक रूप से परिभाषित करने वाला पहला पेपर है, जो फ्लोरप्लानिंग के लिए L-एक्शन सिमिलैरिटी को एक गणितीय बाधा के रूप में पेश करता है।
कंटीन्यूअस एक्शन रिप्रेजेंटेशन: यह प्रदर्शित करता है कि निरंतर कोऑर्डिनेट्स + k-NN के माध्यम से आउटपुट शेप को कैनवास रेजोल्यूशन से अलग करने से डिस्क्रीट ग्रिड मेथड्स की स्केलेबिलिटी संबंधी बाधा को हल किया जा सकता है।
रैंडमनेस से सीखना: यह सिद्ध करता है कि एक मॉडल बिना किसी एक्सपर्ट ट्राजेक्टरी के, केवल स्थानिक स्मूथनेस के इंडक्टिव बायस पर भरोसा करते हुए, सार्थक प्लेसमेंट पॉलिसी और स्पेशियल जनरलाइजेशन सीख सकता है।
सैद्धांतिक एरर बाउंड (Theoretical Error Bound): यह सब-ऑप्टिमैलिटी पर एक बाउंड (Theorem 1) व्युत्पन्न करता है, जो दिखाता है कि परफॉरमेंस गैप लिप्सचिट्ज कांस्टेंट ( $L$ ), ऑप्टिमल एक्शन से निरंतर प्रस्ताव की दूरी, और क्रिटिक की प्रेडिक्शन एरर द्वारा सीमित है।

4. परिणाम (Results)

लेखकों ने मानक बेंचमार्क (ami33, ami49, n50, n100, ibm6) पर Chipformer (एक अत्याधुनिक डिस्क्रीट ग्रिड-आधारित विधि) के विरुद्ध SGF का मूल्यांकन किया।

परफॉरमेंस: SGF ने सभी बेंचमार्क पर Chipformer की तुलना में कम मैनहट्टन वायर लेंथ (बेहतर प्रदर्शन) प्राप्त की, बावजूद इसके कि Chipformer ऑनलाइन फाइन-ट्यूनिंग से गुजर रहा था जबकि SGF ने केवल ऑफलाइन ट्रेनिंग का उपयोग किया।
- उदाहरण (ami49): SGF (32,304) बनाम Chipformer (37,530)।
- उदाहरण (n100): SGF (16,607) बनाम Chipformer (25,229)।
स्थिरता (Stability): जबकि Chipformer का प्रदर्शन अतिरिक्त ऑनलाइन रोलआउट के साथ उतार-चढ़ाव भरा या स्थिर रहा, SGF ने निरंतर प्रदर्शन बनाए रखा, जो बेहतर जनरलाइजेशन का संकेत देता है।
क्रिटिक सटीकता (Critic Accuracy): SGF क्रिटिक ने अधिक मॉड्यूल रखे जाने के साथ घटते एरर के साथ रिटर्न-टू-गो वैल्यूज की सफलतापूर्वक भविष्यवाणी की, जो स्ट्रक्चर्ड रिवॉर्ड ट्रेंड्स को कैप्चर करने की इसकी क्षमता को दर्शाता है।
स्केलेबिलिटी: कैनवास रेजोल्यूशन के बावजूद मॉडल का आउटपुट डाइमेंशनलिटी फिक्स्ड (3 कोऑर्डिनेट्स) रहा, जबकि डिस्क्रीट मॉडल्स को ग्रिड साइज के अनुपात में आउटपुट यूनिट्स की आवश्यकता होती है।

5. महत्व और निहितार्थ (Significance and Implications)

पैराडाइम शिफ्ट (Paradigm Shift): यह शोध पत्र फिजिकल डिज़ाइन ऑटोमेशन में डिस्क्रीट ग्रिड रिप्रेजेंटेशन की आवश्यकता को चुनौती देता है। यह सुझाव देता है कि फिजिकल प्लेसमेंट कार्यों के लिए स्पेशियल जनरलाइजेशन डिस्क्रीट क्लासिफिकेशन की तुलना में एक अधिक कुशल इंडक्टिव बायस है।
डेटा एफिशिएंसी: यह दिखाकर कि उच्च-गुणवत्ता वाली पॉलिसी रैंडम डेटा से उभर सकती है, SGF महंगे एक्सपर्ट डेटासेट या जटिल प्री-ट्रेनिंग पाइपलाइनों पर निर्भरता को कम करता है।
3D के लिए उपयुक्तता: यह दृष्टिकोण स्वाभाविक रूप से 3D फ्लोरप्लानिंग में विस्तारित होता है, जिसमें डिस्क्रीट मेथड्स की तरह एक्शन स्पेस के आकार में कॉम्बिनेटोरियल विस्फोट नहीं होता, जो इसे उन्नत पैकेजिंग और 3D-IC डिज़ाइन के लिए अत्यधिक प्रासंगिक बनाता है।
सैद्धांतिक आधार: यह समझने के लिए एक कठोर गणितीय ढांचा (L-Lipschitz continuity) प्रदान करता है कि निरंतर रिप्रेजेंटेशन स्थानिक अनुकूलन समस्याओं के लिए बेहतर क्यों काम करते हैं।

निष्कर्षतः, SGF यह प्रदर्शित करता है कि भौतिक स्थान (physical space) की अंतर्निहित स्मूथनेस का लाभ उठाकर, RL एजेंट्स पारंपरिक डिस्क्रीट दृष्टिकोणों की तुलना में अधिक कुशलता से और स्केलेबिलिटी के साथ जटिल 3D फ्लोरप्लानिंग समस्याओं को हल कर सकते हैं, और वह भी बिना किसी एक्सपर्ट ह्यूमन डेटा के।