InHabit: Leveraging Image Foundation Models for Scalable 3D Human Placement

यहाँ शोध पत्र "InHabit: Leveraging Image Foundation Models for Scalable 3D Human Placement" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मुख्य चुनौती जो यहाँ संबोधित की गई है, वह है बड़े पैमाने पर, अर्थपूर्ण (semantically meaningful) 3D मानव-दृश्य अंतःक्रिया (human–scene interaction - HSI) डेटा की कमी।

• वास्तविक डेटा की सीमाएँ: मोशन कैप्चर (MoCap) के माध्यम से वास्तविक दुनिया की अंतःक्रियाओं को कैप्चर करना लॉजिस्टिक रूप से कठिन, महंगा और नियंत्रित स्टूडियो वातावरण या कम संख्या में दृश्यों (आमतौर पर <30 दृश्य) तक सीमित है।
• मौजूदा सिंथेटिक डेटा की सीमाएँ: वर्तमान सिंथेटिक दृष्टिकोण ज्यामितीय अनुमानी (geometric heuristics) जैसे कि टकराव बचाव (collision avoidance) और संपर्क अनुकूलन (contact optimization) पर निर्भर करते हैं, जिनमें अर्थपूर्ण संदर्भ (semantic context) का अभाव होता है। वे एक सतह पर मानव को रख तो सकते हैं, लेकिन यह तर्क नहीं दे सकते कि क्यों (जैसे, चूल्हे पर खाना बनाना बनाम बल्ब बदलने के लिए कुर्सी पर खड़ा होना)।
• अंतराल (The Gap): एक ऐसे स्केलेबल तरीके की आवश्यकता है जो विविध, संदर्भ-जागरूक 3D मानव अंतःक्रियाओं को उत्पन्न कर सके, जो मानवों के वातावरण के साथ कैसे अंतःक्रिया करते हैं, इस प्रकार के सामान्य ज्ञान (commonsense knowledge) का लाभ उठा सके, जो वर्तमान में इंटरनेट-स्केल डेटा पर प्रशिक्षित 2D फाउंडेशन मॉडल्स में निहित है।

2. कार्यप्रणाली: "Render–Generate–Lift" पाइपलाइन

लेखक InHabit का प्रस्ताव करते हैं, जो एक पूर्णतः स्वचालित, स्केलेबल डेटा जनरेशन इंजन है जो 2D फाउंडेशन मॉडल के ज्ञान को 3D डोमेन में स्थानांतरित करता है। यह प्रक्रिया चार चरणों वाली पाइपलाइन का अनुसरण करती है:

चरण 1: दृश्य-जागरूक दृश्य चयन और रेंडरिंग (Scene-Aware View Selection & Rendering)

• इनपुट: स्थिर 3D इनडोर दृश्य (जैसे, Habitat-Matterport 3D डेटासेट से)।
• प्रक्रिया: सिस्टम स्वचालित रूप से कैमरा व्यूपॉइंट्स को सैंपल करता है। एक डेप्थ-आधारित ह्यूरिस्टिक उन दृश्यों को फ़िल्टर करता है जो यह सुनिश्चित करते हैं कि फर्श दिखाई दे (ग्राउंडिंग के लिए) और दृश्य कमरे के भीतर पर्याप्त गहराई तक हो ताकि समृद्ध संदर्भ मिल सके।

चरण 2: अफोर्डेंस-जागरूक 2D मानव प्रविष्टि (Affordance-Aware 2D Human Insertion)

यह चरण रेंडर किए गए 2D दृश्यों में दो फाउंडेशन मॉडल्स का उपयोग करके मनुष्यों को भरता है:

1. तर्क के लिए विजन-लैंग्वेज मॉडल (VLM): VLM रेंडर किए गए दृश्य का विश्लेषण करता है ताकि संदर्भपूर्ण अर्थपूर्ण क्रियाएं प्रस्तावित की जा सकें। यह दो रणनीतियों का उपयोग करता है:
   • अफोर्डेंस-संचालित (Affordance-driven): यह पहचानना कि दृश्य क्या अनुमति देता है (जैसे, "किचन" $\to$ "खाना बनाना")।
   • एक्शन-संचालित (Action-driven): सामान्य क्रियाओं को संदर्भ प्रदान करना (जैसे, एक कमरे में जहाँ ऊँचा प्रकाश हो, वहाँ "खड़ा होना" $\to$ "कुर्सी पर खड़ा होना")।
   • प्रतिबंध (Constraint): VLM को ऐसी अंतःक्रियाएं प्रस्तावित करने के लिए बाध्य किया जाता है जो दृश्य की ज्यामिति को न बदलें (फर्नीचर को न हिलाएं)।
2. सिंथेसिस के लिए इमेज-एडिटिंग मॉडल: एक इमेज-एडिटिंग फाउंडेशन मॉडल VLM के टेक्स्ट प्रॉम्प्ट और दृश्य छवि को लेकर क्रिया करते हुए यथार्थवादी (photorealistic) मनुष्यों को उत्पन्न करता है। महत्वपूर्ण रूप से, यह मॉडल स्थानीय दृश्य संदर्भ (जैसे, टीवी की ओर मुख करना, शेल्फ की ओर हाथ बढ़ाना) के अनुकूल शरीर के पोज़, अनुपात और स्थानिक प्लेसमेंट को अनुकूलित करता है।

चरण 3: 3D दृश्य-जागरूक लिफ्टिंग (3D Scene-Aware Lifting)

2D जनरेट की गई छवि को वापस 3D में 'लिफ्ट' किया जाता है ताकि ज्ञात दृश्य ज्यामिति के साथ संरेखित एक भौतिक रूप से प्रशंसनीय SMPL-X मानव मेश (mesh) प्राप्त किया जा सके।

• आरंभीकरण (Initialization): एक मोनोक्यूलर डेप्थ एस्टीमेटर एडिट की गई छवि से एक आंशिक मानव पॉइंट क्लाउड प्राप्त करता है, जिसे वापस प्रोजेक्ट और दृश्य मेश के साथ संरेखित किया जाता है।
• अनुकूलन (Optimization): सिस्टम एक मल्टी-टर्म ऑब्जेक्टिव फंक्शन का उपयोग करके मानव मापदंडों (पोज़ $\theta$, शेप $\beta$, ट्रांसलेशन $t$, और एक नया स्केल पैरामीटर $s$) को अनुकूलित करता है:
  $$\min \lambda_{proj} \mathcal{L}_{proj} + \lambda_{depth} \mathcal{L}_{depth} + \lambda_{con} \mathcal{L}_{contact} + \lambda_{pen} \mathcal{L}_{penetration} + \lambda_{reg} \mathcal{L}_{reg}$$
  • प्रमुख नवाचार: स्पष्ट स्केल पैरामीटर $s$ मेट्रिक साइज़िंग को बॉडी शेप से अलग करता है, जिससे ऑप्टिमाइज़र बॉडी सिलुएट को विकृत किए बिना दृश्य स्केल के साथ मेल खा पाता है।
  • प्रतिबंध: यह विधि पूर्ण 3D दृश्य मेश का लाभ उठाती है (पिछले तरीकों के विपरीत जो आंशिक डेप्थ का उपयोग करते हैं) ताकि स्थिर संपर्क और पेनेट्रेशन बाधाओं को लागू किया जा सके, जिससे यह सुनिश्चित हो सके कि मानव भौतिक रूप से ग्राउंडेड है।

चरण 4: पोस्ट-रिकंस्ट्रक्शन फ़िल्टरिंग (Post-Reconstruction Filtering)

उच्च गुणवत्ता सुनिश्चित करने के लिए, तीन फ़िल्टर भौतिक रूप से अकल्पनीय आर्टिफैक्ट्स को हटाते हैं:

1. विजिबिलिटी फ़िल्टर (Visibility Filter): सेगमेंटेशन मास्क के विरुद्ध पॉइंट क्लाउड विजिबिलिटी की जाँच करके दर्पण/कांच में रखे गए मनुष्यों या गंभीर रूप से कटे हुए आकृतियों को हटाता है।
2. डेप्थ-आधारित बाउंड्री फ़िल्टर (Depth-Based Boundary Filter): मूल दृश्य डेप्थ के विरुद्ध एडिट की गई छवि के डेप्थ मैप की तुलना करके मानव के पास हैल्यूसिनेटेड (hallucinated) ज्योमेट्री (जैसे, विस्थापित फर्नीचर) का पता लगाता है।
3. वॉल्यूम फ़िल्टर (Volume Filter): उन मेश को हटा देता है जिनका वॉल्यूम असामान्य रूप से कम है (जैसे, किसी बच्चे के लिए वयस्क मॉडल फिट करना या पोस्टर), जो लिफ्टिंग प्रक्रिया में विफलता का संकेत देता है।

3. प्रमुख योगदान (Key Contributions)

1. InHabit विधि: एक पूर्णतः स्वचालित, स्केलेबल पाइपलाइन जो VLM-आधारित अफोर्डेंस रीजनिंग, जेनेरेटिव इमेज एडिटिंग और ऑप्टिमाइजेशन-आधारित 3D रिकंस्ट्रक्शन को जोड़ती है ताकि बिना मैनुअल एनोटेशन के 3D HSI डेटा बनाया जा सके।
2. InHabitants डेटासेट: पहला बड़े पैमाने का फोटोरियलिस्टिक 3D HSI डेटासेट जिसमें ~800 बिल्डिंग-स्केल दृश्यों में 78,000 नमूने शामिल हैं। इसमें पूर्ण 3D ज्यामिति, SMPL-X बॉडी मेश और RGB छवियां शामिल हैं, जो विविध सिंगल और मल्टी-पर्सन इंटरैक्शन को कवर करती हैं।
3. प्रदर्शन सत्यापन: सिद्ध किया गया कि InHabit द्वारा जनरेट किया गया सिंथेटिक डेटा मात्रात्मक मेट्रिक्स और व्यक्तिपरक उपयोगकर्ता अध्ययन (perceptual user studies) दोनों में मौजूदा SOTA प्लेसमेंट विधियों (GenZI, POSA) से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने मात्रात्मक बेंचमार्क, गुणात्मक तुलना और उपयोगकर्ता अध्ययन के माध्यम से InHabit का मूल्यांकन किया।

• गुणात्मक और उपयोगकर्ता अध्ययन:

  • 726 प्रतिक्रियाओं वाले एक व्यक्तिपरक अध्ययन में, 78.1% प्रतिभागियों ने GenZI (6.7%) और POSA++ (15.2%) की तुलना में InHabit की अंतःक्रियाओं को पसंद किया।
  • InHabit ने अधिक प्राकृतिक, संदर्भ-जागरूक पोज़ (जैसे, मूर्ति को छूना, काउंटर पर झुकना) उत्पन्न किए, जो बेसलाइन के ज्यामितीय रूप से वैध लेकिन अर्थपूर्ण रूप से खाली पोज़ की तुलना में बेहतर थे।

• कॉन्टैक्ट एस्टीमेशन (DAMON बेंचमार्क):

  • मानक प्रशिक्षण डेटा में InHabitants को जोड़ने से SOTA कॉन्टैक्ट एस्टीमेटर DECO में सुधार हुआ।
  • केवल DAMON पर प्रशिक्षण की तुलना में F1-स्कोर में 7.4% की वृद्धि और रिकॉल (Recall) में 10.6% की वृद्धि हुई।
  • विशेष रूप से, InHabitants (स्वचालित रूप से जनरेट किया गया) TRUMANS (श्रम-साध्य वास्तविक दुनिया के MoCap डेटा) के साथ प्रशिक्षण से बेहतर रहा, जिसका श्रेय In-Habit की बेहतर दृश्य विविधता (~800 दृश्य बनाम 100) को जाता है।

• 3D ह्यूमन-सीन रिकंस्ट्रक्शन (PROX & RICH):

  • InHabitants डेटा पर फीड-फॉरवर्ड रिकंस्ट्रक्शन मॉडल्स (Human3r और GRAFT) को प्रशिक्षित करने से मूल डेटासेट्स (BEDLAM, PROX) पर प्रशिक्षित मॉडल्स की तुलना में महत्वपूर्ण सुधार हुआ।
  • GRAFT को विशेष रूप से InHabitants पर प्रशिक्षित किया गया था, जिसने आउटडोर RICH बेंचमार्क पर भी उत्कृष्ट प्रदर्शन किया, जबकि प्रशिक्षण के दौरान इसने कभी भी आउटडोर छवियों को नहीं देखा था, जो सीखे गए इंटरैक्शन प्रायर्स (interaction priors) की मजबूती को दर्शाता है।

5. महत्व और प्रभाव (Significance and Impact)

• 2D और 3D को जोड़ना: यह शोध पत्र सफलतापूर्वक प्रदर्शित करता है कि इंटरनेट-स्केल 2D फाउंडेशन मॉडल्स मानव-वातावरण अंतःक्रियाओं के पर्याप्त कॉमनसेन्स नॉलेज को समाहित करते हैं, जो उन्हें महंगे 3D मोशन कैप्चर के एक व्यावहारिक, स्केलेबल विकल्प के रूप में काम करने में सक्षम बनाता है।
• एम्बॉडीड AI के लिए स्केलेबिलिटी: डेटा की कमी की बाधा को हल करके, InHabit एम्बॉडीड एजेंटों को प्रशिक्षित करने में सक्षम बनाता है जो मानव-केंद्रित तरीके से 3D दृश्यों को समझ और इंटरैक्ट कर सकते हैं (जैसे, रोबोटिक्स, वर्चुअल असिस्टेंट)।
• ओपन सोर्स: लेखक InHabitants डेटासेट और कोड को रिलीज़ करने की प्रतिबद्धता जताते हैं, जिससे 3D सीन अंडरस्टैंडिंग और ह्यूमन-रोबोट इंटरैक्शन में आगे के अनुसंधान को बढ़ावा मिलता है।

संक्षेप में, InHabit ज्यामितीय-अनुमानी आधारित प्लेसमेंट से सेमान्टिक-अवेयर जनरेशन की ओर एक प्रतिमान बदलाव (paradism shift) का प्रतिनिधित्व करता है, जो आधुनिक फाउंडेशन मॉडल्स की शक्ति का लाभ उठाकर पहले वास्तव में बड़े पैमाने पर, विविध और संदर्भ-समृद्ध 3D मानव अंतःक्रिया डेटासेट का निर्माण करता है।