💻 computer science

Geometry-Aligned LLM Fine-Tuning for Sequential Narrow-Opening Planning

यह शोध पत्र एक ज्यामिति-संरेखित (geometry-aligned) LLM फाइन-ट्यूनिंग ढांचे का प्रस्ताव करता है जो क्रमिक संकीर्ण दीर्घाओं (sequential narrow openings) के माध्यम से रिजिड-बॉडी मोशन प्लानिंग के लिए व्यवहार्य, दीर्घ-अवधि वाले वेपॉइंट अनुक्रमों को उत्पन्न करने के लिए विफलता-संचालित सुपरवाइज्ड फाइन-ट्यूनिंग और ज्यामितीय सत्यापन-आधारित सुदृढीकरण शिक्षण (reinforcement learning) को जोड़ता है।

मूल लेखक: Al Jaber Mahmud, Xuan Wang

प्रकाशित 2026-03-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Al Jaber Mahmud, Xuan Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप घर के संकरे दरवाजों से गुजरने के लिए एक विशाल, अजीब आकार का फर्नीचर (जैसे कि एक लंबा सोफा या टी-आकार की मेज) ले जाने की कोशिश कर रहे हैं।

समस्या:
यदि आप केवल पहले दरवाजे से गुजरने पर ध्यान केंद्रित करते हैं, तो आप सोफे को फिट होने के लिए तिरछा कर सकते हैं। लेकिन एक बार जब आप पार हो जाते हैं, तो आप दूसरे दरवाजे के लिए गलत दिशा में फंस सकते हैं, जो कि और भी संकरा है। आप गलियारे में मुड़ नहीं सकते क्योंकि वहां जगह नहीं है। सफल होने के लिए, आपको पूरी यात्रा की योजना एक साथ बनानी होगी, यह सुनिश्चित करते हुए कि पहले दरवाजे से बाहर निकलने का तरीका दूसरे दरवाजे में प्रवेश करने के लिए एकदम सही हो।

यह बिल्कुल वही समस्या है जिसे यह शोध पत्र रोबोट्स के लिए हल करता है।

समाधान: एक "ज्यामिति-जागरूक" (Geometry-Aware) मस्तिष्क
शोधकर्ताओं ने एक शक्तिशाली AI (एक लार्ज लैंग्वेज मॉडल, या LLM) लिया जो बात करने और तर्क करने में तो माहिर है लेकिन गणित और ज्यामिति (geometry) में बहुत खराब है। उन्होंने इसे संकीर्ण स्थानों से वस्तुओं को ले जाने के लिए एक मास्टर प्लानर बनने के लिए दो-चरणीय प्रशिक्षण प्रक्रिया के माध्यम से सिखाया।

यहाँ उन्होंने इसे सरल उपमाओं का उपयोग करके समझाया है:

चरण 1: "सख्त शिक्षक" (Failure-Driven SFT)

सबसे पहले, उन्होंने AI को इन कमरों से वस्तुओं को सफलतापूर्वक ले जाने वाले मनुष्यों के उदाहरण दिखाए। लेकिन उन्होंने AI को केवल मनुष्यों की नकल करने ही नहीं दिया।

उपमा: कल्पना कीजिए कि एक छात्र कार चलाना सीख रहा है। यदि वह फुटपाथ से टकरा जाता है, तो एक सामान्य शिक्षक केवल कह सकता है, "फिर से कोशिश करो।" लेकिन यह "सख्त शिक्षक" कार को तुरंत रोकता है, ठीक उस फुटपाथ की ओर इशारा करता है, और कहता है, "तुम यहाँ बहुत तेजी से मुड़े, और तुमने वहाँ दीवार को टक्कर दी।"
क्या हुआ: AI ने एक रास्ता बनाया, और एक कंप्यूटर प्रोग्राम ने इसकी जांच की। यदि रास्ता किसी दीवार से टकरा गया या बहुत टेढ़ा-मेढ़ा था, तो कंप्यूटर ने AI को एक विशिष्ट "विफलता नोट" दिया (जैसे, "तुम स्टेप 3 पर टकरा गए")। AI ने फिर से सीखा, विशेष रूप से उस सटीक गलती से बचने की कोशिश की। इसने AI को "सड़क के नियमों" और अपने उत्तरों को सही प्रारूप में देने का तरीका सिखाया।

चरण 2: "गेम शो होस्ट" (GRPO with Geometric Verification)

एक बार जब AI ने नियम जान लिए, तो उन्हें इसे केवल एक नियम का पालन करने वाला नहीं, बल्कि एक रणनीतिकार बनाना था। यहीं पर उन्होंने GRPO नामक तकनीक का उपयोग किया।

उपमा: कल्पना कीजिए कि AI एक गेम शो का प्रतियोगी है। होस्ट पूछता है, "आप इन तीन दरवाजों से कैसे गुजरेंगे?"
- AI केवल एक उत्तर नहीं देता है। वह एक साथ पाँच अलग-अलग विचार चिल्लाकर बताता है।
- होस्ट (ज्यामितीय सत्यापनकर्ता/geometric verifier) उन पाँचों विचारों के लिए एक सिमुलेशन चलाता है।
- होस्ट स्कोर देता है: "विचार A दीवार से टकरा गया। विचार B ठीक है लेकिन डगमगा रहा है। विचार C एकदम सही है!"
- AI सीखता है: "ओह, मुझे वह अधिक करना चाहिए जो विचार C ने किया और विचार A से कम करना चाहिए।"
क्या हुआ: केवल मनुष्यों की नकल करने के बजाय, AI ने पूरी यात्रा के बारे में "सोचना" शुरू कर दिया। उसने पहले दरवाजे से बाहर निकलने के सही कोणों को चुनना सीखा जो दूसरे दरवाजे में प्रवेश करना आसान बना दें। इसने केवल अगले कदम के लिए नहीं, बल्कि पूरी यात्रा के लिए अनुकूलन (optimize) किया।

परिणाम: यह क्यों महत्वपूर्ण है

शोधकर्ताओं ने इस नए "ज्यामिति-संरेखित" (Geometry-Aligned) AI का परीक्षण निम्नलिखित के विरुद्ध किया:

Raw AI: (अनप्रशिक्षित मस्तिष्क) – यह लगभग सब कुछ में विफल रहा क्योंकि यह भौतिकी (physics) को नहीं समझता था।
Standard Training: (केवल मनुष्यों की नकल करना) – इसने प्रारूप को सही पकड़ा लेकिन अक्सर रास्ते के बीच में ही टकरा गया क्योंकि यह "स्वीप्ट मोशन" (वह स्थान जो वस्तु मुड़ते समय घेरती है) को नहीं समझ पाया।
नई विधि: (सख्त शिक्षक + गेम शो) – यह परिचित कमरों में 92% बार और पूरी तरह से नए, कठिन कमरों में, जिन्हें इसने पहले कभी नहीं देखा था, 77% बार सफल रहा।

"जादुई" अंतर्दृष्टि:
सबसे बड़ी जीत लॉन्ग-होराइजन रीजनिंग (Long-Horizon Reasoning) थी।

पुराना तरीका: "दरवाजे 1 से गुजरें।" (परिणाम: दरवाजा 2 पर फंस गए)।
नया तरीका: "दरवाजे 1 से इस तरह गुजरें कि आप दरवाजे 2 के लिए सही दिशा में हों।"

संक्षेप में

यह शोध पत्र बताता है कि कैसे एक बातूनी AI को एक सटीक रोबोट प्लानर बनाने के लिए सिखाया जा सकता है। उन्होंने केवल उसे "सावधान रहो" नहीं कहा; बल्कि उन्होंने एक ऐसी प्रणाली बनाई जहाँ AI को उसकी गलतियों पर तत्काल, गणितीय फीडबैक मिलता है और वह "लंबी अवधि के खेल" को खेलना सीखता है, यह सुनिश्चित करता है कि उसका हर कदम आगे की सफलता के लिए सही आधार तैयार करे। यह एक शतरंज खिलाड़ी को केवल एक मोहरा चलाने के बजाय, दस चालें आगे सोचने के लिए सिखाने जैसा है।

यहाँ अल जाबेर महमूद और ज़ुआन वांग के शोध पत्र "Geometry-Aligned LLM Fine-Tuning for Sequential Narrow-Opening Planning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र एकाधिक क्रमिक संकीर्ण दीर्घाओं (multiple sequential narrow openings) के माध्यम से रिजिड-बॉडी मोशन प्लानिंग (rigid-body motion planning) की चुनौती को संबोधित करता है (जैसे, एक बड़े ऑब्जेक्ट को दरवाजों या संकीर्ण गलियारों की एक श्रृंखला के माध्यम से ले जाना)।

मुख्य कठिनाई: एकल-मार्ग नियोजन (single-passage planning) के विपरीत, इस समस्या के लिए दीर्घ-क्षितिीय ज्यामितीय तर्क (long-horizon geometric reasoning) की आवश्यकता होती है। एक प्रारंभिक द्वार को पार करने के लिए चुना गया विन्यास (pose), आगामी द्वारों के लिए सुलभ विन्यासों के सेट को कड़ाई से सीमित कर देता है।
विफलता के प्रकार (Failure Modes): मौजूदा विधियाँ अक्सर विफल हो जाती हैं क्योंकि:
- मॉडल-आधारित योजनाकार (Model-based planners) उच्च आयामीता (high dimensionality) और गैर-उत्तल (non-convexity) वाले संकीर्ण मार्गों में संघर्ष करते हैं, और अक्सर समय सीमा के भीतर वैश्विक रूप से व्यवहार्य पथ खोजने में विफल रहते हैं।
- सीखने-आधारित योजनाकार (Learning-based planners) अक्सर ऐसे डिस्क्रीट वेपॉइंट्स (discrete waypoints) उत्पन्न करते हैं जो स्थानीय रूप से वैध होते हैं, लेकिन निरंतर गति (swept collisions) में बदलने पर विफल हो जाते हैं या भविष्य के द्वारों के लिए निकास विन्यास (exit poses) को समन्वित करने में विफल रहते हैं।
- मानक LLMs में ज्यामितीय आधार (geometric grounding) की कमी होती है और वे टकराव-मुक्त निरंतर गति या सख्त भौतिक बाधाओं के पालन की गारंटी नहीं दे सकते।

2. कार्यप्रणाली (Methodology)

लेखक एक ज्यामिति-संरेखित LLM फाइन-ट्यूनिंग फ्रेमवर्क (Geometry-Aligned LLM Fine-Tuning Framework) प्रस्तावित करते हैं जो निश्चित-लंबाई वाले, मशीन-पठनीय SE(2) वेपॉइंट अनुक्रम उत्पन्न करता है। यह फ्रेमवर्क एक द्वि-स्तरीय प्रशिक्षण पाइपलाइन (bi-level training pipeline) का उपयोग करता है ताकि LLM के आउटपुट को नियत ज्यामितीय बाधाओं के साथ संरेखित किया जा सके।

A. इनपुट और आउटपुट संरचना

इनपुट: एक टेक्स्टुअल प्रॉम्प्ट जिसमें वर्कस्पेस का प्रतीकात्मक विवरण, बाधाएं (axis-aligned rectangles), ऑब्जेक्ट की ज्यामिति (vertices), स्टार्ट/गोल पोज (start/goal poses), और स्पष्ट ज्यामितीय बाधाएं शामिल हैं।
आउटपुट: प्रति द्वार ब्लॉक में व्यवस्थित, निश्चित-लंबाई वाला वेपॉइंट अनुक्रम ( $x, y, \phi$ )।

B. द्वि-स्तरीय प्रशिक्षण पाइपलाइन (Bi-Level Training Pipeline)

प्रशिक्षण प्रक्रिया में एक फ्रोजन बेस LLM (Llama-3.1-8B-Instruct) पर LoRA (Low-Rank Adaptation) एडेप्टर का उपयोग करके दो अलग-अलग चरण शामिल हैं:

स्तर 1: विफलता-संचालित LoRA पर्यवेक्षित फाइन-ट्यूनिंग (SFT)

लक्ष्य: मॉडल को सही आउटपुट फॉर्मेट और सामान्य विफलता मोड सिखाना।
प्रक्रिया:
1. मॉडल को मानव-प्रदर्शित वेपॉइंट अनुक्रमों पर प्रशिक्षित किया जाता है।
2. विफलता फीडबैक लूप (Failure Feedback Loop): प्रत्येक इपोक के बाद, मॉडल के आउटपुट को एक मॉडल-आधारित योजनाकार का उपयोग करके एक निरंतर प्रक्षेपवक्र (continuous trajectory) में सघन (densify) किया जाता है और चार बाधाओं के विरुद्ध सत्यापित किया जाता है:
  - (C1) बाउंड्री (वर्कस्पेस सीमाएं)।
  - (C2) बाधा बचाव (स्थिर टकराव)।
  - (C3) स्वैप्ट सेफ्टी (वेपॉइंट्स के बीच टकराव)।
  - (C4) स्टेप-साइज़ स्मूथनेस (प्रति स्टेप अधिकतम अनुवाद/घूर्णन)।
3. यदि कोई प्रक्षेपवक्र विफल होता है, तो पहला विफल वेपॉइंट इंडेक्स और उल्लंघन का प्रकार रिकॉर्ड किया जाता है।
4. इस विफलता नोट को प्रॉम्प्ट के साथ जोड़ा जाता है, और मॉडल को इस विफलता संदर्भ के साथ सही मानव प्रदर्शन की भविष्यवाणी करने के लिए फाइन-ट्यून किया जाता है। यह मॉडल को केवल डेटा की नकल करने के बजाय अपने स्वयं के ज्यामितीय त्रुटियों से सीखने की अनुमति देता है।

स्तर 2: ज्यामितिक सत्यापन के साथ ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO)

लक्ष्य: निरंतर-गति व्यवहार्यता और दीर्घ-क्षितिीय समन्वय के लिए अनुकूलित करना, जो साधारण अनुकरण (imitation) से आगे बढ़कर है।
प्रक्रिया:
1. SFT-इनिशियलाइज्ड मॉडल एक दिए गए प्रॉम्प्ट के लिए $G$ वेपॉइंट अनुक्रमों का एक समूह उत्पन्न करता है।
2. प्रत्येक अनुक्रम को ज्यामितिक सत्यापनकर्ता द्वारा सघन (densify) किया जाता है और एक नियत स्केलर रिवॉर्ड ( $R$ ) उत्पन्न करने के लिए मूल्यांकन किया जाता है।
3. रिवॉर्ड फंक्शन: रिवॉर्ड एक भारित लागत फंक्शन ( $C$ ) के व्युत्क्रमानुपाती है जो पूरे सघन प्रक्षेपवक्र में बाउंड्री, बाधा और स्टेप-साइज़ बाधाओं के उल्लंघनों को जोड़ता है।
  $R = \frac{1}{1 + \alpha C}$
4. अनुकूलन (Optimization): GRPO समूह के भीतर प्रत्येक नमूने के सापेक्ष लाभ (relative advantage) की गणना करता है (नमूने के रिवॉर्ड की तुलना समूह के औसत से करना)। यह LoRA मापदंडों को अपडेट करता है ताकि उच्च-रिवॉर्ड (व्यवहार्य) प्रक्षेपवक्रों की संभावना बढ़ सके, जिसके लिए अलग से सीखे गए रिवॉर्ड मॉडल या मानव फीडबैक की आवश्यकता नहीं होती है।

3. मुख्य योगदान (Key Contributions)

संरचित दीर्घ-क्षितिीय तर्क (Structured Long-Horizon Reasoning): यह फ्रेमवर्क वेपॉइंट ब्लॉक्स के रूप में संरचित डेटा उत्पन्न करने के लिए LLMs का लाभ उठाता है जो अगले द्वार में प्रवेश को सुगम बनाने के लिए पिछले द्वार से निकास पोज (exit poses) को स्पष्ट रूप से समन्वित करते हैं, जिससे "अनुक्रमिक बाधा" (sequential constraint) की समस्या हल होती है।
विफलता-संचालित SFT (Failure-Driven SFT): एक प्रशिक्षण लूप पेश करता है जहाँ संरचित फीडबैक (विफलता इंडेक्स + उल्लंघन प्रकार) का उपयोग मॉडल की विशिष्ट ज्यामितीय त्रुटि पैटर्नों से बचने की क्षमता को परिष्कृत करने के लिए किया जाता है, न कि केवल प्रदर्शनों की नकल करने के लिए।
नियतिवादी ज्यामितिक रिवॉर्ड के साथ GRPO: प्रक्षेपवطीय व्यवहार्यता के लिए नीति को सीधे अनुकूलित करने के लिए भौतिकी-आधारित सत्यापनकर्ता के साथ GRPO का उपयोग करने का प्रस्ताव देता है। यह जनरेशन प्रक्रिया को केवल डिस्क्रीट वेपॉइंट वैधता के बजाय पूर्ण निरंतर-गति शुद्धता के साथ संरेखित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन इन-डिस्ट्रीब्यूशन (ID) और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) परिदृश्यों (नए बाधा लेआउट और गैप चौड़ाई) के साथ सिंथेटिक 2D वातावरण में किया गया।

मात्रात्मक प्रदर्शन (Quantitative Performance):
- सफलता दर (Success Rate): प्रस्तावित विधि (SFT + GRPO) ने ID वातावरण में 92.6% सफलता दर और OOD वातावरण में 77.3% सफलता दर प्राप्त की।
- तुलना: इसने बेसलाइन से काफी बेहतर प्रदर्शन किया:
  - रॉ Llama-3.1-8B: ~8% सफलता।
  - LoRA SFT (केवल अनुकरण): ~54.6% (ID) / ~10.4% (OOD)।
  - विफलता-संचालित SFT (बिना GRPO के): ~71.0% (ID) / ~31.8% (OOD)।
- ज्यामितीय रिवॉर्ड: प्रस्तावित विधि ने उच्चतम औसत ज्यामितिक रिवॉर्ड (0.94) प्राप्त किया, जो निरंतर, टकराव-मुक्त प्रक्षेपवक्रों की उच्चतम गुणवत्ता को दर्शाता है।
- विफलता में कमी: GRPO ने "स्वैप्ट कोलिजन" (C3) और "स्टेप-साइज़" (C4) उल्लंघनों को काफी कम कर दिया, जो SFT-ओनली बेसलाइन के प्राथमिक विफलता मोड थे।
गुणात्मक विश्लेषण (Qualitative Analysis):
- विज़ुअलाइज़ेशन दिखाते हैं कि प्रस्तावित विधि ऐसे निकास पोज (exit poses) चुनती है जो अगले द्वार के लिए पहले से ही ओरिएंटेड होते हैं, जिससे तंग अंतराल में पुन: ओरिएंटेशन की आवश्यकता कम हो जाती है।
- इसके विपरीत, सब-गोल डीकंपोज्ड प्लानर (जैसे PRM) अक्सर ऐसे स्थानीय रूप से व्यवहार्य पथ उत्पन्न करते हैं जो अगले द्वार के लिए ऑब्जेक्ट को संरेखित करने हेतु पर्याप्त स्थान नहीं छोड़ते, जिससे सघनता (densification) के दौरान विफलता होती है।

5. महत्व (Significance)

अंतराल को पाटना: यह शोध पत्र LLMs की उच्च-स्तरीय तर्क क्षमताओं और रोबोटिक मोशन प्लानिंग के लिए आवश्यक सख्त ज्यामितीय बाधाओं के बीच के अंतर को सफलतापूर्वक पाटता है।
परसेप्शन और प्लानिंग का पृथक्करण: विजुअल इनपुट्स (VLMs) के बजाय सिम्बोलिक टेक्स्ट इनपुट्स का उपयोग करके, यह विधि तर्क क्षमता को धारणा (perception) की त्रुटियों से अलग करती है, जिससे यह सिद्ध होता है कि सटीक डेटा प्रदान किए जाने पर LLMs जटिल ज्यामितीय तर्क कर सकते हैं।
मजबूती (Robustness): GRPO में नियत ज्यामितिक रिवॉर्ड का उपयोग यह सुनिश्चित करता है कि मॉडल अनदेखे वातावरण (OOD) में अच्छी तरह से सामान्य (generalize) हो सके, जो कि विशुद्ध रूप से अनुकरण-आधारित लर्निंग की एक सामान्य कमजोरी है।
भविष्य का प्रभाव: यह दृष्टिकोण जटिल हेरफेर कार्यों (manipulation tasks) के लिए एक स्केलेबल फ्रेमवर्क प्रदान करता है और फाउंडेशन मॉडल्स को रोबोटिक्स के लिए फाइन-ट्यून करने हेतु नियत सत्यापनकर्ताओं के साथ सुदृढीकरण शिक्षण (reinforcement learning) का उपयोग करने का एक उदाहरण सेट करता है।