From Vision to Harvest: Benchmarking Vision-Language Models for Multi-Arm Robotic Fruit Harvesting

तकनीकी सारांश: विजन से हार्वेस्ट तक (From Vision to Harvest)

समस्या की परिभाषा
यह शोध पत्र अनस्ट्रक्चर्ड ऑर्चर्ड (बागों) के वातावरण में मल्टी-आर्म रोबोटिक सिस्टम को तैनात करने की चुनौती को संबोधित करता है। जबकि सिंगल-आर्म सिस्टम की तुलना में मल्टी-आर्म सिस्टम समानांतर रूप से फल तोड़ने (picking) के कारण उच्च थ्रूपुट प्रदान करते हैं, वे दो प्राथमिक बाधाओं का सामना करते हैं:

1. सामान्यीकरण (Generalization): पारंपरिक प्रणालियाँ विशिष्ट परसेप्शन पाइपलाइनों (जैसे, YOLO) पर निर्भर करती हैं जो बदलती रोशनी, अवरोध (occlusion) और पर्यावरणीय स्थितियों के तहत खराब हो जाती हैं, और अक्सर लक्षित डेटा पर व्यापक पुन: प्रशिक्षण (retraining) की आवश्यकता होती है।
2. समन्वय जटिलता (Coordination Complexity): एक साझा वर्कस्पेस में कई भुजाओं (arms) के लिए टकराव-मुक्त प्रक्षेपवक्र (collision-free trajectories) की योजना बनाना एक NP-hard समस्या है। मौजूदा समाधान अक्सर भुजाओं के बीच वर्कस्पेस को विभाजित करके इसे सरल बनाते हैं, जिससे योजना की गुणवत्ता और समग्र थ्रूपुट कम हो सकता है।

लेखक विज़न-लैंग्वेज मॉडल्स (VLMs) को एक ज़ीरो-शॉट विकल्प के रूप में मूल्यांकन करने का प्रस्ताव देते हैं। इसका तर्क यह है कि मानव कार्यकर्ता बिना किसी स्पष्ट पुन: प्रशिक्षण के स्थानिक संबंधों (spatial relationships) और कार्यों के अनुक्रम के बारे में दृश्य तर्क (visual reasoning) करके सफलतापूर्वक कटाई करते हैं। यह शोध जांच करता है कि क्या प्री-ट्रेन्ड VLMs सीधे कच्चे RGB-D छवियों से प्रभावी, टकराव-मुक्त मल्टी-आर्म हार्वेस्टिंग योजनाएं उत्पन्न करने के लिए इस उच्च-स्तरीय तर्क को दोहरा सकते हैं।

कार्यप्रणाली (Methodology)
लेखक VLMs का एक "ओरेकल" (oracle) पाइपलाइन के विरुद्ध मूल्यांकन करने के लिए एक व्यापक बेंचमार्क पेश करते हैं।

• ओरेकल पाइपलाइन (बेसलाइन): एक अत्याधुनिक, तीन-चरणीय पाइपलाइन जो एक ऊपरी-सीमा (upper-bound) संदर्भ के रूप में कार्य करती है:

  1. परसेप्शन (Perception): ओपन-वोकैबुलरी डिटेक्शन के लिए GroundingDINO और फलों को अलग करने के लिए पिक्सेल-स्तरीय सेगमेंटेशन के लिए SAM2 का उपयोग करता है।
  2. लोकलाइजेशन (Localization): पिनहोल कैमरा मॉडल का उपयोग करके सेगमेंटेड डेप्थ पिक्सेल को 3D निर्देशांकों में प्रोजेक्ट करता है और फलों की स्थिति और अलग होने के समय का अनुमान लगाने के लिए उन्हें DBSCAN के माध्यम से क्लस्टर करता है।
  3. प्लानिंग (Planning): विशिष्ट भुजाओं को फलों को असाइन करने और सिंक्रोनाइज़्ड, टकराव-मुक्त प्रक्षेपवक्र उत्पन्न करने के लिए एक द्वि-स्तरीय मिश्रित-पूर्णांक प्रोग्रामिंग (MIP) ढांचे का उपयोग करता है।

• ज़ीरो-शॉट VLM पाइपलाइन:

  • इनपुट: कच्चे ऑर्चर्ड RGB-D चित्र और एक संरचित प्रॉम्प्ट (prompt)।
  • प्रॉम्प्ट डिज़ाइन: प्रॉम्प्ट VLM को एक विशिष्ट भूमिका (कृषि रोबोटिक्स विशेषज्ञ), भौतिक पैमाने के संदर्भ (जैसे, फल का व्यास), निर्देशांक प्रणाली की परिभाषा, और रोबोट की बाधाएं (जैसे, एक साझा रेल पर भुजाओं का क्रम) प्रदान करता है। यह स्पष्ट रूप से मॉडल से फलों की पहचान करने, स्थानिक संबंधों के बारे में तर्क करने और हार्वेस्टिंग अनुक्रमों तथा मीटर में 3D वेपॉइंट्स (waypoints) वाला एक JSON ऑब्जेक्ट आउटपुट करने के लिए कहता है।
  • सुरक्षा सत्यापन (Safety Verification): चूंकि VLMs बिना टाइमिंग जानकारी के वेपॉइंट्स आउटपुट करते हैं, इसलिए एक हल्का ट्रेजेक्टरी वेरीफायर "ऑर्डर उल्लंघन" की जांच करता है। यदि एक भुजा, जिसे एक ऐसे फल के लिए असाइन किया गया है जिसका X-निर्देशांक बड़ा है, उस भुजा को पार करने के लिए बाध्य है जिसे एक छोटे X-निर्देशांक वाले फल के लिए असाइन किया गया है (जो रेल पर भुजाओं के निश्चित भौतिक क्रम का उल्लंघन करता है), तो योजना को टकराव (collision) के रूप में चिह्नित किया जाता है।

• प्रायोगिक सेटअप:

  • डेटासेट: सेब और खट्टे (citrus) बागों से वास्तविक दुनिया की छवियां।
  • मॉडल: पांच क्लोज्ड-सोर्स (जैसे, GPT-4o, GPT-5.5-Pro, Claude Sonnet 3.5) और दो ओपन-सोर्स VLMs का मूल्यांकन किया गया।
  • मेट्रिक्स: डिटेक्शन रेशियो, हार्वेस्टेड रेशियो (विभिन्न स्थानिक थ्रेसहोल्ड पर: 1.0m, 0.5m, 0.25m), कोलिजन रेशियो, ट्रेजेक्टरी डिस्टेंस, और टोकन उपयोग।

प्रमुख योगदान

1. पहला व्यापक बेंचमार्क: यह शोध पत्र वास्तविक फसलों (सेब और खट्टे) पर ज़ीरो-शॉट मल्टी-आर्म फ्रूट हार्वेस्टिंग प्लानिंग पर प्री-ट्रेन्ड VLMs का मूल्यांकन करने के लिए विशेष रूप से डिज़ाइन किया गया पहला बेंचमार्क प्रस्तुत करता है।
2. VLM प्लानिंग पाइपलाइन: एक ऐसी पाइपलाइन का विकास जो कच्चे चित्रों से सीधे मल्टी-आर्म वेपॉइंट्स उत्पन्न करती है, साथ ही एक कोलिजन-चेकिंग तंत्र जो किनेमैटिक बाधाओं के आधार पर व्यवहार्यता को सत्यापित करता है।
3. अनुभवजन्य विश्लेषण (Empirical Analysis): एक व्यवस्थित मूल्यांकन जो दर्शाता है कि हालांकि फ्रंटियर VLMs पूर्ण योजनाएं उत्पन्न कर सकते हैं, उनका प्रदर्शन भौतिक स्केल प्रायर (physical scale priors), स्थानिक थ्रेसहोल्ड और दृश्य जटिलता के प्रति अत्यधिक संवेदनशील है।
4. ओपन सोर्स: लेखक भविष्य के अनुसंधान को सुगम बनाने के लिए बेंचमार्क को ओपन-सोर्स करने की प्रतिबद्धता जताते हैं।

परिणाम

• क्षमता: फ्रंटियर VLMs (जैसे, GPT-5.5-Pro, Claude Opus 4.7) ज़ीरो-शॉट परिदृश्यों में अधिकांश फलों को कवर करने वाली पूर्ण हार्वेस्टिंग योजनाएं बना सकते हैं।
• सटीकता बनाम रिकॉल (Precision vs. Recall): फल का पता लगाने और उन्हें सटीक रूप से स्थानीयकृत करने के बीच एक महत्वपूर्ण अंतर है। मॉडल अक्सर उच्च डिटेक्शन रेशियो (जैसे, 1.0m थ्रेसहोल्ड पर >90%) प्राप्त करते हैं लेकिन सख्त थ्रेसहोल्ड (जैसे, कुछ मॉडल्स के लिए खट्टे फलों पर 0.25m पर <10%) पर हार्वेस्टेड रेशियो में भारी गिरावट आती है।
• सुरक्षा और समन्वय: कई मॉडलों के लिए कोलिजन रेशियो काफी अधिक है (जैसे, Claude Sonnet 3.5 के लिए खट्टे फलों पर >80%), जो यह दर्शाता है कि VLMs बिना स्पष्ट ज्यामितीय बाधाओं के मल्टी-आर्म सिस्टम के लिए आवश्यक जटिल स्थानिक समन्वय में संघर्ष करते हैं।
• प्रॉम्प्ट संवेदनशीलता: एब्लेशन अध्ययन (Ablation studies) दिखाते हैं कि भौतिक स्केल प्रायर (physical scale priors) अत्यंत महत्वपूर्ण हैं; उन्हें हटाने से लोकलाइजेशन सटीकता में भारी गिरावट आती है। हालांकि, संरचित आउटपुट (JSON) आवश्यक है; इसके बिना, मॉडल फलों का पता लगाने के बावजूद निष्पादन योग्य योजनाएं बनाने में विफल रहते हैं।
• स्केलेबिलिटी (Scalability): जैसे-जैसे फलों की संख्या बढ़ती है (उच्च दृश्य जटिलता) और भुजाओं की संख्या बढ़ती है, प्रदर्शन घटता जाता है, जो समन्वय तर्क (coordination logic) को स्केल करने की कठिनाई को उजागर करता है।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह कार्य कृषि रोबोटिक्स में VLMs की संभावनाओं और वर्तमान सीमाओं दोनों को रेखांकित करता है।

• संभावना: VLMs बिना किसी कार्य-विशिष्ट प्रशिक्षण के फसलों और वातावरणों में सामान्यीकरण करने की क्षमता प्रदर्शित करते हैं, जो मैनुअल श्रम और विशिष्ट डेटा संग्रह पर निर्भरता को कम करने का एक संभावित मार्ग प्रदान करते हैं।
• सीमाएं: व्यावहारिक तैनाती वर्तमान में VLMs की सटीक 3D वेपॉइंट्स (विशेष रूप से गहराई/depth में) उत्पन्न करने और कई भुजाओं के लिए टकराव-जागरूक समन्वय (collision-aware coordination) करने में अक्षमता के कारण सीमित है।
• निष्कर्ष: लेखक निष्कर्ष निकालते हैं कि हालांकि VLMs उच्च-स्तरीय कार्य योजना (task planning) के लिए प्रभावी हैं, वे अभी भी मल्टी-आर्म हार्वेस्टिंग के लिए पूर्ण समाधान नहीं हैं। भविष्य के कार्यों के लिए सिमेंटिक रीजनिंग और सटीक मेट्रिक लोकलाइजेशन एवं सुरक्षा सत्यापन के बीच के अंतर को संबोधित करने की आवश्यकता है। यह बेंचमार्क अधिक सामान्यीकरण योग्य और कुशल योजना प्रणालियों के विकास के लिए एक आधार के रूप में कार्य करता है।