तकनीकी सारांश: क्या भाषा मॉडल mmWave डेटा को समझ सकते हैं?

समस्या विवरण

मानव धारणा प्रणालियों में लार्ज लैंग्वेज मॉडल्स (LLMs) का एकीकरण विजुअल (RGB) और ऑडियो डोमेन में काफी उन्नत हो गया है, फिर भी मिलीमीटर-वेव (mmWave) रेडार के लिए यह काफी हद तक अनछुआ है। जबकि mmWave सेंसिंग विशिष्ट लाभ प्रदान करती है—जैसे कम रोशनी, अवरोध (occlusion), और गोपनीयता संरक्षण में मजबूती, क्योंकि यह उपस्थिति के बजाय विद्युत चुम्बकीय प्रतिबिंबों पर निर्भर करती है—वर्तमान दृष्टिकोणों को तीन प्राथमिक बाधाओं का सामना करना पड़ता है:

1. डेटा की कमी: सार्वजनिक रेडार-भाषा युग्मों (pairings) का अभाव है; मौजूदा डेटासेट छोटे, लैब-विशिष्ट हैं और उनमें प्राकृतिक भाषा एनोटेशन की कमी है।
2. विषमता (Heterogeneity): mmWave अवलोकन हार्डवेयर (कैरियर फ्रीक्वेंसी, एंटीना काउंट), पर्यावरणीय स्थितियों (clutter, multipath), और प्रयोगात्मक सेटअपों के आधार पर काफी भिन्न होते हैं, जिससे गंभीर वितरण संबंधी बदलाव (distributional shifts) आते हैं जो सामान्यीकरण (generalization) में बाधा डालते हैं।
3. फाउंडेशनल एनकोडर्स का अभाव: क्षेत्र में मानक टोकनाइज़र या फाउंडेशनल एनकोडर्स की कमी है जो कच्चे mmWave टेंसरों को भाषा बैकबोन से जोड़ सकें, जिससे वर्तमान प्रणालियों को हर नए डेटासेट या परिदृश्य के लिए पुन: प्रशिक्षित करने की आवश्यकता होती है।

परिणामस्वरूप, मौजूदा mmWave मानव धारणा मॉडल "परिदृश्य-ट्यून" (scenario-tuned) हैं, जिन्हें प्रत्येक डेटासेट के लिए पुन: प्रशिक्षण की आवश्यकता होती है और वे आधुनिक LLMs की ज़ीरो-शॉट रीजनिंग क्षमताओं का लाभ उठाने में विफल रहते हैं।

कार्यप्रणाली (Methodology)

1. mmWave-QA बेंचमार्क निर्माण

इन अंतरालों को दूर करने के लिए, लेखक mmWave-QA पेश करते हैं, जो भाषा-सशर्त mmWave मानव धारणा का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला बेंचमार्क है। निर्माण पाइपलाइन में शामिल हैं:

• डेटा एकीकरण: विविध उपकरणों (TI IWR सीरीज़, फीनिक्स कस्टम बोर्ड), विषयों और वातावरण को कवर करने वाले तीन विषम सार्वजनिक डेटासेट्स (mmBody, MM-Fi, और mRI) को एकत्रित करना।
• टेक्स्टुअलाइजेशन (Textualization): एक न्यूनतम टेक्स्ट इंटरफेस 5D mmWave पॉइंट क्लाउड फ्रेम्स ($[x, y, z, \text{Doppler}, \text{intensity}]$) को कोर्डिनेट-फॉर्मेटेड टेक्स्ट स्ट्रिंग्स में परिवर्तित करता है। यह ऑफ-द-शेल्फ LLMs को विशेष रेडार एनकोडर्स के बिना रेडार डेटा को प्रोसेस करने की अनुमति देता है।
• टैक्सोनॉमी और QA जनरेशन: बेंचमार्क गति समझ के विभिन्न पहलुओं की जांच करने के लिए पांच मुख्य प्रश्न प्रकारों को परिभाषित करता है:
  1. ActRec: एक्शन रिकग्निशन (की गई क्रिया की पहचान करना)।
  2. TrajCheck: स्थानिक गति सत्यापन (यह निर्धारित करना कि क्या सेंट्रॉइड की स्थिति बदली है)।
  3. ActOrder: टेम्पोरल एक्शन सीक्वेंसिंग (क्रियाओं का क्रम पहचानना)।
  4. ActNum: एक्शन कार्डिनैलिटी एस्टीमेशन (विशिष्ट क्रियाओं की गिनती करना)।
  5. LimbFocus: प्राथमिक लिम्ब मोशन डिटेक्शन (गतिमान शरीर के अंग की पहचान करना)।
• गुणवत्ता नियंत्रण: एक ह्युमन-इन-द-लूप प्रक्रिया एनोटेशन को परिष्कृत करती है, एक्शन डिस्ट्रीब्यूशन को संतुलित करती है, और छह परिदृश्यों (Normal, Furnished, Rain, Smoke, Dark, और Occlusion) में सिमेंटिक स्पष्टता सुनिश्चित करती है।

2. मूल्यांकन ढांचा (Evaluation Framework)

यह अध्ययन तीन प्रॉम्प्टिंग रणनीतियों का उपयोग करके mmWave-QA बेंचमार्क पर वाणिज्यिक LLMs (Gemini 2.5, GPT-4o, GPT-5) का मूल्यांकन करता है:

• Zero-shot: पॉइंट क्लाउड टेक्स्ट और एक प्रश्न से सीधा अनुमान।
• Few-shot: उदाहरण प्रश्न-उत्तर युग्मों का उपयोग करके इन-कॉन्टेक्स्ट लर्निंग।
• Chain-of-Thought (CoT): अंतिम उत्तर से पहले मध्यवर्ती रीजनिंग स्टेप्स जेनरेट करना।
• Hybrid: Few-shot उदाहरणों को CoT रीजनिंग के साथ जोड़ना।

मूल्यांकन विभिन्न एक्शन श्रेणियों (अपर-बॉडी, लोअर-बॉडी, टोरसो, फुल-बॉडी) और हार्डवेयर प्रकारों केAcross प्रदर्शन की तुलना करता है, और विभिन्न पर्यावरणीय स्थितियों के तहत RGB-आधारित विजन-लैंग्वेज मॉडल्स (VLMs) के विरुद्ध mmWave प्रदर्शन का अंतर स्पष्ट करता है।

मुख्य परिणाम

1. ज़ीरो-शॉट रीजनिंग क्षमता

LLMs कार्य-विशिष्ट फाइन-ट्यूनिंग के बिना टेक्स्टुलाइज्ड mmWave पॉइंट क्लाउड की व्याख्या करने की क्षमता प्रदर्शित करते हैं।

• प्रदर्शन लाभ: सभी मॉडल्स के लिए ज़ीरो-शॉट से फ्यू-शॉट, CoT, और अंततः फ्यू-शॉट CoT रणनीतियों तक सटीकता लगातार सुधरती है। उदाहरण के लिए, GPT-5 ने फ्यू-शॉट CoT सेटिंग का उपयोग करके Full-body एक्शन श्रेणी में उच्चतम सटीकता (38.37%) प्राप्त की।
• सामान्यीकरण: मॉडल विषम हार्डवेयर और पर्यावरणीय स्थितियों में मजबूत रीजनिंग दिखाते हैं, जो रेडार-विशिष्ट प्रशिक्षण के बिना भी मजबूत सामान्यीकरण क्षमताओं का सुझाव देते हैं।

2. कार्य-विशिष्ट प्रदर्शन

• ActRec और TrajCheck: ये कार्य उच्चतम प्रदर्शन देते हैं। यदि उन्हें फ्यू-शॉट कॉन्टेक्स्ट प्रदान किया जाता है, तो मॉडल प्रभावी रूप से गतिशील बनाम स्थिर मामलों के बीच अंतर कर पाते हैं (उदाहरण के लिए, GPT-4o के लिए स्टैटिक सटीकता फ्यू-शॉट के साथ बढ़कर 32.0% हो गई, जबकि Gemini 2.5-flash 27.2% तक सुधर गया)।
• LimbFocus: मॉडल सिंगल-लिम्ब मोशन पर अच्छा प्रदर्शन करते हैं लेकिन मल्टी-लिम्ब परिदृश्यों में संघर्ष करते हैं, जो संभवतः रेडार डेटा में मल्टीपाथ इंटरफेरेंस और घोस्ट रिफ्लेक्शंस के कारण होता है।
• टेम्पोरल रीजनिंग (ActOrder/ActNum): "Present" एक्शन की पहचान के लिए प्रदर्शन उच्चतम है, लेकिन "Previous/Next" क्रियाओं और उच्च एक्शन काउंट के लिए गिर जाता है, जो घने पॉइंट क्लाउड सीक्वेंस में लॉन्ग-रेंज टेम्पोरल डिपेंडेंसी कैप्चर करने में चुनौतियों का संकेत देता है।

3. RGB मोडैलिटी बनाम मजबूती

एक महत्वपूर्ण निष्कर्ष दृश्य गिरावट (visual degradation) के तहत mmWave डेटा की तुलनात्मक मजबूती है:

• स्पष्ट स्थितियाँ: Normal और Furnished वातावरण में, RGB-आधारित VLMs, mmWave मॉडल्स से बेहतर प्रदर्शन करते हैं, जो संभवतः समृद्ध विजुअल क्यूज़ और विजन के लिए बड़े प्री-ट्रेनिंग डेटासेट्स के कारण है।
• गिरावट वाली स्थितियाँ: Dark और Occlusion परिदृश्यों में, mmWave-आधारित रीजनिंग, RGB की तुलना में काफी बेहतर है। VLMs अक्सर विजुअल क्यूज़ के दूषित होने पर भ्रमित (hallucinate) होते हैं या विफल हो जाते हैं, जबकि डॉप्लर और कोऑर्डिनेट शिफ्ट का लाभ उठाने वाले LLMs स्थिर, भौतिक रूप से ग्राउंडेड रीजनिंग बनाए रखते हैं।
• मौसम: Rain और Smoke में, दोनों मोडैलिटीज तुलनीय प्रदर्शन करती हैं, जो दृश्यता संबंधी समस्याओं के प्रति रेडार की लचीलापन को प्रदर्शित करती हैं।

4. फ्रेम काउंट संवेदनशीलता

प्रदर्शन लगभग 16 फ्रेम का उपयोग करने पर चरम पर होता है। कम फ्रेम टेम्पोरल कॉन्टेक्स्ट को सीमित करते हैं, जबकि अत्यधिक फ्रेम (जैसे 64) रेडंडेंट या शोर युक्त जानकारी पेश करते हैं जो रीजनिंग में बाधा डालती है, जिससे पता चलता है कि रेडार-आधारित मोशन विश्लेषण के लिए एक इष्टतम टेम्पोरल संतुलन की आवश्यकता होती है।

महत्व और दावे

पेपर तीन प्राथमिक योगदानों का दावा करता है:

1. mmWave-QA बेंचमार्क: यह पहला एकीकृत बेंचमार्क स्थापित करता है जो विषम mmWave डेटासेट्स को प्राकृतिक भाषा QA कार्यों में सामंजस्यपूर्ण बनाता है, जिससे विभिन्न डिवाइस और परिदृश्यों में मानकीकृत मूल्यांकन संभव होता है।
2. ज़ीरो-शॉट रेडार-LLM एकीकरण की व्यवहार्यता: यह प्रदर्शित करता है कि ऑफ-द-शेल्फ LLMs, जब उन्हें टेक्स्टुलाइज्ड पॉइंट क्लाउड डेटा प्रदान किया जाता है, तो वे मानव गति पर मजबूत ज़ीरो-शॉट रीजनिंग कर सकते हैं, जो इस धारणा को चुनौती देता है कि रेडार डेटा के लिए विशेष एनकोडर्स या भारी फाइन-ट्यूनिंग की आवश्यकता होती है।
3. विज़न-सीमित वातावरण में मजबूती: यह प्रमाण देता है कि mmWave मोडैलिटी, LLMs के साथ मिलकर, कम रोशनी और बाधित वातावरण में RGB विजन की तुलना में बेहतर मजबूती प्रदान करती है, जो वास्तविक दुनिया के, गोपनीयता-संवेदनशील, या दृश्य रूप से खराब सेटिंग्स में विश्वसनीय मानव धारणा के लिए इसकी क्षमता को उजागर करती है।

लेखक निष्कर्ष निकालते हैं कि हालांकि वर्तमान ऑफ-द-शेल्फ मॉडल आशाजनक हैं, भविष्य के कार्य ओपन-सोर्स मॉडल्स को फाइन-ट्यून करने और गैर-विजुअल सेंसिंग को भाषा-आधारित इंटेलिजेंस के साथ और अधिक जोड़ने के लिए रिट्रीवल-ऑगमेंटेड जनरेशन को एकीकृत करने पर केंद्रित होने चाहिए।