🔬 materials science

Answer-Conditioned Chain-of-Thought Distillation for Few-Shot Industrial Vision with Small VLMs

यह शोध पत्र औद्योगिक विज़ुअल निरीक्षण के फ्यू-शॉट (few-shot) कार्यों के लिए छोटे विज़न-लैंग्वेज मॉडल्स को तेज़ी से अनुकूलित करने हेतु 'आंसर-कंडीशन्ड चेन-ऑफ-थॉट डिस्टिलेशन' का प्रस्ताव करता है, जो यह प्रदर्शित करता है कि सही लेबल पर आधारित तर्क उत्पन्न करना, न्यूनतम डेटा पर प्रशिक्षित होने पर, डायरेक्ट फाइन-ट्यूनिंग और यहाँ तक कि GPT-4.1 जैसे बड़े मॉडल्स की तुलना में भी काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Shubham Rao

प्रकाशित 2026-07-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shubham Rao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छोटे, लेकिन बुद्धिमान रोबोट को फैक्ट्री के पुर्जों में दोष (defects) पहचानना सिखाने की कोशिश कर रहे हैं। समस्या क्या है? आपके पास केवल कुछ ही तस्वीरें हैं—शायद 18 से 30—और रोबोट को आज ही सीखना है, अगले महीने नहीं।

यह पेपर एक चतुर तकनीक पेश करता है जिसे Answer-Conditioned Chain-of-Thought Distillation कहा जाता है। इसे एक "मास्टर शेफ और प्रशिक्षु (Apprentice)" वाले परिदृश्य के रूप में सोचें।

समस्या: शेफ कभी-कभी गलत होता है

आमतौर पर, एक छोटे रोबोट (एक "छोटा VLM" जिसके पास लगभग 3 अरब मस्तिष्क कोशिकाएं/न्यूरॉन्स हैं) को सिखाने के लिए, आप उसे एक तस्वीर और सही लेबल दिखाते हैं, जैसे "यह एक खरोंच (scratch) है।" लेकिन रोबोट बस उस चित्र-लेबल के जोड़े को रट लेता है। वह वास्तव में यह नहीं सीख पाता कि वह खरोंच क्यों है।

आप सोच सकते हैं, "आइए एक सुपर-स्मार्ट AI (एक 'फ्रंटियर मॉडल' जैसे GPT-4.1) से इस तस्वीर को समझाने के लिए कहें!" लेकिन यहाँ एक पेंच है: इन कठिन औद्योगिक कार्यों के लिए, सुपर-स्मार्ट AI भी परफेक्ट नहीं है। सबसे कठिन काम (कंक्रीट की ग्रेडिंग) पर, वह केवल 24.1% बार ही सही होता है।

यदि आप इस सुपर-AI से उत्तर का अनुमान लगाने और उसे समझाने के लिए कहते हैं, और वह 76% बार गलत अनुमान लगाता है, तो आप रोबलेट को गलत तर्क (wrong reasoning) के साथ सिखा रहे हैं। इस पेपर ने पाया कि ऐसा करने से रोबोट बिना किसी स्पष्टीकरण के सिखाने की तुलना में 17.8 प्रतिशत अंक और भी खराब हो जाता है। यह एक ऐसे टूर गाइड की तरह है जो आत्मविश्वास के साथ गलत लैंडमार्क की ओर इशारा करता है; पर्यटक अंततः रास्ता भटक जाते हैं।

समाधान: "सब कुछ जानने वाला" शेफ

लेखकों का समाधान खेल को बदलना है। सुपर-AI से यह पूछने के बजाय कि, "यह क्या है?", वे कहते हैं, "उत्तर यह है: Porosity (सरंध्रता)। अब, मुझे बताओ कि यह porosity क्यों है और crack क्यों नहीं।"

सुपर-AI को सही उत्तर के साथ शुरू करने के लिए मजबूर करके, यह एक मास्टर शेफ की तरह काम करता है जो रेसिपी को पूरी तरह जानता है। वह अनुमान नहीं लगाता; वह केवल दृश्य संकेतों (visual clues) की व्याख्या करता है: "ये गोल काले धब्बे देख रहे हैं? ये गैस के बुलबुले जैसे दिखते हैं। एक क्रैक (दरार) टेढ़ी-मेढ़ी रेखा होगी, लेकिन ये गोल हैं।"

अब यह छोटा रोबोट इन सटीक स्पष्टीकरणों से सीखता है। वह केवल "इमेज A = Porosity" को याद नहीं करता; वह इस तर्क को सीखता है कि Porosity दिखने में कैसी होती है।

परिणाम: छोटा रोबोट, बड़ी जीत

टीम ने चार अलग-अलग फैक्ट्री कार्यों पर इसका परीक्षण किया:

कंक्रीट के पत्थरों की ग्रेडिंग (9 प्रकार)।
स्टील की चादरों पर दोषों को ढूंढना (6 प्रकार)।
माइक्रोस्कोप के नीचे स्टील की सूक्ष्म संरचनाओं (microstructures) की पहचान करना (5 प्रकार)।
एक्स-रे में वेल्ड दोषों (weld defects) को पहचानना (4 प्रकार)।

उन्होंने प्रत्येक कार्य के लिए केवल 18 से 30 लेबल वाली छवियों का उपयोग किया।

परिणाम आश्चर्यजनक रूप से मजबूत थे। "रीजनिंग-ऑगमेंटेड" उदाहरणों पर प्रशिक्षित यह छोटा रोबोट, सुपर-स्मार्ट AI (GPT-4.1) को 4 में से 3 कार्यों में हरा देता है, भले ही सुपर-AI को टेस्ट के दौरान संदर्भ तस्वीरें (reference pictures) देखने की अनुमति दी गई थी, जबकि छोटे रोबोट को नहीं दी गई थी।

वेल्ड दोषों पर, छोटे रोबोट ने 75.0% स्कोर किया, जो सुपर-AI के 65.0% से बेहतर था।
कंक्रीट ग्रेडिंग पर, छोटे रोबोट ने 77.8% स्कोर किया, जिसने सुपर-AI के 29.6% को बुरी तरह पछाड़ दिया।

यह मात्रा के बारे में नहीं, गुणवत्ता के बारे में है

आप सोच सकते हैं, "क्या उन्होंने रोबोट को अधिक डेटा दिया?"
शोधकर्ताओं ने सावधानी बरती। उन्होंने एक कंट्रोल प्रयोग चलाया जहाँ उन्होंने रोबोट को समान मात्रा में प्रशिक्षण समय दिया, लेकिन केवल उन्हीं सरल उदाहरणों को चार बार दोहराया। वह काम नहीं आया; रोबोट ने केवल उत्तरों को रट लिया और तर्क सीखने में विफल रहा।
सुधार पूरी तरह से तर्क की गुणवत्ता से आया, न कि चरणों की संख्या से। "मास्टर शेफ" के स्पष्टीकरणों ने एक ऐसा संकेत (signal) प्रदान किया जिसे साधारण दोहराव मेल नहीं दे सका।

निष्कर्ष

यह तरीका दिखाता है कि आप बहुत कम तस्वीरों का उपयोग करके एक छोटे, सस्ते AI को फैक्ट्री विशेषज्ञ में बदल सकते हैं, बशर्ते आप उसे सही उत्तरों के मार्गदर्शन में सोचना सिखाएं। स्पष्टीकरण उत्पन्न करने से लेकर रोबोट को प्रशिक्षित करने तक की पूरी प्रक्रिया एक सिंगल स्टैंडर्ड ग्राफिक्स कार्ड पर 2 घंटे से कम समय में की जा सकती है।

हालाँकि, पेपर नोट करता है कि यह हर चीज़ के लिए जादुई समाधान नहीं है। स्टील की सतह के दोषों के लिए, संदर्भ चित्रों के साथ सुपर-AI अभी भी बेहतर था, और यह विधि एक ऐसे "फ्रंटियर मॉडल" पर निर्भर करती है जो सही उत्तर दिए जाने पर अच्छे स्पष्टीकरण उत्पन्न कर सके। यदि शिक्षक अच्छी तरह से समझा नहीं सकता, तो छात्र अच्छा नहीं सीख पाएगा। लेकिन उन कठिन औद्योगिक कार्यों के लिए जहाँ डेटा की कमी है, यह "Answer-Conditioned" दृष्टिकोण रोबोट की क्षमता को अनलॉक करने की कुंजी लगता है।

तकनीकी सारांश: औद्योगिक विज़न के लिए उत्तर-सशर्त चेन-ऑफ-थॉट डिस्टिलेशन (Answer-Conditioned Chain-of-Thought Distillation)

समस्या विवरण

विनिर्माण में विजुअल निरीक्षण (visual inspection) के लिए AI को तैनात करने में तीन महत्वपूर्ण बाधाएं आती हैं: तेजी से बदलती आवश्यकताएं, नए दोष प्रकारों का उभरना, और बड़े लेबल वाले डेटासेट की कमी। पारंपरिक कन्वेन्शनल न्यूरल नेटवर्क (CNNs) को हजारों लेबल वाली छवियों की आवश्यकता होती है, जो अक्सर उन कारखानों के लिए अव्यवहार्य होता है जिन्हें 30 से कम उदाहरणों का उपयोग करके कुछ ही दिनों में क्लासिफायर चाहिए होते हैं। जबकि GPT-4.1 जैसे फ्रंटियर विजन-लैंग्वेज मॉडल्स (VLMs) कार्य-विशिष्ट प्रशिक्षण के बिना छवियों की व्याख्या कर सकते हैं, विशेष औद्योगिक कार्यों पर उनकी सटीकता अक्सर खराब होती है (जैसे कंक्रीट एग्रीगेट ग्रेडिंग पर 24.1%), और लागत एवं डेटा गोपनीयता बाधाओं के कारण उन्हें ऑन-प्रिमाइसेस तैनात नहीं किया जा सकता है। इसके विपरीत, छोटे VLMs (1-7B पैरामीटर्स) एज हार्डवेयर पर फिट हो जाते हैं, लेकिन जब उन्हें न्यूनतम डेटा पर मानक रूप से फाइन-ट्यून किया जाता है, तो वे डोमेन ज्ञान सीखने के बजाय इमेज-लेबल जोड़ों को याद करने लगते हैं, जिससे वे सामान्यीकरण (generalize) करने में विफल रहते हैं।

मौजूदा चेन-ऑफ-थॉट (CoT) डिस्टिलेशन विधियां, जो बड़े टीचर्स से रीजनिंग-संवर्धित डेटा पर छोटे मॉडल्स को प्रशिक्षित करती हैं, मुख्य रूप से टेक्स्ट-ओनली सेटिंग्स या उन परिदृश्यों पर केंद्रित रही हैं जहाँ टीचर मॉडल पहले से ही अत्यधिक सक्षम है। यह पेपर उन VLMs में CoT डिस्टिलेशन लागू करने के अंतर को संबोधित करता है जहाँ फ्रंटियर टीचर स्वयं खराब प्रदर्शन कर सकता है (24.1% सटीकता जितनी कम)।

कार्यप्रणाली (Methodology)

लेखक उत्तर-सशर्त कोट डिस्टिलेशन (Answer-Conditioned CoT Distillation) का प्रस्ताव देते हैं, जो एक पाइपलाइन है जिसे 18-30 लेबल वाली छवियों का उपयोग करके छोटे VLMs (विशेष रूप से एक 3B-पैरामीटर मॉडल) को नए औद्योगिक कार्यों के लिए तेजी से अनुकूलित करने के लिए डिज़ाइन किया गया है।

1. उत्तर-सशर्त तर्क पीढ़ी (Answer-Conditioned Reasoning Generation)

मानक CoT के विपरीत, जहाँ एक टीचर मॉडल एक छवि को वर्गीकृत करता है और अपने प्रेडिक्शन की व्याख्या करता है, यह विधि मानती है कि फ्रंटियर मॉडल (GPT-4.1) प्रशिक्षण छवि ( $x_i$ ) के लिए सही लेबल ( $y_i$ ) पहले से जानता है।

प्रक्रिया: फ्रंटियर मॉडल को छवि और सही ग्राउंड-ट्रूथ लेबल प्राप्त होता है। इसे एक विजुअल स्पष्टीकरण उत्पन्न करने के लिए प्रॉम्प्ट दिया जाता है जो इस बात का औचित्य सिद्ध करे कि वह विशिष्ट लेबल क्यों सही है और समान दिखने वाली अन्य श्रेणियां क्यों लागू नहीं होती हैं।
तुलनात्मक तर्क (Contrastive Reasoning): उत्पन्न विवरण स्पष्ट रूप से लक्ष्य वर्ग को विजुअली समान डिस्ट्रैक्टर्स (जैसे वेल्ड रेडियोग्राफ में आकार और वितरण का वर्णन करके "पोरोसिटी" को "लैक ऑफ पेनेट्रेशन" से अलग करना) के साथ कंट्रास्ट करते हैं।
तर्क (Rationale): सही उत्तर पर आधारित होने के कारण, यह सुनिश्चित करता है कि सभी प्रशिक्षण तर्क सही निष्कर्ष की ओर निर्देशित हों। यह महत्वपूर्ण है क्योंकि यदि टीचर को पहले वर्गीकृत करने के लिए कहा जाता, तो 76% तक उत्पन्न तर्क गलत हो सकते थे, जिससे प्रशिक्षण डेटा 'पॉइजन' (दूषित) हो सकता था।

2. डेटा निर्माण और प्रशिक्षण

प्रत्येक $N$ लेबल वाली प्रशिक्षण छवियों के लिए, लेखक दो प्रकार के डेटासेट बनाते हैं:

डायरेक्ट LoRA: $N$ जोड़े (Image + Prompt $\to$ JSON Label)।
CoT-संवर्धित LoRA: $4N$ जोड़े। प्रत्येक छवि के लिए, फ्रंटियर मॉडल द्वारा तीन CoT विवरण उत्पन्न किए जाते हैं, साथ ही एक डायरेक्ट लेबल जोड़ा जाता है। CoT जोड़ों में छवि, बिना JSON निर्देशों वाला प्रॉम्प्ट, उत्पन्न तर्क पाठ, और सही JSON आउटपुट शामिल होता है।

छोटे VLM (Qwen2.5-VL-3B-Instruct) को इन डेटासेट्स पर LoRA (Low-Rank Adaptation) का उपयोग करके फाइन-ट्यून किया जाता है। केवल असिस्टेंट रिस्पॉन्स टोकन ही लॉस (loss) में योगदान देते हैं; यूजर प्रॉम्प्ट और इमेज टोकन को मास्क किया जाता है।

3. प्रॉम्प्ट इंजीनियरिंग

अध्ययन इस बात पर जोर देता है कि प्रॉम्प्ट की गुणवत्ता सर्वोपरि है। वर्गीकरण प्रॉम्प्ट में विस्तृत क्लास डेफिनिशन, विजुअल विवरण और समान वर्गों को अलग करने वाले कंट्रास्टिव फीचर्स शामिल होने चाहिए। प्रयोगों ने दिखाया कि प्रशिक्षण के दौरान छोटी क्लास डेफिनिशन का उपयोग करने से (जबकि मूल्यांकन के लिए पूर्ण परिभाषाओं को बनाए रखा गया) सटीकता 18.1 प्रतिशत अंक गिर गई, जो दर्शाता है कि तर्क पीढ़ी प्रदान की गई विशिष्टताओं पर बहुत अधिक निर्भर है।

मुख्य योगदान

औद्योगिक VLMs के लिए अनुप्रयोग: औद्योगिक फ्यू-शॉट क्लासिफिकेशन के लिए उत्तर-सशर्त CoT डिस्टिलेशन का पहला अनुप्रयोग, जो चार कार्यों, तीन इमेज मोडैलिटीज और चार रैंडम सीड्स (16/16 जीत) में निरंतर सुधार प्रदर्शित करता है।
तर्क की गुणवत्ता का अलगाव: एक नियंत्रित समान-बजट प्रयोग सिद्ध करता है कि प्रदर्शन में सुधार तर्क की गुणवत्ता से आता है, न कि केवल प्रशिक्षण चरणों या डेटा की मात्रा में वृद्धि से।
उत्तर-सशर्त होने की आवश्यकता: लेखक प्रदर्शित करते हैं कि बिना उत्तर-सशर्त हुए, अनकंडीशन्ड CoT प्रदर्शन को 17.8 प्रतिशत अंक तक कम कर सकता है जब टीचर मॉडल सटीक न हो।
फ्रंटियर मॉडल्स की श्रेष्ठता: एक 3B-पैरामीटर मॉडल, जिसे केवल 24 छवियों पर फाइन-ट्यून किया गया है, विशेष औद्योगिक कार्यों पर GPT-4.1 और Gemini 2.5 Pro को पछाड़ देता है, बावजूद इसके कि फ्रंटियर मॉडल्स को इन्फरेंस के समय रेफरेंस इमेज प्राप्त होती हैं।

प्रयोगात्मक परिणाम

विधि को तीन मोडैलिटीज के चार कार्यों पर सत्यापित किया गया:

ग्रैनुलोमेट्री (Granulometry): कंक्रीट एग्रीगेट ग्रेडिंग (9 क्लास, फोटोग्राफी)।
स्टील सरफेस (Steel Surface): दोष वर्गीकरण (6 क्लास, फोटोग्राफी)।
UHCS: स्टील माइक्रोस्ट्रक्चर (5 क्लास, माइक्रोस्कोपी)।
वेल्ड डिफेक्ट्स (Weld Defects): रेडियोग्राफ वर्गीकरण (4 क्लास, X-ray)।

प्रदर्शन मेट्रिक्स:

निरंतरता: CoT-संवर्धित दृष्टिकोण सभी 16 सीड-टास्क संयोजनों पर Direct LoRA से बेहतर रहा।
सुधार: औसत सुधार Direct LoRA पर +1.7 से +4.4 प्रतिशत अंक के बीच रहा।
फ्रंटियर मॉडल्स के साथ तुलना:
- वेल्ड डिफेक्ट्स: फाइन-ट्यून किए गए 3B मॉडल ने 75.0% सटीकता प्राप्त की, जो GPT-4.1 फ्यू-शॉट (65.0%) से 10.0 प्रतिशत अंक बेहतर है।
- ग्रैनुलोमेट्री: 3B मॉडल ने 77.8% बनाम GPT-4.1 के 29.6% (+48.2pp) प्राप्त किया।
- स्टील सरफेस: GPT-4.1 (91.1%) श्रेष्ठ बना रहा, जो संभवतः इसकी रेफरेंस-इमेज फ्यू-शॉट क्षमता के कारण है।

नियंत्रित प्रयोग:

समान बजट (Equal Budget): CoT के स्टेप काउंट से मेल खाने के लिए 4x डेटा (डुप्लिकेट इमेज) के साथ Direct LoRA को प्रशिक्षित करने से समान लाभ नहीं मिला; वास्तव में, यह अक्सर प्रदर्शन में कम या बराबर रहा, जो पुष्टि करता है कि लाभ विविध तर्क संकेतों से आता है, न कि केवल अधिक स्टेप्स से।
अनकंडीशन्ड बेसलाइन: जब टीचर (Gemini 2.5 Pro) को सही उत्तर नहीं दिया गया और उसने अपने स्वयं के (संभावित रूप से गलत) प्रेडिक्शंस के आधार पर तर्क उत्पन्न किया, तो प्रदर्शन काफी गिर गया (उदाहरण के लिए, ग्रैनुलोमेट्री पर -17.8pp) जो Direct LoRA की तुलना में था, जो 'पॉइजनिंग' प्रभाव को प्रमाणित करता है।

महत्व और दावे

पेपर का दावा है कि उत्तर-सशर्त CoT डिस्टिलेशन गतिशील औद्योगिक वातावरण में छोटे, ऑन-प्रिमाइसेस VLMs को तैनात करने के लिए एक व्यवहार्य, कुशल समाधान है। यह विधि छोटे डेटासेट की सीमा को उच्च-गुणवत्ता वाले तर्क हस्तांतरण के अवसर में बदल देती है।

दक्षता: पूर्ण पाइपलाइन (API जनरेशन + LoRA ट्रेनिंग) एक सिंगल NVIDIA L4 GPU पर 2 घंटे से कम समय लेती है, जिससे फैक्ट्री इंजीनियर एक दिन के भीतर डोमेन-अनुकूलित मॉडल तैनात कर सकते हैं।
मजबूती (Robustness): यह दृष्टिकोण उन डोमेन के लिए आवश्यक है जहाँ फ्रंटियर मॉडल्स विशेषज्ञता की कमी रखते हैं। लेखक तर्क देते हैं कि इन सेटिंग्स में उत्तर-सशर्त होना वैकल्पिक नहीं है; बिना इसके, डिस्टिलेशन प्रक्रिया हानिकारक हो सकती है।
व्यावहारिकता: अध्ययन इस बात पर जोर देता है कि प्रॉम्प्ट इंजीनियरिंग (विशेष रूप से विस्तृत क्लास डेफिनिशन) विधि की सफलता के लिए अभिन्न है, क्योंकि कमजोर परिभाषाएं कमजोर तर्क की ओर ले जाती हैं।

लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण छोटे मॉडल्स को विशिष्ट कार्यों पर विशाल फ्रंटियर मॉडल्स से बेहतर प्रदर्शन करने में सक्षम बनाता है, जब तर्क को ग्राउंड ट्रुथ पर आधारित (conditioned) किया जाता है।