Rethinking Multi-Branch and Cross-Backbone Fusion for Vehicle Re-Identification in the Foundation-Model Era

कल्पना कीजिए कि आप हजारों एक जैसी दिखने वाली गाड़ियों से भरे शहर में एक विशिष्ट कार को खोजने की कोशिश कर रहे हैं। यह "व्हीकल री-आइडेंटिफिकेशन" (Re-ID) का काम है, जो स्मार्ट ट्रैफिक सिस्टम के लिए एक सुपरपावर है और कैमरों को एक कार को एक सड़क से दूसरी सड़क पर जाने के दौरान ट्रैक करने में मदद करता है। सालों तक, बेहतर होने का गुप्त मंत्र "विविधता" (diversity) था। इंजीनियरों का मानना था कि यदि आप कार को देखने के लिए अलग-अलग विशेषज्ञों की एक टीम बनाते हैं, तो वह समूह किसी भी अकेले व्यक्ति से अधिक स्मार्ट होगा। वे काम को विभाजित करते थे: एक विशेषज्ञ पहियों को देखेगा, दूसरा छत को, और तीसरा सोचने के एक पूरी तरह से अलग तरीके (जैसे मानव मस्तिष्क बनाम रोबोट मस्तिष्क) का उपयोग करेगा ताकि उन विवरणों को पकड़ सके जिन्हें अन्य चूक गए हों। बड़ा विचार यह था कि अधिक विविधता का अर्थ है कम गलतियाँ। लेकिन क्या होता है जब आप अपने दल को शुरुआत में ही एक जीनियस-स्तर का मस्तिष्क दे देते हैं? क्या अधिक मददगार जोड़ना अभी भी मदद करता है, या यह केवल रास्ते में बाधा बनता है?

यह शोध पत्र, जिसे यू वांग और होंग्यू यांग ने लिखा है, सीधे इसी प्रश्न में उतरता है। उन्होंने कारों को खोजने के कार्य पर एक आधुनिक, शक्तिशाली प्रकार के AI मस्तिष्क (जिसे "फाउंडेशन मॉडल" कहा जाता है) का परीक्षण किया। कई अलग-अलग विशेषज्ञों की एक अव्यवस्थित टीम बनाने के बजाय, उन्होंने पूछा: "क्या होगा यदि हम बस एक वास्तव में, वास्तव में स्मार्ट विशेषज्ञ का उपयोग करें और उन्हें पूरी तरह से सिखाएं?" उन्होंने दो प्रसिद्ध कार डेटासेट, VeRi-Wild और VeRi-776 पर एक विशाल प्रयोग चलाया, जिसमें परिणामों को निष्पक्ष बनाने के लिए नियमों का एक सख्त सेट का पालन किया गया। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने उच्च-सटीक उपकरणों के साथ सब कुछ मापा, यह जाँचने के लिए कि क्या उनके AI के विभिन्न हिस्से वास्तव में अलग चीजें देख रहे थे या वे केवल खुद को दोहरा रहे थे।

जो उत्तर उन्होंने पाया वह AI की दुनिया के लिए एक प्लॉट ट्विस्ट जैसा है। उन्होंने पाया कि जब आप एक सुपर-स्मार्ट फाउंडेशन मॉडल के साथ शुरुआत करते हैं, तो पुराना "अधिक ही बेहतर है" वाला नियम टूट जाता है। जब उन्होंने एक ही मस्तिष्क पर कई "हेड्स" (अलग-अलग विशेषज्ञ) को संयोजित करने की कोशिश की, तो विशेषज्ञ विविध टीम नहीं बने; वे सभी बिल्कुल एक जैसा सोचने लगे। यह वैसा ही था जैसे आपने पांच जासूसों को काम पर रखा हो और उन सभी ने एक ही सुराग को एक ही तरीके से देखना शुरू कर दिया हो। यहाँ तक कि जब उन्होंने दो पूरी तरह से अलग प्रकार के मस्तिष्क—एक मानक और एक फैंसी नया ट्रांसफॉर्मर—को मिलाने की कोशिश की, तो फैंसी वाले ने कुछ भी उपयोगी जोड़ने में सफलता नहीं पाई। वास्तव में, एक अकेला, अच्छी तरह से ट्यून किया गया मस्तिष्क उतना ही अच्छा था जितना कि पूरी टीम, लेकिन इसे चलाना बहुत तेज़ और सस्ता था। शोध पत्र निष्कर्ष निकालता है कि इस विशिष्ट कार्य के लिए, इस विशिष्ट प्रकार के स्मार्ट मस्तिष्क के साथ, आपको एक समिति की आवश्यकता नहीं है। आपको बस एक सुपरस्टार, एक सही प्रशिक्षण रेसिपी और अंत में परिणामों को दोबारा जांचने के लिए एक चतुर ट्रिक की आवश्यकता है।

एकल सुपर-विशेषज्ञ की कहानी

लगभग एक दशक से, AI समुदाय इस विचार के प्रति जुनूनी रहा है कि विविधता ही सर्वोपरि है। व्हीकल री-आइडेंटिफिकेशन की दुनिया में, इसका अर्थ था जटिल प्रणालियों का निर्माण करना जिनमें मल्टी-ब्रांच आर्किटेक्चर हो। एक कार निरीक्षण टीम की कल्पना करें जहाँ एक व्यक्ति लाइसेंस प्लेट की जाँच करता है, दूसरा टायर के निशान की जाँच करता है, और तीसरा पेंट की जाँच करता है। सिद्धांत यह था कि काम को समानांतर धाराओं में विभाजित करके, सिस्टम एक व्यक्ति की तुलना में अधिक विवरण पकड़ लेगा। कुछ टीमों ने क्रॉस-बैकबोन फ्यूजन का भी प्रयास किया, जो एक मानव जासूस और एक रोबोट जासूस को मिलकर काम करने के लिए रखने जैसा है, इस उम्मीद में कि उनके दुनिया को देखने के अलग-अलग तरीके एक-दूसरे की कमियों को पूरा करेंगे।

धारणा सरल थी: अधिक विविध प्रतिनिधित्व का अर्थ है बेहतर परिणाम। लेकिन यह पेपर एक महत्वपूर्ण प्रश्न पूछता है: क्या "फाउंडेशन मॉडल्स" का उपयोग करने पर यह अभी भी काम करता है?

फाउंडेशन मॉडल पूर्व-प्रशिक्षित जीनियस की तरह होते हैं। उन्होंने पहले से ही पूरा इंटरनेट (या इस मामले में, लाखों छवियों) पढ़ लिया है और आपके द्वारा कोई विशिष्ट कार्य करने से पहले ही दुनिया को देखना सीख लिया है। लेखकों, वांग और यांग ने सोचा: यदि आप एक ऐसे मस्तिष्क के साथ शुरुआत करते हैं जो कारों को देखने में पहले से ही लगभग पूर्ण है, तो क्या वहां दूसरे मस्तिष्क की मदद के लिए कोई जगह बची है? या क्या पहला मस्तिष्क पहले से ही वह सब जानता है जो उसे जानने की आवश्यकता है?

प्रयोग: एक मस्तिष्क बनाम पूरी टीम

यह पता लगाने के लिए, लेखकों ने एक निष्पक्ष मुकाबला तैयार किया। उन्होंने एक शक्तिशाली, पूर्व-प्रशिक्षित AI जिसे DINOv3-ConvNeXt कहा जाता है, लिया और इसे प्रशिक्षित करने के लिए एक विशिष्ट "रेसिपी" दी। यह रेसिपी जादुई नहीं थी; यह केवल AI को सिखाने का एक सावधानीपूर्वक शेड्यूल था, जिसमें यह शामिल था कि कब इसके मस्तिष्क को फ्रीज करना है, कब इसे स्वतंत्र रूप से सीखने देना है, और इसकी सीखने की गति को कैसे समायोजित करना है।

उन्होंने इस एकल मस्तिष्क का परीक्षण दो प्रमुख डेटासेट पर किया:

1. VeRi-Wild: हजारों अलग-अलग कारों वाली कारों की छवियों का एक विशाल संग्रह।
2. VeRi-776: छवियों का एक थोड़ा छोटा, लेकिन बहुत कठिन सेट जिसका उपयोग यह देखने के लिए किया जाता है कि क्या AI नई स्थितियों में सामान्य हो सकता है।

उन्होंने अपने एकल, अच्छी तरह से प्रशिक्षित मस्तिष्क की तुलना सबसे मजबूत मौजूदा टीमों से की जो मल्टी-ब्रांच और यहाँ तक कि मेटाडेटा (कैमरा एंगल जैसी अतिरिक्त जानकारी) का उपयोग करती थीं।

परिणाम: एकल मस्तिष्क जीत गया। या यूँ कहें कि यह बराबरी पर रहा।
सही प्रशिक्षण रेसिपी के साथ एकल DINOv3-ConvNexT मॉडल ने VeRi-Wild Small डेटासेट पर 88.19 mAP (एक माप कि खोज कितनी अच्छी है) का सटीकता स्कोर प्राप्त किया। इसने उन सबसे जटिल, मल्टी-ब्रांच सिस्टम की बराबरी की जो अतिरिक्त मेटाडेटा पर निर्भर थे। जब उन्होंने एक "री-रैंकिंग" चरण जोड़ा (परिणामों को दोबारा जांचने का एक चतुर तरीका), तो स्कोर बढ़कर 92.38 mAP हो गया।

लेखक ने पाया कि एकल मस्तिष्क पूरी टीम के समान ही अच्छा था, लेकिन यह 2.8 गुना तेज़ था और इसमें 3 गुना कम गणनाएँ (FLOPs) लगीं।

"विविधता" का मिथक टूटा

इस पेपर का सबसे रोमांचक हिस्सा यह है कि उन्होंने यह साबित किया कि टीम वाला दृष्टिकोण क्यों विफल हुआ। उन्होंने केवल अंतिम स्कोर को नहीं देखा; उन्होंने यह देखने के लिए AI के मस्तिष्क के अंदर झाँका कि विभिन्न "हेड्स" वास्तव में क्या कर रहे थे।

1. सेम-बैकबोन कोलैप्स (क्लोन आर्मी)
जब उन्होंने एक ही बैकबोन पर चार अलग-अलग "हेड्स" रखे, तो उन्हें उम्मीद थी कि वे कार के अलग-अलग हिस्सों को देखेंगे। इसके बजाय, उन्होंने पाया कि जैसे-जैसे AI प्रशिक्षित हुआ, चारों हेड्स एक ही बात सोचने लगे।

• उपमा: कल्पना कीजिए कि आपने चार जासूसों को काम पर रखा है। शुरू में, एक जूतों को देखता है, एक टोपी को, एक बैग को और एक चेहरे को। लेकिन जैसे-जैसे वे मिलकर काम करते हैं, वे सभी चेहरे को देखना शुरू कर देते हैं क्योंकि वहीं सबसे स्पष्ट सुराग मिलते हैं। अंत तक, वे सभी एक ही स्थान को घूर रहे होते हैं।
• डेटा: लेखकों ने इसे जैकर्ड समानता (Jaccard similarity) नामक उपकरण का उपयोग करके मापा। उन्होंने पाया कि अलग-अलग हेड्स जो चीज़ें खोज रहे थे, वे 83.5% से 84.1% तक समान थे। वे मूल रूप से क्लोन थे। उन्हें संयोजित करने से कोई मदद नहीं मिली क्योंकि वे सभी एक ही गलतियाँ कर रहे थे और एक ही मैच ढूँढ रहे थे।

2. क्रॉस-बैकबोन फेलियर (मिसमैच्ड डुओ)
इसके बाद, उन्होंने "मानव बनाम रोबोट" दृष्टिकोण का परीक्षण किया। उन्होंने ConvNeXt मस्तिष्क (मानव) लिया और इसे एक ट्रांसफॉर्मर मस्तिष्क (रोबोट) के साथ जोड़ने का प्रयास किया। वे जानते थे कि ये दोनों प्रकार के मस्तिष्क स्वाभाविक रूप से भिन्न होते हैं।

• सेटअप: उन्होंने ConvNext मस्तिष्क को फ्रीज कर दिया ताकि वह बदल न सके, जो एक "सेमेंटिक एंकर" (एक स्थिर संदर्भ बिंदु) के रूप में कार्य करता है, और केवल ट्रांसफॉर्मर और फ्यूजन मॉड्यूल को प्रशिक्षित किया। उन्होंने तीन अलग-अलग प्रशिक्षण रेसिपी का परीक्षण किया ताकि यह सुनिश्चित हो सके कि ट्रांसफॉर्मर आलसी नहीं है।
• परिणाम: ट्रांसफॉर्मर मस्तिष्क संघर्ष करता रहा। सर्वोत्तम प्रशिक्षण के साथ भी, यह केवल लगभग 73 mAP तक पहुँच सका, जबकि ConvNeXt मस्तिष्क 88.19 mAP पर था।
• फ्यूजन: जब उन्होंने उन्हें संयोजित करने का प्रयास किया, तो सिस्टम बेहतर नहीं हुआ। वास्तव में, "ओरेकल" (एक आदर्श, सैद्धांतिक प्रणाली जो दोनों को मिलाने का सबसे अच्छा तरीका जानती है) ने ट्रांसफॉर्मर को शून्य वेट (zero weight) देने का निर्णय लिया। यह इतना खराब था कि सिस्टम ने इसे पूरी तरह से अनदेखा कर दिया। फ्यूजन ने एकल मस्तिष्क की तुलना में 0.11 mAP (एक बहुत छोटा, सांख्यिकीय रूप से महत्वहीन हिस्सा) से अधिक कुछ भी नहीं जोड़ा।

ऐसा क्यों हुआ?

पेपर एक स्पष्ट स्पष्टीकरण देता है: साझा प्रक्षेपवक्र (Shared Trajectories)।
जब आप एक ही बैकबोन पर कई हेड्स को प्रशिक्षित करते हैं, तो वे एक ही पथ का अनुसरण करते हैं। वे सभी गणित की दुनिया में एक ही "समाधान" की ओर धकेले जाते हैं। वे विविध नहीं रहते; वे अतिरेक (redundancy) में बदल जाते हैं।
इसके अलावा, फाइन-ट्यूनिंग डिस्टॉर्शन (Fine-Tuning Distortion) भी भूमिका निभाता है। जब आप एक पूर्व-प्रशिक्षित जीनियस को एक नया कौशल सिखाते हैं, तो दुनिया के प्रति उसका मूल "नज़रिया" नए कार्य के अनुरूप बदलने के लिए विकृत हो जाता है। जो अंतर शुरुआत में मौजूद थे (जैसे कि एक CNN और एक ट्रांसफॉर्मर चीजों को देखने के अलग-अलग तरीके), वे मिट जाते हैं क्योंकि दोनों एक ही तरीके से कार की समस्या को हल करने की कोशिश करते हैं।

दक्षता की सीमा (The Efficiency Frontier)

लेखक निष्कर्ष निकालते हैं कि फाउंडेशन मॉडल्स के युग में वाहन पुन: पहचान (vehicle re-identification) के लिए, "एफिशिएंसी फ्रंटियर" (न्यूनतम प्रयास के लिए सर्वोत्तम संभव प्रदर्शन) ऐसा दिखता है:

• एक मजबूत बैकबोन: एक शक्तिशाली फाउंडेशन मॉडल (जैसे DINOv3-ConvNeXt) का उपयोग करें।
• सही रेसिपी: इसे एक विशिष्ट शेड्यूल (स्टेज्ड लर्निंग रेट डिके) के साथ सावधानीपूर्वक प्रशिक्षित करें।
• सटीक स्पार्स री-रैंकिंग: शीर्ष परिणामों की दोबारा जांच करने के लिए एक स्मार्ट, मेमोरी-कुशल ट्रिक का उपयोग करें।

यह संयोजन सबसे जटिल, मल्टी-ब्रांच सिस्टम के प्रदर्शन से मेल खाता है लेकिन बहुत कम कंप्यूटिंग पावर की लागत पर।

इसका भविष्य के लिए क्या अर्थ है

पेपर यह नहीं कहता कि विविधता कभी उपयोगी नहीं होती। यह कहता है कि इस विशिष्ट कार्य के लिए, इस विशिष्ट प्रकार के AI के लिए, और डेटा के इस पैमाने पर, विविधता का लाभ नहीं मिलता है। "अधिक ही बेहतर है" वाला नियम टूट गया है।

लेखक सावधानी से उन स्थितियों को सूचीबद्ध करते हैं जो उन्हें गलत साबित कर सकती हैं (उनके "फालसिफायर्स"):

• यदि कोई ट्रांसफॉर्मर को प्रशिक्षित करने का ऐसा तरीका खोज लेता है जो ConvNext मस्तिष्क के अंतर को पाट सके।
• यदि वे एक पूरी तरह से अलग प्रकार के प्री-ट्रेनिंग का उपयोग करते हैं जो मस्तिष्क को अलग रखता है।
• यदि वे इसे बहुत छोटे डेटासेट पर आज़माते हैं जहाँ एकल मस्तिष्क अभी तक "सैचुरेटेड" (संतृप्त) नहीं हुआ है।

लेकिन फिलहाल, संदेश स्पष्ट है: विशेषज्ञों की अव्यवस्थित टीमें बनाना बंद करें। इसके बजाय, एक जीनियस को खोजें, उन्हें अच्छी तरह से सिखाएं, और उन्हें काम करने दें। यह तेज़ है, सस्ता है, और उतना ही स्मार्ट है।