🤖 machine learning

GeoFlowVLM: Geometry-Aware Joint Uncertainty for Frozen Vision-Language Embedding

GeoFlowVLM एक पोस्ट-हॉक एडैप्टर पेश करता है जो फ्रोजन ड्यूल-एनकोडर विजन-लैंग्वेज मॉडल्स को प्रोडक्ट हाइपरस्फीयर पर रिमानियन फ्लो मैचिंग का लाभ उठाकर एलियटोरिक (aleatoric) और एपिस्टेमिक (epistemic) अनिश्चितता अनुमानों से सुसज्जित करता है, जिससे रिट्रीवल और ज़ीरो-शॉट क्लासिफिकेशन कार्यों के लिए लगभग आदर्श कैलिब्रेशन प्राप्त होता है।

मूल लेखक: Mayank Nautiyal, Li Ju, Andreas Hellander, Ekta Vats, Prashant Singh

प्रकाशित 2026-05-14

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mayank Nautiyal, Li Ju, Andreas Hellander, Ekta Vats, Prashant Singh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट लाइब्रेरियन है (एक विजन-लैंग्वेज मॉडल) जिसने लाखों चित्रों और उनके विवरणों को याद कर लिया है। यदि आप उन्हें कुत्ते की एक तस्वीर दिखाते हैं, तो वे तुरंत "एक प्यारा कुत्ता" (a cute dog) टेक्स्ट ढूंढ सकते हैं। यदि आप उन्हें "एक प्यारा कुत्ता" टेक्स्ट दिखाते हैं, तो वे उस चित्र को ढूंढ सकते हैं।

लेकिन यहाँ एक समस्या है: लाइब्रेरियन बहुत अधिक आत्मविश्वासी है। वे कभी नहीं कहते, "मैं पक्का नहीं हूँ," या "यह एक कठिन प्रश्न है।" यदि आप उन्हें एक बिल्ली की धुंधली फोटो दिखाते हैं जो कुत्ते जैसी दिखती है, तो वे बिना यह स्वीकार किए कि वे केवल अनुमान लगा रहे हैं, आत्मविश्वास से "कुत्ता" कह सकते हैं। उन्हें यह भी पता नहीं चलता कि जब उनसे ऐसी चीज़ के बारे में पूछा जा रहा हो जिसे उन्होंने पहले कभी नहीं देखा (जैसे कि एक भविष्यवादी एलियन), तो उन्हें क्या करना चाहिए।

यह पेपर GeoFlowVLM पेश करता है, जो एक नया "एड-ऑन" मॉड्यूल है जो इस लाइब्रेरियन के लिए एक कॉन्फिडेंस मीटर (आत्मविश्वास मापने वाला यंत्र) की तरह काम करता है। यह लाइब्रेरियन के दिमाग को नहीं बदलता; यह बस उन्हें सुनता है और यह पता लगाता है कि उन्हें कितना आश्वस्त होना चाहिए।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. समस्या: "फ्लैट मैप" बनाम "ग्लोब"

अधिकांश वर्तमान सिस्टम इन चित्र-टेक्स्ट जोड़ों को कागज के एक सपाट टुकड़े (यूक्लिडियन स्पेस) पर बिंदुओं की तरह मानते हैं। लेकिन पेपर का तर्क है कि लाइब्रेरियन की याददाश्त वास्तव में एक ग्लोब (हाइपरस्फीयर) के आकार की है।

उपमा: कल्पना कीजिए कि आप पृथ्वी का मानचित्र एक सपाट कागज पर बनाने की कोशिश कर रहे हैं। किनारों के पास दूरियाँ विकृत हो जाती हैं। यदि आप एक सपाट मानचित्र पर ग्लोब की वास्तविकता को मापने की कोशिश करते हैं, तो आपके माप गलत होंगे।
समाधान: GeoFlowVLM इस "ग्लोब" के आकार का सम्मान करता है। यह समझता है कि लाइब्रेरियन का ज्ञान एक मुड़ी हुई सतह पर रहता है, न कि एक सपाट शीट पर।

2. अनिश्चितता के दो प्रकार

यह सिस्टम को दो अलग-अलग प्रकार की अनिश्चितता के बीच अंतर करना सिखाता है:

A. "एक-से-अनेक" का भ्रम (Aleatoric Uncertainty)

कभी-कभी, एक चित्र को कई वैध तरीकों से वर्णित किया जा सकता है।

उपमा: आप लाइब्रेरियन को एक व्यक्ति की तस्वीर दिखाते हैं जिसने लाल गेंद पकड़ी हुई है।
- क्या यह "गेंद पकड़े हुए एक व्यक्ति" है?
- क्या यह "कैच खेलते हुए एक व्यक्ति" है?
- क्या यह "एक लाल गोला पकड़े हुए एक व्यक्ति" है?
  सभी सही हैं। लाइब्रेरियन इसलिए भ्रमित है क्योंकि दुनिया अस्पष्ट है, न कि इसलिए कि लाइब्रेरियन मूर्ख है।
GeoFlowVLM क्या करता है: यह एक "रिट्रीवल एंट्रॉपी" (Retrieval Entropy) की गणना करता है। इसे एक माप के रूप में सोचें कि लाइब्रेरियन के मन में कितने अलग-अलग उत्तर तैर रहे हैं। यदि उत्तर कई संभावनाओं में फैला हुआ है, तो सिस्टम कहता है, "उच्च अनिश्चितता: यह एक कठिन, अस्पष्ट प्रश्न है।" यदि उत्तर एक स्पष्ट शिखर है, तो यह कहता है, "कम अनिश्चितता: यह आसान है।"

B. "पहले कभी न देखा गया" भ्रम (Epistemic Uncertainty)

कभी-कभी, लाइब्रेरियन से ऐसी चीज़ के बारे में पूछा जाता है जो उनके प्रशिक्षण के दायरे से पूरी तरह बाहर है।

उपमा: आप लाइब्रेरियन को एक "चमकते बैंगनी ड्रैगन" की तस्वीर दिखाते हैं। लाइब्रेरियन ने कभी ड्रैगन नहीं देखा है, और बैंगनी ड्रैगन तो बिल्कुल नहीं। वे "ज्ञान के ग्लोब" के उस हिस्से में हैं जहाँ उन्होंने पहले कभी यात्रा नहीं की है।
GeoFlowVLM क्या करता है: यह एक "टिपिकैलिटी स्कोर" (Typicality Score) की गणना करता है। यह पूछता है, "क्या यह चित्र-टेक्स्ट जोड़ा मेरे द्वारा अध्ययन किए गए लाखों जोड़ों जैसा दिखता है?" यदि जोड़ा अपने प्रशिक्षण डेटा की तुलना में अजीब या दुर्लभ है, तो स्कोर बढ़ जाता है, जो संकेत देता है, "मैं इसे पहचानता नहीं हूँ; मैं भ्रमित (hallucinating) हो सकता हूँ।"

3. यह कैसे काम करता है: "फ्लो" और "मास्क"

यह सिस्टम रीमानियन फ्लो मैचिंग (Riemannian Flow Matching) नामक एक गणितीय तकनीक का उपयोग करता है।

उपमा: कल्पना कीजिए कि लाइब्रेरियन का ज्ञान एक नदी की तरह है जो एक अराजक, शोर वाले स्रोत (रैंडम नॉइज़) से एक स्पष्ट, व्यवस्थित गंतव्य (वास्तविक चित्र और टेक्स्ट) की ओर बह रही है।
"फ्लो" (प्रवाह): GeoFlowVLM इस नदी की दिशा सीखता है। यह सीखता है कि एक रैंडम पॉइंट को एक विशिष्ट चित्र-टेखस्ट जोड़े तक कैसे निर्देशित किया जाए।
"मास्क" (मुखौटा): यह सबसे चतुर हिस्सा है। सिस्टम एक ही "मस्तिष्क" (न्यूरल नेटवर्क) का उपयोग करता है जो अलग-अलग "मास्क" पहन सकता है।
- मास्क 1 (संयुक्त/Joint): यह पूरे नदी को सीखता है (चित्र और टेक्स्ट कैसे एक साथ बहते हैं)।
- मास्क 2 (कंडीशनल/Conditional): यह टेक्स्ट पर एक मास्क लगाता है और पूछता है, "यदि मेरे पास यह चित्र है, तो टेक्स्ट कहाँ प्रवाहित होता है?"
- मास्क 3 (कंडीशनल/Conditional): यह चित्र पर एक मास्क लगाता है और पूछता है, "यदि मेरे पास यह टेक्स्ट है, तो चित्र कहाँ प्रवाहित होता है?"
  चूंकि यह तीनों को एक साथ सीखता है, इसलिए यह दोनों सवालों के जवाब दे सकता है: "यह कितना अस्पष्ट है?" और "क्या यह नया है?" बिना मूल लाइब्रेरियन को फिर से प्रशिक्षित किए।

4. परिणाम: एक बेहतर दिशा-सूचक (Compass)

लेखकों ने तीन प्रमुख कार्यों पर इसका परीक्षण किया:

छवियों से टेक्स्ट खोजना: उन्होंने दिखाया कि जब सिस्टम "उच्च अनिश्चितता" कहता है, तो लाइब्रेरियन के गलत टेक्स्ट चुनने की संभावना वास्तव में अधिक होती है। जब यह "कम अनिश्चितता" कहता है, तो लाइब्रेरियन आमतौर पर सही होता है। यह एक बहुत ही विश्वसनीय दिशा-सूचक है।
टेक्स्ट से छवियां खोजना: समान परिणाम। सिस्टम सही ढंग से पहचानता है कि टेक्स्ट विवरण कब इतना अस्पष्ट है कि वह किसी एक विशिष्ट छवि की ओर इशारा नहीं कर सकता।
अज्ञात को पहचानना: जब उन्होंने सिस्टम का परीक्षण उन छवियों पर किया जिन्हें उसने पहले कभी नहीं देखा था (जैसे पक्षियों या वस्तुओं के विभिन्न प्रकार), तो "टिपिकैलिटी स्कोर" ने अजीब दिखने वाली चीज़ों को सही ढंग से चिह्नित किया।

"सीक्रेट सॉस" (चेन रूल)

पेपर ने एक गणितीय ट्रिक भी खोजी। उन्होंने पाया कि एक चित्र-टेक्स्ट जोड़े की कुल "आश्चर्य" (surprise) को दो भागों में विभाजित किया जा सकता है:

"टिपिकैलिटी" वाला भाग: यह जोड़ी लाइब्रेरियन के लिए कितनी अजीब है? (यह एपिस्टेमिक स्कोर है)।
"मैचिंग" वाला भाग: चित्र और टेक्स्ट एक साथ कितनी अच्छी तरह फिट होते हैं? (यह केवल एक माप है कि मैच कितना अच्छा है, न कि लाइब्रेरियन कितना अनिश्चित है)।

पेपर यह सिद्ध करता है कि आपको यह मापने के लिए कि क्या लाइब्रेरियन नए डेटा के बारे में अनिश्चित है, केवल "टिपिकैलिटी" वाले भाग का उपयोग करना चाहिए। "मैचिंग" वाले भाग का उपयोग करने से वास्तव में सिस्टम भ्रमित हो जाता है।

सारांश

GeoFlowVLM एक उपकरण है जो मौजूदा AI विजन-लैंग्वेज मॉडल्स के साथ एक "कॉन्फिडेंस गेज" (आत्मविश्वास मापने वाला यंत्र) जोड़ता है। यह AI की याददाश्त के घुमावदार आकार का सम्मान करता है, जिससे यह बताने में सक्षम होता है कि:

"यह प्रश्न स्वाभाविक रूप से कठिन है क्योंकि इसके कई सही उत्तर हो सकते हैं।"
"यह प्रश्न कठिन है क्योंकि मैंने ऐसा कुछ पहले कभी नहीं देखा है।"

यह मूल AI को बदले बिना किया जाता है, जिससे यह जानने का एक सुरक्षित और प्रभावी तरीका बन जाता है कि आपको AI पर कब भरोसा करना चाहिए और कब संदेह करना चाहिए।

तकनीकी सारांश: GeoFlowVLM

समस्या विवरण (Problem Statement)

मानक द्वैत-एन्कोडर विजन-लैंग्वेज मॉडल्स (VLMs), जैसे कि CLIP और SigLIP, छवियों और टेक्स्ट को $\ell_2$ -नॉर्मलाइज़ेशन के माध्यम से एक साझा यूनिट हाइपरस्फीयर पर नियतात्मक बिंदुओं (deterministic points) के रूप में मैप करते हैं। रिट्रीवल और ज़ीरो-शॉट ट्रांसफर के लिए प्रभावी होने के बावजूद, यह नियतात्मक प्रतिनिधित्व भविष्यवाणी अनिश्चितता (prediction uncertainty) को मापने में विफल रहता है। विशेष रूप से, यह न तो एलेयटोरिक अनिश्चितता (aleatoric uncertainty - जहाँ एक इनपुट कई वैध आउटपुट में मैप हो सकता है) को दर्शाता है और न ही एपिस्टेमिक अनिश्चितता (epistemic uncertainty - जो ट्रेनिंग डिस्ट्रीब्यूशन से बाहर की क्वेरीज़ के लिए समर्थन की कमी को दर्शाती है) को।

मौजूदा पोस्ट-हॉक अनिश्चितता मात्रा निर्धारण (UQ) विधियाँ दो प्राथमिक सीमाओं से ग्रस्त हैं:

ज्यामिति अज्ञानता (Geometry Agnosticism): कई विधियाँ एम्बिएंट यूक्लिडियन स्पेस (ambient Euclidean space) में कार्य करती हैं, जो $\ell_2$ -नॉर्मलाइज़ेशन बाधा को अनदेखा करती हैं जो VLM एम्बेडिंग स्पेस को परिभाषित करती है।
अपूर्ण अनिश्चितता मॉडलिंग (Incomplete Uncertainty Modeling): अधिकांश विधियाँ केवल एक ही प्रकार की अनिश्चितता (या तो एलेयटोरिक या एपिस्टेमिक) को कैप्चर करती हैं या दोनों मोडैलिटीज़ के लिए हाइपरस्फेरिकल ज्यामिति का सम्मान करने में विफल रहती हैं। उदाहरण के लिए, ProbVLM दोनों को कैप्चर करता है लेकिन एक ह्यूरिस्टिक दृष्टिकोण का उपयोग करता है जो हाइपरस्फेरिकल संरचना को मिस करता है और बैकबोन डेंसिटी के बजाय एडैप्टर अनिश्चितता को मापता है।

केंद्रीय चुनौती बिना अंडरलाइंग एन्कोडर्स को फिर से प्रशिक्षित किए, फ्रोजन (frozen) VLM एम्बेडिंग्स से दोनों प्रकार की अनिश्चितताओं को मात्राबद्ध करना है, जबकि उत्पाद हाइपरस्फीयर ज्यामिति ( $S^{d-1} \times S^{d-1}$ ) का कड़ाई से पालन करना है।

कार्यप्रणाली (Methodology): GeoFlowVLM

लेखक GeoFlowVLM प्रस्तावित करते हैं, जो एक पोस्ट-हॉक संभाव्य एडैप्टर (probabilistic adapter) है जो प्रोडक्ट हाइपरस्फीयर पर युग्मित $\ell_2$ -नॉर्मलाइज्ड एम्बेडिंग्स के संयुक्त वितरण (joint distribution) को सीखता है।

मुख्य आर्किटेक्चर और प्रशिक्षण

रीमानियन फ्लो मैचिंग (Riemannian Flow Matching): मॉडल मैनिफोल्ड $M = S^{d-1} \times S^{d-1}$ पर एक संयुक्त घनत्व (joint density) $p_\phi(e_I, e_T)$ सीखने के लिए रीमानियन फ्लो मैचिंग का उपयोग करता है। यह एक क्लोज्ड-फॉर्म जियोडेसिक-टैजेंट लक्ष्य (closed-form geodesic-tangent target) पर रिग्रेशन करता है, जिससे महंगे हीट-कर्नेल अनुमानों से बचा जा सके।
सिंगल मास्क्ड वेलोसिटी फील्ड (Single Masked Velocity Field): एक प्रमुख डिज़ाइन विकल्प एक सिंगल न्यूरल नेटवर्क का उपयोग करना है जिसमें एक ब्लॉक-स्ट्रक्चर्ड बाइनरी मास्क $m \in \{0, 1\}^{2d}$ $m \in {0, 1}^{2 d}$ होता है। यह सिंगल वेलोसिटी फील्ड $v_\phi(z_t, m)$ $v_{ϕ} (z_{t}, m)$ अलग-अलग मास्क के माध्यम से तीन विशिष्ट मोड को संभालता है:
1. संयुक्त प्रवाह (Joint Flow - $m_{joint}$ ): दोनों इमेज और टेक्स्ट एम्बेडिंग्स उत्पन्न करता है।
2. सशर्त प्रवाह (Conditional Flow - $m_{I \to T}$ ): एक निश्चित इमेज के आधार पर टेक्स्ट उत्पन्न करता है।
3. सशर्त प्रवाह (Conditional Flow - $m_{T \to I}$ ): एक निश्चित टेक्स्ट के आधार पर इमेज उत्पन्न करता है।
प्रशिक्षण उद्देश्य (Training Objective): मॉडल को एक मास्क्ड कंडीशनल फ्लो मैचिंग (CFM) उद्देश्य का उपयोग करके प्रशिक्षित किया जाता है। मास्क पर्यवेक्षण (supervision) को जनरेटेड डायमेंशन्स तक सीमित करता है जबकि कंडीशनड डायमेंशन्स को उनके देखे गए मानों ( $t=0$ ) पर स्थिर रखता है। प्रशिक्षण में सोर्स और टारगेट सैंपल्स को पेयर करने के लिए एंट्रोपिक ऑप्टिमल ट्रांसपोर्ट का उपयोग किया जाता है, जो मैनिफोल्ड पर ट्रैजेक्टरीज को सीधा करता है।
निरंतरता (Consistency): थ्योरम 1 सिद्ध करता है कि पॉपुलेशन लिमिट में, यह सिंगल मास्क्ड नेटवर्क बिना किसी सहायक कंसिस्टेंसी लॉस के दोनों क्रॉस-मोडल दिशाओं और संयुक्त वितरण के लिए वैध रीमानियन कंडीशनल फ्लो वेलोसिटी फील्ड को रिकवर करता है।

अनिश्चितता रीडआउट्स (Uncertainty Readouts)

एकल प्रशिक्षित संयुक्त मॉडल से, दो अनिश्चितता मेट्रिक्स प्राप्त किए जाते हैं:

एलेयटोरिक अनिश्चितता (रिट्रीवल एंट्रॉपी):
- इसे कंडीशनल पोस्टीरियर $p_\phi(e_T | e_I)$ (या इसके विपरीत) से प्राप्त किया जाता है।
- सैंपल्स को कंडीशनल फ्लो से लिया जाता है और एक रिट्रीवल गैलरी पर एग्रीगेट करके एक डिस्क्रीट पोस्टीरियर डिस्ट्रीब्यूशन $\pi$ बनाया जाता है।
- शैनन एंट्रॉपी $H(\pi)$ रिट्रीवल एम्बिग्युटी (ambiguity) को मात्राबद्ध करती है।
- सैद्धांतिक औचित्य: फानो की असमानता (Fano's inequality) का उपयोग करते हुए, एंट्रॉपी MAP बेयस रिस्क के लिए एक कठोर निचला स्तर (lower bound) प्रदान करती है, जो प्रमाणित करती है कि उच्च एंट्रॉपी उच्च रिट्रीवल कठिनाई के अनुरूप है।
एपिस्टेमिक अनिश्चितता (मार्जिनल टिपिकलिटी):
- इसे संयुक्त नेगेटिव लॉग-लाइक्लीहुड (NLL) के सटीक चेन-रूल डिकम्पोजिशन के माध्यम से प्राप्त किया जाता है:
  $-\log p_\phi(e_I, e_T) = \underbrace{[-\log p_\phi(e_I) - \log p_\phi(e_T)]}_{\text{Epistemic Typicality}} - \underbrace{\text{PMI}_\phi(e_I, e_T)}_{\text{Cross-modal Matching}}$
- लेखक तर्क देते हैं कि पॉइंटवाइज म्यूचुअल इंफॉर्मेशन (PMI) टर्म स्ट्रक्चरली डिस्क्रिमिनेटिव (संगतता मापने वाला) है, न कि एपिस्टेमिक।
- एपिस्टेमिक स्कोर को मार्जिनल टिपिकलिटी के योग के रूप में परिभाषित किया गया है: $u_{ep} = -\log p_\phi(e_I) - \log p_\phi(e_T)$ ।
- ये मार्जिनेल्स को बेयस आइडेंटिटी और फ्लो ODE के रिवर्स-टाइम इंटीग्रेशन का उपयोग करके संयुक्त मॉडल से कंप्यूट किया जाता है, जिसके लिए अतिरिक्त पैरामीटर्स की आवश्यकता नहीं होती है।

मुख्य योगदान (Key Contributions)

GeoFlowVLM एडैप्टर: एक पोस्ट-हॉक संभाव्य एडैप्टर जिसे प्रोडक्ट हाइपरस्फीयर पर रीमानियन फ्लो मैचिंग के माध्यम से प्रशिक्षित किया गया है। यह एक सिंगल मास्क्ड वेलोसिटी फील्ड का उपयोग करके संयुक्त, मार्जिनल और कंडीशनल डेंसिटी प्रदान करता है, बिना एन्कोडर को फिर से प्रशिक्षित किए। एक एब्लेशन स्टडी पुष्टि करती है कि हाइपरस्फेरिकल ज्यामिति का सम्मान करना कैलिब्रेटेड अनिश्चितता के लिए संरचनात्मक रूप से आवश्यक है।
कंडीशनल रिट्रीवल एंट्रॉपी: एक नया एलेयटोरिक एस्टीमेटर जो क्रॉस-मोडल एम्बिग्युटी को मात्राबद्ध करता है। यह लगभग आदर्श मोनोटोनिक कैलिब्रेशन (Spearman $\rho \approx -1.0$ ) के साथ रिट्रीवल कठिनाई को ट्रैक करता है और बेयस रिस्क के लिए एक निर्णय-सैद्धांतिक निचला स्तर प्रदान करता है।
चेन-रूल डिकम्पोजिशन: एक सैद्धांतिक व्युत्पत्ति जो दिखाती है कि संयुक्त NLL, मार्जिनल टिपिकलिटी (सही एपिस्टेमिक सिग्नल) और क्रॉस-मोडल PMI (एक डिस्क्रिमिनेटिव सिग्नल) में विभाजित होता है। यह REPVLM जैसे प्रति-मोडलिटी डेंसिटी मेथड्स की सफलता की व्याख्या करता है और उन्हें एक सुसंगत विस्तार के रूप में फ्रेम करता है।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन एक फ्रोजन OpenCLIP ViT-H/14 बैकबोन पर किया गया, जिसे Conceptual Captions (CC-1M) पर प्रशिक्षित किया गया था और सात बेंचमार्क पर ज़ीरो-शॉट टेस्ट किया गया।

एलेयटोरिक अनिश्चितता (रिट्रीवल):
- MS-COCO, Flickr30k, और CUB-200 (दोनों Image-to-Text और Text-to-Image) पर मूल्यांकन किया गया।
- GeoFlowVLM ने लगभग पूर्ण मोनोटोनिक कैलिब्रेशन (Spearman $\rho \approx -1.0$ ) हासिल किया, जो प्रेडिक्टेड एंट्रॉपी और Recall@1 के बीच है, जो बेसलाइन्स (ProbVLM, AsymVLM, GroVE) से काफी बेहतर है।
- ProbVLM ने सकारात्मक सहसंबंध (सही क्वेरीज़ पर अनिश्चितता बढ़ना) दिखाया, और अन्य बेसलाइन्स अस्थिर या गैर-मोनोटोनिक रुझान दिखाए।
एपिस्टेमिक अनिश्चितता (ज़ीरो-शॉट क्लासिफिकेशन):
- ImageNet-1K, Food-101, CIFAR-100, और ObjectNet पर मूल्यांकन किया गया।
- मार्जिनल टिपिकलिटी का योग ( $u_{ep}$ ) कवरेज कम होने के साथ लगातार बढ़ती सेलेक्टिव एक्यूरेसी (हाई-अनिश्चितता वाले सैंपल्स को रिजेक्ट करना) प्रदान करता है।
- कंपोनेंट एनालिसिस ने पुष्टि की कि PMI एक खराब स्टैंडअलोन एपिस्टेमिक स्कोर है (अक्सर सही भविष्यवाणियों को रिजेक्ट करता है), जबकि मार्जिनल टिपिकलिटी एक विश्वसनीय सिग्नल प्रदान करती है।
- GeoFlowVLM ने REPVLM के बराबर या उससे बेहतर प्रदर्शन किया, विशेष रूप से ObjectNet (व्यूपॉइंट शिफ्ट) पर उल्लेखनीय बढ़त के साथ, जिसका श्रेय संयुक्त मॉडल की क्रॉस-मोडल स्ट्रक्चर को कैप्चर करने की क्षमता को जाता है जो स्वतंत्र प्रति-मोडलिटी फ्लो मिस करते हैं।
एब्लेशन (Ablations):
- ज्यामिति (Geometry): एक यूक्लिडियन बेसलाइन (समान आर्किटेक्चर लेकिन $\mathbb{R}^d \times \mathbb{R}^d$ पर संचालित) दोनों एलेयटोरिक और एपिस्टेमिक मेट्रिक्स पर पूरी तरह विफल रहा, जो रीमानियन ज्यामिति की आवश्यकता की पुष्टि करता है।
- दक्षता (Efficiency): 10 ODE इंटीग्रेशन स्टेप्स और डाइवर्जेंस एस्टीमेशन के लिए एक सिंगल Hutchinson प्रोब के साथ विश्वसनीय अनुमान प्राप्त किए गए।
- बैकबोन (Backbone): विधि SigLIP बैकबोन पर भी स्थानांतरित हुई, हालांकि ImageNet-1K पर डेंसिटी-बेस्ड मेथड्स ने प्रदर्शन में गिरावट दिखाई क्योंकि SigLIP के एम्बेडिंग्स अधिक आइसोट्रोपिक (isotropic) होते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि GeoFlowVLM फ्रोजन VLMs के लिए पोस्ट-हॉक UQ में एक महत्वपूर्ण अंतर को संबोधित करता है, जो एक सिंगल, ज्योमेट्री-अवेयर मॉडल प्रदान करता है जो दोनों एलेयटोरिक और एपिस्टेमिक अनिश्चितता को उजागर करता है।

सैद्धांतिक अंतर्दृष्टि: यह कार्य एक सिद्धांत प्रदान करता है कि क्यों मार्जिनल टिपिकलिटी इस सेटिंग में सही एपिस्टेमिक सिग्नल है और क्यों क्रॉस-मोडल PMI का उपयोग अनिश्चितता स्कोर के रूप में नहीं किया जाना चाहिए। यह प्रदर्शित करता है कि प्रोडक्ट हाइपरस्फीयर पर संयुक्त मॉडलिंग, प्रति-मोडलिटी मॉडलिंग की तुलना में स्ट्रक्चरली अधिक समृद्ध है।
व्यावहारिक उपयोगिता: यह रिट्रीवल कठिनाई के लिए एक कैलिब्रेटेड, दिशा-सममित एस्टीमेटर और ज़ीरो-शॉट क्लासिफिकेशन के लिए एक मजबूत डेंसिटी-बेस्ड स्कोर प्रदान करता है, और यह सब बिना प्री-ट्रेंड VLM बैकबोन को संशोधित किए किया जाता है।
सीमाएँ (Limitations): लेखक नोट करते हैं कि कंसिस्टेंसी थ्योरम एक पॉपुलेशन-लिमिट परिणाम है; सीमित-सैंपल बाउंड्स अभी भी खुले हैं। एपिस्टिक स्कोर डेंसिटी-बेस्ड (टिपिकलिटी) हैं न कि बेयसियन (पैरामीटर पोस्टीरियर वेरिएंस)। इसके अतिरिक्त, विधि के लिए बड़े पैमाने के डेटा पर एक बार प्रशिक्षण और प्रत्येक क्वेरी के लिए कई ODE सोल्व की आवश्यकता होती है, जो इसे ट्रेनिंग-फ्री अप्रोच से अलग बनाता है।

लेखक निष्कर्ष निकालते हैं कि संयुक्त एम्बेडिंग मॉडलिंग, विजन-लैंग्वेज रिप्रेजेंटेशन पर समृद्ध संभाव्य तर्क (probabilistic reasoning) के लिए एक सामान्य रणनीति है, विशेष रूप से मेडिकल रिट्रीवल और ऑटोनॉमस सिस्टम जैसे सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए।