Lost at the End: Primacy Bias in Multimodal Retrieval-Augmented Question Answering
यह शोध पत्र प्रकट करता है कि मल्टीमॉडल नॉलेज-बेस्ड विजुअल क्वेश्चन अनस्वर्सिंग सिस्टम्स "लॉस्ट एट द एंड" (अंत में खो जाना) नामक एक घटना से ग्रस्त हैं, जहाँ सही रिट्रीव किए गए पैसेज को संदर्भ के आरंभ में रखने से उसे अंत में रखने की तुलना में काफी बेहतर प्रदर्शन होता है, जो कि रिट्रीवल की गुणवत्ता के बजाय रीडर मॉडल के प्रॉम्प्ट स्लॉट 0 द्वारा संचालित एक पूर्वाग्रह है, जिससे रिकॉल@k की प्रदर्शन मेट्रिक के रूप में पर्याप्तता को चुनौती मिलती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Lost at the End" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
बड़ी तस्वीर: "गोल्डिलॉक्स" (Goldilocks) की समस्या
कल्पना कीजिए कि आप एक जासूस (AI) हैं जो किसी फोटो में मौजूद एक विशिष्ट वस्तु के बारे में रहस्य (एक प्रश्न का उत्तर) सुलझाने की कोशिश कर रहे हैं। आपके पास 50 किताबों की एक लाइब्रेरी (प्राप्त किए गए टेक्स्ट पैसेजेस) है जिसमें उत्तर हो सकता है।
शुद्ध टेक्स्ट AI की दुनिया में, शोधकर्ताओं ने पहले एक "U-आकार" की समस्या पाई थी: यदि आप सही किताब को ढेर के बिल्कुल शुरुआत में या बिल्कुल अंत में रखते हैं, तो जासूस उत्तर ढूँढ लेता है। लेकिन यदि आप उस किताब को ढेर के बीच में छिपा देते हैं, तो जासूस उसे पूरी तरह से अनदेखा कर देता है। इसे "Lost in the Middle" (बीच में खो जाना) प्रभाव कहा जाता है।
यह पेपर पूछता है: क्या यही समस्या तब भी होती है जब जासूस एक फोटो देख रहा हो और किताबें भी पढ़ रहा हो?
प्रयोग: "गोल्ड पोजीशन" टेस्ट
शोधकर्ताओं ने यह पता लगाने के लिए एक नियंत्रित प्रयोग किया। उन्होंने एक ही प्रश्न और एक ही फोटो ली, और वे हर बार AI को ठीक वही 10 किताबें देते थे। उन्होंने केवल यह बदला कि "गोल्ड बुक" (वह किताब जिसमें सही उत्तर है) को सूची में कहाँ रखा गया था:
- पहला (First): गोल्ड बुक सबसे ऊपर है।
- मध्य (Middle): गोल्ड बुक ढेर के बीच में है।
- अंतिम (Last): गोल्ड बुक सबसे नीचे है।
उन्होंने यह देखने के लिए तीन अलग-अलग AI "जासूसों" (लार्ज विजन-लैंग्वेज मॉडल्स) के साथ किया कि वे कैसा प्रदर्शन करते हैं।
खोज: "Lost at the End" (अंत में खो जाना)
परिणाम आश्चर्यजनक थे। "U-आकार" गायब हो गया। इसके बजाय, AI में एक मजबूत "प्राइमेसी बायस" (Primacy Bias - शुरुआत के प्रति झुकाव) विकसित हो गया।
- उदाहरण: कल्पना कीजिए कि एक शिक्षक कक्षा प्रतिनिधि चुनने के लिए छात्रों के नामों की सूची पढ़ रहा है। यदि शिक्षक को सही नाम सबसे पहले सुनाई देता है, तो वह उसे चुन लेता है। यदि उन्हें अंत में सुनाई देता है, तो वे अक्सर उसे पूरी तरह भूल जाते हैं।
- परिणाम: जब गोल्ड बुक शुरुआत में थी, तो AI लगभग 60-65% बार सही उत्तर देता था। जब गोल्ड बुक अंत में थी, तो सटीकता गिरकर लगभग 35-45% हो गई।
- "Lost at the End" प्रभाव: AI ने न केवल बीच के हिस्से को अनदेखा किया; इसने सक्रिय रूप से अंत को भी अनदेखा कर दिया। अंत में मौजूद "गोल्ड बुक" प्रभावी रूप से अदृश्य थी। AI उत्तर देने में 2.2 से 4.5 गुना अधिक सक्षम था यदि सही जानकारी सूची के सबसे ऊपर थी, तुलनात्मक रूप से तब जब वह सबसे नीचे थी।
ऐसा क्यों हो रहा है? (जांच)
शोधकर्ता जानना चाहते थे कि AI ने अंत को क्यों अनदेखा किया। उन्होंने तीन सिद्धांतों का परीक्षण किया:
- क्या यह फोटो की वजह से है? उन्होंने फोटो को प्रॉम्प्ट के अंत में स्थानांतरित किया। परिणाम: कोई बदलाव नहीं हुआ। फोटो की स्थिति मुख्य कारण नहीं थी।
- क्या यह किताब की गुणवत्ता की वजह से है? उन्होंने किताबों को इस तरह से व्यवस्थित किया कि "सबसे अच्छी" किताब (उच्चतम प्रासंगिकता स्कोर वाली) हमेशा ऊपर न रहे। परिणाम: AI अभी भी सूची के शीर्ष पर मौजूद किताब को ही चुनता था, भले ही वह एक खराब किताब हो। उसने स्थिति (Position) का पालन किया, गुणवत्ता का नहीं।
- क्या यह सिर्फ टेक्स्ट है? उन्होंने AI के साथ केवल टेक्स्ट का परीक्षण किया (बिना फोटो के)। परिणाम: AI अभी भी पहली किताब को प्राथमिकता देता था, लेकिन अंतर कम था। निष्कर्ष: फोटो को जोड़ने ने इस पूर्वाग्रह (Bias) को बढ़ा दिया। फोटो ने AI को शुरुआत में ही अटके रहने के लिए और भी अधिक जिद्दी बना दिया।
विफल सुधार (Failed Fixes)
शोधकर्ताओं ने किताबों को प्राप्त करने के तरीके (सिस्टम का "सर्च इंजन" वाला हिस्सा) को बदलकर इसे ठीक करने की कोशिश की:
- उन्होंने सूची को अधिक विविध बनाने की कोशिश की।
- उन्होंने सबसे अच्छी किताब को ऊपर लाने के लिए मजबूर किया।
- परिणाम: रिट्रीवल-साइड के इनमें से कोई भी सुधार काम नहीं आया। जब तक AI (पढ़ने वाला) "फ्रीज" (स्थिर) था (यानी उसे फिर से प्रशिक्षित नहीं किया गया था), वह सूची के अंत को अनदेखा करता रहेगा।
मुख्य निष्कर्ष
यह पेपर निष्कर्ष निकालता है कि इन विशिष्ट AI सिस्टमों के लिए, Recall@K (एक सामान्य मीट्रिक जो पूछता है, "क्या सही उत्तर शीर्ष 50 किताबों में कहीं मौजूद था?") सफलता को मापने का गलत तरीका है।
उदाहरण: यह एक लाइब्रेरियन की तरह है जो कहता है, "मुझे लाइब्रेरी में सही किताब मिल गई!" लेकिन पाठक को केवल शेल्फ की पहली किताब देखने की अनुमति है। यदि सही किताब आखिरी शेल्फ पर है, तो पाठक असफल हो जाता है, भले ही लाइब्रेरियन ने अपना काम सही किया हो।
समाधान: इसे ठीक करने के लिए, हम केवल सर्च इंजन (रिट्रीवल) को बेहतर नहीं बना सकते। हमें रीडर (AI) को फिर से प्रशिक्षित करना होगा ताकि वह केवल शुरुआत पर ही नहीं, बल्कि पूरी सूची पर ध्यान दे सके। जब तक ऐसा नहीं होता, यदि आप चाहते हैं कि AI किसी प्रश्न का सही उत्तर दे, तो आपको सबसे महत्वपूर्ण जानकारी उसके प्रॉम्प्ट के बिल्कुल शीर्ष पर रखनी चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।