PIXELRAG: Web Screenshots Beat Text for Retrieval-Augmented Generation
PixelRAG एक नवीन रिट्रीवल-ऑगमेंटेड जनरेशन फ्रेमवर्क पेश करता है जो पूरी तरह से पिक्सेल स्पेस में संचालित होता है, जो पार्स किए गए टेक्स्ट के बजाय रॉ वेबसाइट स्क्रीनशॉट्स को रिट्रीव और प्रोसेस करता है, जिससे लेआउट लॉस समाप्त हो जाता है और पारंपरिक टेक्स्ट-आधारित RAG सिस्टम की तुलना में विविध बेंचमार्क पर बेहतर प्रदर्शन और दक्षता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप लाखों किताबों वाली एक विशाल लाइब्रेरी के भीतर एक विशिष्ट तथ्य खोजने की कोशिश कर रहे हैं।
पुराना तरीका (टेक्स्ट-आधारित RAG): "अंधा लाइब्रेरियन"
वर्तमान में, अधिकांश AI सिस्टम जो वेब पर खोज करते हैं, वे एक अंधे लाइब्रेरियन की तरह काम करते हैं। जब आप कोई प्रश्न पूछते हैं, तो सिस्टम एक वेबपेज (जो चित्रों, तालिकाओं, बोल्ड टेक्स्ट और रंगीन बॉक्स से भरा होता है) को लेता है और फिर उसे "पढ़ने" की कोशिश करता है—लेकिन वह विजुअल डिज़ाइन को हटाकर उसे पूरी तरह से खत्म कर देता है। यह पेज को एक लंबे, सपाट प्लेन टेक्स्ट में बदल देता है, जैसे किसी भाषण का ट्रांसक्रिप्ट।
समस्या यह है कि यह प्रक्रिया बहुत अव्यवस्थित है। यह एक जटिल रेसिपी को समझने की कोशिश करने जैसा है, जहाँ आप केवल सामग्री की सूची पढ़ रहे हैं लेकिन तैयार डिश की तस्वीरों, स्टेप-बाय-स्टेप फोटो, या खाना पकाने के समय को दिखाने वाली टेबल को अनदेखा कर रहे हैं।
- क्षति (The Loss): जब सिस्टम पेज को 'फ्लैट' करता है, तो वह अक्सर उसकी संरचना (structure) खो देता है। एक टेबल शब्दों का एक उलझा हुआ ढेर बन सकती है। एक चार्ट पूरी तरह से गायब हो सकता है।
- भ्रम (The Confusion): क्योंकि किसी पेज का "टेक्स्ट" संस्करण अन्य पेजों के बहुत समान दिख सकता है (बहुत सारे समान कीवर्ड्स के कारण), लाइब्रेरियन गलत पेज या गलत पैराग्राफ चुन सकता है, भले ही सही उत्तर ठीक वहीं किसी चित्र या टेबल में मौजूद हो जिसे फ्लैट कर दिया गया था।
नया तरीका (PIXELRAG): "बाज जैसी नज़र वाला जासूस"
इस पेपर के पीछे के शोधकर्ताओं ने एक सरल प्रश्न पूछा: हम वेबपेज को ठीक वैसे ही क्यों नहीं देखते जैसा एक इंसान देखता है?
पेज को टेक्स्ट में बदलने के बजाय, PIXELRAG वेबपेज का एक स्क्रीनशॉट लेता है। यह इंटरनेट को इमेज (चित्रों) के एक विशाल संग्रह के रूप में देखता है।
- लाइब्रेरी: कल्पना कीजिए कि लाइब्रेरी अब वेबपेजों के 3 करोड़ फोटो की एक दीवार है।
- खोज (The Search): जब आप कोई प्रश्न पूछते हैं, तो सिस्टम टेक्स्ट फाइल में कीवर्ड्स नहीं खोजता। यह एक विशेष "विजुअल ब्रेन" (एक विजन-लैंग्वेज मॉडल) का उपयोग करता है ताकि उस स्क्रीनशॉट को खोज सके जो देखने में ऐसा लगता है कि उसमें उत्तर मौजूद है। यह एक टेबल, चार्ट, या एक विशिष्ट लेआउट को सिर्फ तस्वीर देखकर पहचान सकता है।
- पढ़ना (The Reading): एक बार जब यह सही स्क्रीनशॉट ढूंढ लेता है, तो यह सीधे उस इमेज को AI रीडर को सौंप देता है। रीडर पिक्सेल्स को देखता है, इमेज के अंदर के टेक्स्ट को पढ़ता है, और टेबल की संरचना को ठीक वैसे ही देखता है जैसा उसे डिज़ाइन किया गया था। कोई अनुवाद नहीं, कोई फ्लैटिंग नहीं, कोई जानकारी की हानि नहीं।
यह एक बड़ी बात क्यों है (उपमाएँ)
- "टेबल" की समस्या:
कल्पना कीजिए कि स्पोर्ट्स स्टैट्स की एक लिस्ट वाली स्प्रेडशीट है।
- टेक्स्ट का तरीका: सिस्टम इसे ऐसे पढ़ता है: "टीम A, 7, टीम B, 0, तारीख, 22 मई..." यह इस संबंध को खो देता है कि "7" टीम A से संबंधित है।
- पिक्सेल का तरीका: सिस्टम एक ग्रिड देखता है। वह तुरंत जान जाता है कि "7" टीम A वाले कॉलम में है क्योंकि वह लाइनों और लेआउट को देख सकता है।
- "इन्फोबॉक्स" का जाल:
विकिपीडिया पर, हर लेख के साथ एक साइड बॉक्स (इन्फोबॉक्स) होता है जिसमें बुनियादी तथ्य होते हैं।
- टेक्स्ट का तरीका: जब सिस्टम पेज को टेक्स्ट में बदलता है, तो वह सारांश बॉक्स कीवर्ड्स का एक बड़ा ब्लॉक बन जाता है। यदि आप पूछते हैं "मैनेजर कौन था?", तो सिस्टम सारांश बॉक्स को पकड़ सकता है क्योंकि इसमें कीवर्ड्स की भरमार है, भले ही सही उत्तर मुख्य कहानी के पैराग्राफ में छिपा हो। सारांश बॉक्स वास्तविक उत्तर को "डूब" देता है।
- पिक्सेल का तरीका: सिस्टम देखता है कि सारांश बॉक्स साइड में एक छोटा, बॉर्डर वाला बॉक्स है, और मुख्य कहानी टेक्स्ट का एक बड़ा ब्लॉक है। वह बॉक्स को अनदेखा करना और मुख्य कहानी को देखना जानता है, जिससे वह उत्तर बहुत तेज़ी से ढूंढ लेता है।
- "कंप्रेशन" की ट्रिक:
एक आश्चर्यजनक खोज यह है कि आपको उत्तर पाने के लिए हाई-डेफिनिशन फोटो की आवश्यकता नहीं है। शोधकर्ताओं ने पाया कि वे स्क्रीनशॉट को सिकोड़ सकते हैं (जैसे 4K फोटो को छोटे थंबनेल में बदलना) और AI अभी भी टेक्स्ट को पूरी तरह से पढ़ सकता है। यह अखबार को दूर से पढ़ने जैसा है; हेडलाइन देखने के लिए आपको बिल्कुल करीब होने की आवश्यकता नहीं है। यह इस सिस्टम को चलाने के लिए बहुत सस्ता और तेज़ बनाता है।
परिणाम
पेपर ने प्रसिद्ध प्रश्न-उत्तर परीक्षणों पर इसका परीक्षण किया। यहाँ तक कि उन परीक्षणों पर भी जो केवल टेक्स्ट-आधारित प्रश्नों के लिए डिज़ाइन किए गए थे, PIXEL-RAG ने टेक्स्ट-आधारित सिस्टम को पीछे छोड़ दिया।
- यह टेबल्स में छिपे उत्तरों को खोजने में बेहतर था।
- यह "शोर" (अप्रासंगिक टेक्स्ट) को अनदेखा करने में बेहतर था जिसने पुराने सिस्टम को भ्रमित कर दिया था।
- यह न्यूज़ साइटों और जटिल दस्तावेजों पर बेहतर काम करता है जहाँ चित्र और लेआउट मायने रखते हैं।
संक्षेप में
PIXELRAG इंटरनेट को एक टेक्स्ट बॉक्स में जबरदस्ती फिट करने की कोशिश करना बंद करता है। इसके बजाय, यह इंटरनेट को वैसा ही स्वीकार करता है जैसा वह है: एक दृश्य (visual) स्थान। स्क्रीनशॉट्स से सीधे खोजकर और पढ़कर, यह उन गलतियों से बचता है जो तब होती हैं जब आप एक रंगीन, संरचित वेबपेज को एक उबाऊ, सपाट पैराग्राफ में बदलने की कोशिश करते हैं। यह किसी फिल्म के ट्रांसक्रिप्ट को पढ़ने के बजाय वास्तव में फिल्म देखने जैसा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।