Dripper: Token-Efficient Main HTML Extraction with a Lightweight LM
यह शोध पत्र Dripper को प्रस्तुत करता है, जो एक हल्का ढांचा (lightweight framework) है जो वेब के मुख्य कंटेंट निष्कर्षण (web main content extraction) को स्मॉल लैंग्वेज मॉडल्स का उपयोग करते हुए एक कतिपय अनुक्रम लेबलिंग कार्य (constrained sequence labeling task) के रूप में पुनर्गठित करता है, जिससे पारंपरिक ह्यूरिस्टिक्स और विशाल जनरेटिव LLMs दोनों की तुलना में बेहतर दक्षता और सटीकता प्राप्त होती है और उच्च गुणवत्ता वाले प्रशिक्षण कॉर्पोरा के निर्माण को सक्षम बनाया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, अराजक पुस्तकालय है। हर दिन, अरबों नई किताबें (वेब पेज) जोड़ी जा रही हैं। लेकिन समस्या यह है कि अधिकांश "किताबें" चिपचिपे टेप, प्लास्टिक रैपिंग और कार्डबोर्ड बॉक्स (विज्ञापन, पॉप-अप, नेविगेशन मेनू और कोड) की परतों में लिपटी हुई हैं, जो वास्तव में अंदर चल रही कहानी को पढ़ना असंभव बना देती हैं।
स्मार्ट AI को प्रशिक्षित करने के लिए, हमें पैकेजिंग को नहीं, बल्कि कहानियों को पढ़ने की आवश्यकता है। लेकिन करोड़ों पन्नों को एक-एक करके पढ़ना धीमा, महंगा और गलतियों से भरा हो सकता है।
पेश है Dripper। Dripper को एक अत्यंत कुशल, हाई-स्पीड लाइब्रेरियन रोबोट के रूप में सोचें जो जानता है कि कहानी के एक भी पन्ने को फटे बिना इन पैकेजों को बिल्कुल सही तरीके से कैसे खोलना है।
यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:
1. समस्या: "भारी बॉक्स" की दुविधा
पारंपरिक उपकरण कहानी खोजने के लिए पूरे बॉक्स (कच्चा HTML कोड) को पढ़ने की कोशिश करते हैं। यह एक किताब में विशिष्ट वाक्य खोजने के लिए पहले उस पूरे कार्डबोर्ड बॉक्स को पढ़ने जैसा है जिसमें वह किताब आई थी। यह धीमा है, और AI इस अतिरिक्त कचरे के कारण भ्रमित हो जाता है।
दूसरी ओर, "सुपर-स्मार्ट" AI मॉडल (जैसे उद्योग के दिग्गज) संदर्भ समझने में बेहतरीन होते हैं, लेकिन वे हेवीवेट चैंपियंस की तरह हैं। उन्हें चलाना इतना महंगा और धीमा है कि आप पूरे इंटरनेट को प्रोसेस करने के लिए उनका उपयोग नहीं कर सकते। इसके अलावा, वे कभी-कभी "हैलुसिनेट" (भ्रमित होना) करते हैं—वे ऐसी कहानी बना सकते हैं जो किताब में थी ही नहीं।
2. समाधान: "डुअल-ब्रांच" रणनीति
Dripper इसे एक चतुर दो-चरणीय ट्रिक के साथ हल करता है, जैसे एक चालाक जासूस और एक वफादार लेखक मिलकर काम कर रहे हों।
चरण A: जासूस (सरलीकृत HTML)
सबसे पहले, Dripper एक अव्यवस्थित वेब पेज को लेकर उसे उसके मूल ढांचे तक सीमित कर देता है। यह विज्ञापनों, फैंसी फोंट और छिपे हुए कोड को हटा देता है, जिससे केवल पेज का कंकाल (skeleton) बचता है। यह एक जटिल मशीन से सारा पेंट और बोल्ट हटाकर केवल उसके गियर्स को देखने जैसा है। यह "कंकाल" बहुत छोटा और पढ़ने में आसान होता है।- परिणाम: एक छोटा, हल्का AI (जिसे Dripper-0.6B कहा जाता है) इस कंकाल को देखता है और तेजी से निर्णय लेता है: "क्या यह कहानी का हिस्सा है? हाँ या नहीं?" यह कहानी को फिर से नहीं लिखता; यह बस हर ब्लॉक पर एक स्टिकी नोट लगा देता है जिस पर लिखा होता है "रखें" (KEEP) या "कचरा" (TRASH)।
चरण B: लेखक (मैपिंग HTML)
जब जासूस ये त्वरित निर्णय ले रहा होता है, तब लेखक मूल, शुद्ध संस्करण को थामे रहता है। एक बार जब जासूस कहता है, "ब्लॉक #2 को रखें," तो लेखक ब्लॉक #2 से सटीक मूल टेक्स्ट निकाल लेता है।- परिणाम: क्योंकि लेखक ने कभी कुछ दोबारा नहीं लिखा, इसलिए अंतिम कहानी एकदम सटीक होती है। कोई स्पेलिंग मिस्टेक नहीं, कोई गायब शब्द नहीं, और कोई मनगढ़ंत तथ्य नहीं।
3. यह गेम चेंजर क्यों है?
- गति: क्योंकि "जासूस" केवल एक छोटे कंकाल को देखता है, इसलिए यह एक सिंगल कंप्यूटर चिप पर एक सेकंड में 3 पेज प्रोसेस कर सकता है। यह एक पूरी लाइब्रेरी को पढ़ने में लगने वाले समय में कॉफी बनाने जैसा है।
- सटीकता: "हाँ/नहीं" लेबलिंग सिस्टम का उपयोग करके (कहानी को "फिर से लिखने" के बजाय), Dripper AI को चीजें मनगढ़ंत बनाने से रोकता है। यह किसी गार्ड से कमरे का वर्णन करने के बजाय केवल सही दरवाजे की ओर इशारा करने के लिए कहने जैसा है।
- "मैजिक" बेंचमार्क: टीम ने एक नया टेस्ट बनाया जिसे WebMainBench (वेब स्क्रेपर्स के लिए एक अंतिम परीक्षा की तरह) कहा जाता है। Dripper ने पुराने, धीमे टूल्स से बेहतर स्कोर किया और बड़े, महंगे "सुपर-AI" मॉडल्स के बहुत करीब पहुँच गया, लेकिन बहुत कम लागत पर।
4. बड़ी तस्वीर: यह क्यों मायने रखता है?
सोचिए कि AI ट्रेनिंग डेटा एक विशाल रोबोटिक दिमाग के लिए भोजन की तरह है। यदि भोजन प्लास्टिक के रैपर (विज्ञापन और जंक कोड) से भरा है, तो रोबोट बीमार हो जाएगा और बुरी आदतें सीख लेगा। यदि भोजन साफ और पौष्टिक (शुद्ध टेक्स्ट) है, तो रोबोट अधिक स्मार्ट बनेगा।
लेखकों ने सिद्ध किया कि Dripper का उपयोग करके डेटा को साफ करने से, परिणामी AI मॉडल वास्तव में बेहतर सीखते हैं। वे पुराने, धीमे तरीकों द्वारा साफ किए गए डेटा पर प्रशिक्षित मॉडलों की तुलना में तर्क करने और उत्तर देने में अधिक स्मार्ट बन जाते हैं।
सारांश उपमा
कल्पना कीजिए कि आप एक पत्रिका से रेसिपी (व्यंजन विधि) की नकल करने की कोशिश कर रहे हैं, लेकिन पत्रिका विज्ञापनों, सेलिब्रिटी गॉसिप और रंगीन चित्रों से भरी हुई है।
- पुराने टूल्स: पूरी पेज को कॉपी करने की कोशिश करते हैं, जिससे वे विज्ञापनों के कारण भ्रमित हो जाते हैं।
- बड़ा AI: पूरे पेज को पूरी तरह से पढ़ता है लेकिन एक रेसिपी को कॉपी करने में 10 मिनट लेता है और $100 खर्च करता है।
- Dripper: जल्दी से पेज को स्कैन करता है, रेसिपी पर एक हरा बिंदु और विज्ञापनों पर एक लाल बिंदु लगाता है (1 सेकंड में), और फिर आप बस उन हिस्सों को कॉपी करते हैं जिनमें हरे बिंदु हैं। यह तेज़ है, सस्ता है, और रेसिपी एकदम सटीक आती है।
Dripper वह टूल है जो इंटरनेट को अगली पीढ़ी के AI के लिए पठनीय बनाता है, यह सुनिश्चित करता है कि वे शोर-शराबे के बिना मानव ज्ञान के सर्वोत्तम हिस्सों से सीखें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।