Information Extraction from Electricity Invoices with General-Purpose Large Language Models
यह अध्ययन प्रदर्शित करता है कि बिना फाइन-ट्यूनिंग के स्पेनिश बिजली के बिलों से जानकारी निकालने के लिए सामान्य-उद्देश्य वाले लार्ज लैंग्वेज मॉडल्स हेतु, प्रॉम्प्ट इंजीनियरिंग की गुणवत्ता प्रदर्शन को संचालित करने वाला महत्वपूर्ण कारक है, जहाँ फ्यू-शॉट रणनीतियाँ 96% से अधिक F1-स्कोर प्राप्त करने के लिए ज़ीरो-शॉट बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास विभिन्न कंपनियों के बिजली के बिलों का एक बहुत बड़ा ढेर है। कुछ साफ-सुथरे और व्यवस्थित हैं, कुछ बिखरे हुए हैं, और सभी थोड़े अलग दिखते हैं। आपका लक्ष्य प्रत्येक व्यक्तिगत बिल से विशिष्ट संख्याएं और नाम (जैसे कि "कुल लागत" या "ग्राहक का नाम") निकालना और उन्हें एक व्यवस्थित तालिका में दर्ज करना है।
वर्षों तक, कंप्यूटर इस काम में संघर्ष करते रहे। पुराने प्रोग्राम कठोर रोबोटों की तरह थे: यदि बिल थोड़ा सा भी अलग दिखता था जिसके लिए उन्हें प्रशिक्षित किया गया था, तो वे भ्रमित हो जाते थे और विफल हो जाते थे।
यह लेख एक नए प्रकार के "सुपरइंटेलिजेंट रोबोट" (एक जिसे लार्ज लैंग्वेज मॉडल या LLM कहा जाता है) को इन बिलों को पढ़ने के लिए सिखाने के बारे में है, ताकि उन्हें हर नए डिज़ाइन के लिए फिर से प्रशिक्षित करने की आवश्यकता न पड़े। शोधकर्ताओं ने पूछा: क्या हम बस इन बुद्धिमान रोबोटों को सही निर्देश दे सकते हैं, और क्या वे इसे खुद ही समझ लेंगे?
यहाँ उनके निष्कर्षों का सारांश दिया गया, जिसमें रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है:
1. "रेसिपी" (विधि) "शेफ की टोपी" से अधिक महत्वपूर्ण है
शोधकर्ताओं ने दो अलग-अलग "शेफ" (AI मॉडल) का परीक्षण किया: Gemini 1.5 Pro (एक विशाल, जटिल शेफ) और Mistral-small (एक छोटा, तेज़ और अधिक कुशल शेफ)।
उन्होंने "खाना पकाने की सेटिंग्स" (तकनीकी पैरामीटर जैसे तापमान और रैंडमनेस) को भी आज़माया। उन्हें उम्मीद थी कि शायद बड़ा शेफ या सटीक कुकिंग सेटिंग्स सबसे बड़ा अंतर पैदा करेगी।
आश्चर्य: इससे कोई खास फर्क नहीं पड़ा कि कौन सा शेफ इस्तेमाल किया गया या सेटिंग्स को कैसे बदला गया। परिणामों में अंतर बहुत कम था – जैसे कि एक केक जो 99% परफेक्ट है और एक जो 99.5% परफेक्ट है, उनके बीच का अंतर।
असली विजेता: प्रॉम्प्ट (Prompt) (AI को दिए गए निर्देश)।
प्रॉम्प्ट को रेसिपी की तरह समझें।
- ज़ीरो-शॉट (बिना रेसिपी के): केवल यह कहना कि "इस बिल को पढ़ो और मुझे नंबर दे दो" ऐसा है जैसे किसी शेफ को बिना रेसिपी के खाना पकाने के लिए कहना। परिणाम ठीक थे (लगभग 78% सटीकता), लेकिन बहुत अच्छे नहीं थे।
- फ्यू-शॉट (उदाहरणों के साथ): AI को कुछ उदाहरण देना ("यह एक बिल है, और ये वे डेटा पॉइंट्स हैं जिनकी मुझे आवश्यकता है") ऐसा है जैसे शेफ को नकल करने के लिए एक उदाहरण डिश देना। सटीकता बढ़कर 96% से अधिक हो गई।
सबक: यह सबसे महंगे शेफ या सबसे आधुनिक ओवन के बारे में नहीं है; यह एक वास्तव में अच्छी रेसिपी लिखने के बारे में है।
2. "कॉपी" करने की रणनीति सबसे अच्छा काम करती है
शोधकर्ताओं ने उदाहरण प्रदान करने के विभिन्न तरीकों को आज़माया:
- "वन-शॉट" विधि: एक उदाहरण दिखाना। अच्छा था, लेकिन सबसे अच्छा नहीं।
- "क्रॉस-वैलिडेशन" विधि: यह विजेता है। उन्होंने AI को तीन अलग-अलग प्रकार के बिल दिखाए (जैसे, एक टेबल वाला, एक लिस्ट जैसा, और एक जटिल) और फिर उससे एक चौथे प्रकार का बिल पढ़ने को कहा जिसे उसने पहले कभी नहीं देखा था।
- परिणाम: AI एक मास्टर कॉपीयर बन गया। उसने बिजली के बिल की अवधारणा (concept) को सीखा, न कि केवल एक विशिष्ट बिल के दिखावट को। इसने Gemini के साथ 97.6% सटीकता और Mistral के साथ 96.1% हासिल की।
3. "अनुवाद" की समस्या
इससे पहले कि AI बिल पढ़ सके, शोधकर्ताओं को PDF फाइलों को टेक्स्ट (Markdown) में बदलना पड़ा।
- उपमा: कल्पना कीजिए कि आप एक हाथ से लिखे नोट को पढ़ने की कोशिश कर रहे हैं जिसे एक गंदे शीशे के माध्यम से कॉपी किया गया है। यदि नोट एक साफ टेबल में है, तो टेक्स्ट स्पष्ट रूप से आता है। यदि नोट एक बिखरे हुए, घने मल्टी-कॉलम लेआउट में दबा हुआ है, तो टेक्स्ट उलझ जाता है।
- अंतर्दृष्टि: AI उतना ही अच्छा था जितना कि वह टेक्स्ट जो उसे प्राप्त हुआ। यदि बिल का लेआउट एक साफ, टेबल जैसा था, तो AI लगभग सटीक था। यदि बिल का डिज़ाइन बहुत बिखरा हुआ और घना था, तो AI संघर्ष करता था क्योंकि PDF से टेक्स्ट में "अनुवाद" के दौरान महत्वपूर्ण सुराग खो गए थे।
4. "हैलुसिनेशन" (भ्रम) का जाल
उन्होंने दोनों शेफ के बीच व्यक्तित्व के अंतर की पहचान की:
- Gemini (एक सतर्क शेफ): यदि उसे यकीन नहीं था कि नंबर कहाँ है, तो वह कहता था, "मुझे यह नहीं दिख रहा है।" वह बहुत सटीक था लेकिन कभी-कभी चीजें छोड़ देता था।
- Mistral (एक आत्मविश्वासी शेफ): यदि उसे यकीन नहीं था, तो वह फिर भी एक नंबर का अनुमान लगा लेता था। वह लगभग सब कुछ ढूंढ लेता था (उच्च "रिकॉल" दर) लेकिन उसने कुछ ऐसे नंबर भी बना दिए जो मौजूद ही नहीं थे (कम "प्रिसिजन" दर)।
- निष्कर्ष: यदि आपको 100% सुनिश्चित होना है कि नंबर वास्तविक है, तो आपको सतर्क शेफ चाहिए। यदि आप सब कुछ ढूंढना चाहते हैं और बाद में उत्तरों की जांच कर सकते हैं, तो आत्मविश्वासी शेफ ठीक है।
5. पुराने रोबोट पीछे रह जाते हैं
लेख उन पुराने "रोबोटों" (पारंपरिक मशीन लर्निंग) की तुलना नए AI शेफों से करता है।
- पुराना रोबोट: यदि उसे बिल टाइप A पर प्रशिक्षित किया गया था, तो वह बिल टाइप A को पूरी तरह से पढ़ सकता था (91% सटीकता)। लेकिन यदि उसे बिल टाइप B दिया गया, तो वह क्रैश हो गया और विफल हो गया (सटीकता गिरकर 67% हो गई)। उसने कागज की दिखावट को याद कर लिया था, न कि उसके अर्थ को।
- नया AI: इसे बिल टाइप B पर प्रशिक्षित करने की आवश्यकता नहीं थी। क्योंकि यह बिजली के बिल के अर्थ को समझता था, इसने नए प्रकारों को 95% से अधिक सटीकता के साथ पढ़ा। इसने पैटर्न को याद करने के बजाय क्षमता का सामान्यीकरण (generalization) किया।
सारांश
लेख निष्कर्ष निकालता है कि कंप्यूटर को व्यावसायिक दस्तावेजों को पूरी तरह से पढ़ने के लिए सक्षम बनाने के लिए, आपको हर एक दस्तावेज़ प्रकार के लिए एक अद्वितीय मस्तिष्क बनाने की आवश्यकता नहीं है। इसके बजाय, आपको बस बेहतर निर्देश लिखने और उसे कुछ अच्छे उदाहरण दिखाने की आवश्यकता है।
"गुप्त रेसिपी" AI मॉडल का आकार या जटिल गणितीय सेटिंग्स नहीं है; यह प्रॉम्प्ट (निर्देशों) की गुणवत्ता और दस्तावेज़ को टेक्स्ट में कितनी अच्छी तरह से परिवर्तित किया गया है, इस पर निर्भर करता है ताकि AI इसे पढ़ सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।