← नवीनतम पेपर
🤖 AI

Evergreen: Efficient Claim Verification for Semantic Aggregates

एवरग्रीन (Evergreen) एक कुशल प्रणाली है जो सिमेंटिक एग्रीगेट्स (semantic aggregates) में संभावित रूप से भ्रामक दावों को उसी इंजन पर निष्पादित होने वाली डिक्लेरेटिव क्वेरीज़ (declarative queries) में संकलित करके सत्यापित करती है, जो मौजूदा बेसलाइन्स की तुलना में उच्च सटीकता के साथ काफी कम लागत और विलंबता प्राप्त करने के लिए अनुकूलित अनुकूलन (tailored optimizations) और सेमिरिंग-आधारित प्रोवेनेंस (semiring-based provenance) का उपयोग करती है।

मूल लेखक: Alexander W. Lee, Benjamin Han, Shayak Sen, Sam Yeom, Ugur Cetintemel, Anupam Datta

प्रकाशित 2026-04-30
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Alexander W. Lee, Benjamin Han, Shayak Sen, Sam Yeom, Ugur Cetintemel, Anupam Datta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ी अति-आत्मविश्वासी, सहायक (एक AI) है जो हजारों रेस्टोरेंट रिव्यू पढ़ता है और आपको एक सारांश लिख कर देता है। सहायक कह सकता है, "हर किसी को चिकन सलाद पसंद आया!" या "किसी ने भी वीगन विकल्पों का जिक्र नहीं किया।"

समस्या क्या है? सहायक भ्रमित (hallucinating) हो सकता है। हो सकता है कि उसने सिर्फ अनुमान लगाया हो, या उसने कुछ ऐसे रिव्यू छोड़ दिए हों जो इसके विपरीत थे। सहायक द्वारा कही गई बात की सच्चाई की जांच करना कठिन है क्योंकि:

  1. आप सभी रिव्यू एक साथ पढ़ने के लिए बहुत अधिक हैं (वे AI की "याददाश्त" में फिट नहीं होते)।
  2. AI गिनती और तर्क (जैसे, "क्या ज्यादातर लोगों ने इसे पसंद किया?") में खराब है।
  3. गणित की जांच करने के लिए हर एक रिव्यू को एक-एक करके पढ़ना अविश्वसनीय रूप से धीमा और महंगा है।

मिलिए "एवरग्रीन" (Evergreen) से।

एवरग्रीन को एक अति-कुशल तथ्य-जांच प्रणाली (fact-checking system) के रूप में सोचें जो AI के सारांश को एक बातचीत के बजाय एक गणित की समस्या की तरह मानती है। AI से पूरे डेटासेट के बारे में "गहराई से सोचने" के लिए कहने के बजाय, एवरग्रीन सारांश को छोटे, तार्किक प्रश्नों में तोड़ देता है और उन्हें स्मार्ट शॉर्टकट और एक "चेकलिस्ट" दृष्टिकोण के मिश्रण का उपयोग करके हल करता है।

यह कैसे काम करता है, यहाँ कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है:

1. "जासूस की चेकलिस्ट" (दावों को क्वेरी में बदलना)

जब AI कहता है, "ज्यादातर लोगों ने सर्विस को पसंद किया," तो एवरग्रीन केवल AI से यह नहीं पूछता, "क्या यह सच है?" इसके बजाय, यह उस वाक्य को एक सख्त तार्किक क्वेरी में बदल देता है, जैसे कि एक जासूस की चेकलिस्ट:

  • चरण 1: "सर्विस" का उल्लेख करने वाले सभी रिव्यू खोजें।
  • चरण 2: गिनें कि उनमें से कितने सकारात्मक हैं।
  • चरण 3: क्या वह संख्या 50% से अधिक है?

उस अस्पष्ट वाक्य को चरणों के एक कठोर सेट में बदलकर, एवरग्रीन एक डेटाबेस इंजन का उपयोग कर सकता है (जो गिनती और सॉर्टिंग करने में माहिर है), जिससे भारी काम आसानी से हो सके, और वह AI को केवल तभी बुलाता है जब किसी विशिष्ट रिव्यू का अर्थ समझने की आवश्यकता हो।

2. "स्मार्ट शॉर्टकट" (अनुकूलन/Optimizations)

पेपर में इस बात पर प्रकाश डाला गया है कि एवरग्रीन तेज और सस्ता है क्योंकि यह अनावश्यक काम करने से बचने के लिए तीन मुख्य "ट्रिक्स" का उपयोग करता है:

  • अर्ली स्टॉपिंग (Early Stopping - "पहले सुराग पर रुकने का नियम"):
    यदि दावा है कि "कम से कम एक व्यक्ति ने शिकायत की," तो एवरग्रीन रिव्यू को स्कैन करता है। जैसे ही उसे एक शिकायत मिलती है, वह तुरंत रुक जाता है। उसे यह जानने के लिए बाकी 1,000 रिव्यू पढ़ने की जरूरत नहीं है कि दावा सच है। इसके विपरीत, यदि दावा है कि "किसी ने शिकायत नहीं की," तो वह तब तक स्कैन करता रहेगा जब तक कि वह एक शिकायत न ढूंढ ले जो दावे को गलत साबित करे, या जब तक कि वह सांख्यिकीय रूप से आश्वस्त न हो जाए कि किसी ने नहीं की। यह पूरे पन्ने को न पढ़कर भी उत्तर मिल जाने पर बहुत सारा समय बचाता है।

  • प्रासंगिकता सॉर्टिंग (Relevance Sorting - "प्रासंगिक फाइलें पहले" वाला तरीका):
    कल्पना कीजिए कि आप घास के ढेर में एक विशिष्ट सुई खोज रहे हैं। बेतरतीब ढंग से खुदाई करने के बजाय, एवरग्रीन एक चुंबक का उपयोग करता है ताकि सबसे संभावित सुइयों को पहले ऊपर लाया जा सके। यह रिव्यूज को इस तरह से सॉर्ट करता है कि वे (उदाहरण के लिए, "शिकायत" शब्द वाले रिव्यू) सबसे पहले चेक किए जाएं। यह "अर्ली स्टॉपिंग" ट्रिक को और भी तेज बनाता है।

  • कॉन्फिडेंस सीक्वेंस (Confidence Sequences - "सांख्यिकीय अनुमान लगाने का खेल"):
    कभी-कभी, आपको उत्तर जानने के लिए हर रिव्यू को चेक करने की आवश्यकता नहीं होती है। एवरग्रीन "कॉन्फिडेंस सीक्वेंस" नामक एक सांख्यिकीय पद्धति का उपयोग करता है। कल्पना कीजिए कि आप सूप चख रहे हैं यह देखने के लिए कि क्या यह पर्याप्त नमकीन है। आपको पूरा कटोरा पीने की जरूरत नहीं है; आपको बस इतने चम्मच चखने की जरूरत है कि आप 99% सुनिश्चित हो सकें। एवरग्रीन कुछ रिव्यू चखता है, गणित की जांच करता है, और यदि परिणाम स्पष्ट है, तो वह रुक जाता है। यदि गणित अभी भी धुंधला है, तो वह कुछ और "चखता" है। यह उन रिव्यूज को पढ़ने में पैसा बर्बाद करने से बचता है जो अंतिम निर्णय को नहीं बदलते।

3. "रसीद" (उद्धरण और प्रोवेनेंस/Citations and Provenance)

जब एवरग्रीन "सच" या "झूठ" कहता है, तो वह केवल हाँ/ना में उत्तर नहीं देता। वह एक रसीद प्रदान करता है।

  • यदि दावा सच है, तो यह आपको वे सटीक रिव्यू दिखाता है जिन्होंने इसे साबित किया (जैसे, "यहाँ वे 3 रिव्यू हैं जहाँ लोगों ने सलाद को पसंद किया")।
  • यदि दावा गलत है, तो यह उन सटीक रिव्यू को दिखाता है जिन्होंने इसे गलत साबित किया।

यह एक गणित शिक्षक द्वारा अपना काम दिखाने जैसा है। यह एक विशेष "प्रोवेनेंस" सिस्टम (प्रत्येक तथ्य के स्रोत को ट्रैक करने का एक तरीका) का उपयोग करता है ताकि यह सुनिश्चित हो सके कि स्पष्टीकरण न्यूनतम और सटीक है। यह आपको 1,000 रिव्यू नहीं दिखाता; यह आपको न्यूनतम संख्या दिखाता जिसकी आवश्यकता उस बिंदु को सिद्ध करने के लिए है।

4. परिणाम: मजबूत, तेज, सस्ता

पेपर ने वास्तविक रेस्टोरेंट रिव्यू डेटा पर एवरग्रीन का परीक्षण किया। यहाँ उन्होंने क्या पाया:

  • सटीकता (Accuracy): एक मजबूत AI मॉडल का उपयोग करते समय इसे एक परफेक्ट स्कोर (F1 = 1.00) मिला, जिसका अर्थ है कि इसने कोई गलती नहीं की।
  • लागत और गति: यह बिना इन शॉर्टकट्स के सब कुछ पढ़ने के लिए कहे जाने वाले AI की तुलना में 3 से 4 गुना तेज और 3 से 4 गुना सस्ता था।
  • "कमजोर AI" का आश्चर्य: यहाँ तक कि एक बहुत ही कमजोर, सस्ते AI मॉडल का उपयोग करने पर भी, एवरग्रीन ने अकेले काम करने वाले एक "मजबूत" AI मॉडल की तुलना में बेहतर प्रदर्शन किया। डेटाबेस इंजन को तर्क और गिनती संभालने देकर, AI को केवल आसान काम (टेक्स्ट पढ़ना) करना था, जिसे एक "कम बुद्धिमान" AI भी अच्छी तरह से कर सकता था।

सारांश

एवरग्रीन एक ऐसी प्रणाली है जो AI को बड़े डेटासेट के बारे में मनगढ़ंत तथ्य बनाने से रोकती है। यह इसे निम्न तरीकों से करता है:

  1. अस्पष्ट AI सारांशों को सख्त तार्किक प्रश्नों में बदलकर।
  2. स्मार्ट शॉर्टकट का उपयोग करके जैसे ही उत्तर मिल जाए, पढ़ना बंद कर देता है।
  3. एक "रसीद" प्रदान करके कि वास्तव में किन डेटा पॉइंट्स ने उत्तर को सिद्ध किया।

यह एक अकाउंटेंट की टीम (डेटाबेस) को गणित करने के लिए और एक कुशल इंटर्न (AI) को रसीदें पढ़ने के लिए काम पर रखने जैसा है, बजाय इसके कि एक थके हुए इंटर्न से सारा गणित और पढ़ना अकेले करने के लिए कहा जाए।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →