EvidenceRL: Reinforcing Evidence Consistency for Trustworthy Language Models
यह शोध पत्र EvidenceRL को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो लार्ज लैंग्वेज मॉडल्स में साक्ष्य अनुपालन (evidence adherence) को लागू करने के लिए ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन का उपयोग करता है, जो कार्य सटीकता से समझौता किए बिना कार्डिएक डायग्नोसिस और कानूनी तर्क जैसे उच्च-जोखिम वाले डोमेन में मतिभ्रम (hallucinations) को काफी कम करता है और ग्राउंडिंग एवं निष्ठा (faithfulness) में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान छात्र है जिसका नाम LLM (लार्ज लैंग्वेज मॉडल) है। यह छात्र सुंदर निबंध लिख सकता है, जटिल समस्याओं को हल कर सकता है, और अविश्वसनीय रूप से आत्मविश्वासी लग सकता है। हालाँकि, इसमें एक पेंच है: LLM को बातें बनाना पसंद है।
यदि आप LLM से चिकित्सा सलाह या कानूनी तर्क मांगते हैं, तो यह एक सटीक दिखने वाला उत्तर दे सकता है जो वास्तव में पूरी तरह से मनगढ़ंत हो सकता है। यह एक ऐसे छात्र की तरह है जिसने पाठ्यपुस्तक की शैली तो याद कर ली लेकिन वास्तव में तथ्यों को पढ़ना भूल गया। स्वास्थ्य सेवा या कानून जैसे उच्च-जोखമിന്റെ वाले क्षेत्रों में, यह "भ्रम" (hallucination) खतरनाक है क्योंकि एक गलत उत्तर किसी को नुकसान पहुँचा सकता है।
आपके द्वारा साझा किया गया पेपर एक नई प्रशिक्षण पद्धति पेश करता है जिसे EvidenceRL कहा जाता है। इसे एक सख्त, सुपर-निरीक्षक कोच के रूप में समझें जो छात्र को अनुमान लगाना बंद करने और अपने काम को सिद्ध करने के लिए मजबूर करता है।
यह कैसे काम करता है, इसके सरल अवधारणाओं में विवरण यहाँ दिया गया है:
1. समस्या: "आत्मविश्वासी झूठा" (The "Confident Liar")
वर्तमान में, यदि आप AI से हृदय की स्थिति का निदान करने के लिए कहते हैं, तो यह कह सकता है, "रोगी को X है," और फिर इसके पीछे का एक काल्पनिक कारण बना सकता है। भले ही आप AI को वास्तविक मेडिकल रिकॉर्ड (साक्ष्य) का एक ढेर दे दें, AI अक्सर उन्हें अनदेखा कर देता है और अपने प्रशिक्षण डेटा से जो उसे "याद" है उस पर निर्भर रहता है। यह एक वकील की तरह है जो वास्तविक पुलिस रिपोर्ट देखने के बजाय तथ्य गढ़कर मामला लड़ता है।
2. समाधान: EvidenceRL (एक "प्रमाण-प्रथम" कोच)
शोधकर्ताओं ने एक नई प्रशिक्षण प्रणाली बनाई है जिसे EvidenceRL कहा जाता है। केवल AI को यह बताने के बजाय कि, "आपका उत्तर सही है," उन्होंने खेल के नियम बदल दिए। अब, AI को अंक तभी मिलते हैं जब वह प्रदान किए गए विशिष्ट दस्तावेजों का उपयोग करके अपने उत्तर को सिद्ध कर सके।
उन्होंने रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक एक तकनीक का उपयोग किया। एक कुत्ते के प्रशिक्षण सत्र की कल्पना करें:
- पुराना तरीका: कुत्ता बैठता है, और आप उसे इसलिए ट्रीट देते हैं क्योंकि वह प्यारा लग रहा है।
- EvidenceRL तरीका: कुत्ते को ट्रीट तभी मिलता है जब वह बैठता है और आपके द्वारा मांगे गए विशिष्ट बॉल को लेकर आता है। यदि वह बैठता है लेकिन जूता ले आता है, तो कोई ट्रीट नहीं।
3. कोच काम की जाँच कैसे करता है (The "Focus-Then-Verify" Trick)
यह जांचना कि AI सच बोल रहा है या नहीं, कठिन है। यदि आप पूछते हैं, "क्या यह पूरा निबंध सच है?" तो यह बहुत अस्पष्ट है। AI एक वाक्य सही और दस गलत लिख सकता है, और स्कोर कम हो जाता है।
शोधकर्ताओं ने एक चतुर तकनीक विकसित की है जिसे Focus-Then-Verify कहा जाता है:
- रूपक (Metaphor): एक जासूस की कल्पना करें जो एक बड़े अपराध स्थल को देख रहा है। पूरे दृश्य को एक साथ सत्यापित करने के बजाय, जासूस एक विशिष्ट सुराग (जैसे कि एक कीचड़ भरा पदचिह्न) चुनता है और पूछता है, "क्या यह विशिष्ट सुराग संदिग्ध की कहानी का समर्थन करता है?"
- तकनीक: सिस्टम AI के उत्तर को वाक्य-दर-वाक्य तोड़ देता है। यह उत्तर के एक वाक्य को लेता है और साक्ष्य के एक टुकड़े (जैसे कि एक मेडिकल रिपोर्ट) को लेता है और एक विशेष "जज" (एक छोटा AI) से पूछता है: "क्या यह साक्ष्य इस वाक्य को सिद्ध करता है?"
- यदि साक्ष्य इसका समर्थन करता है, तो AI को अंक मिलते हैं। यदि AI एक ऐसा तथ्य बनाता है जो साक्ष्य के विपरीत है, तो उसे भारी दंड दिया जाता है।
4. परिणाम: "भाग्यशाली अनुमान" से "साक्ष्य-आधारित" तक
शोधकर्ताओं ने इस परीक्षण को दो बहुत ही गंभीर नौकरियों पर किया: कार्डियक डायग्नोसिस (हृदय रोग विशेषज्ञ) और लीगल रीजनिंग (वकील)।
- EvidenceRL से पहले: AI एक जुआरी की तरह था। वह सही निदान (एक "भाग्यशाली अनुमान") तो कर सकता था, लेकिन वह रोगी के वास्तविक रिकॉर्ड का उपयोग करके यह नहीं समझा सकता था कि क्यों। वह अक्सर उन पैटर्न के आधार पर केवल अनुमान लगा रहा था जो उसने पहले देखे थे।
- EvidenceRL के बाद: AI एक जासूस बन गया।
- कम भ्रम (Hallucinations): मनगढ़ंत तथ्यों की संख्या लगभग 5 गुना कम हो गई।
- अधिक प्रमाण: साक्ष्य द्वारा समर्थित उत्तरों की संख्या लगभग 32% से बढ़कर 61% हो गई।
- बेहतर सटीकता: आश्चर्यजनक रूप से, तथ्यों पर टिके रहने के लिए मजबूर करने से, इसने वास्तव में कम नहीं बल्कि अधिक सही उत्तर दिए।
5. यह क्यों मायने रखता है
सबसे महत्वपूर्ण बात यह है कि आप AI द्वारा उत्तर उत्पन्न करने के बाद केवल "बुरे उत्तरों को फ़िल्टर" नहीं कर सकते। आपको AI के सोचने के तरीके को उसके सीखने के दौरान बदलना होगा।
- Inference-time controls (जैसे कि AI से लिखने के बाद "कड़ी मेहनत करने" या "अपना काम जांचने" के लिए कहना) एक झूठे को झूठ बोलने के बाद "ईमानदार होने की कोशिश करने" के लिए कहने जैसा है। यह अच्छी तरह से काम नहीं करता है।
- EvidenceRL प्रशिक्षण के दौरान AI के मस्तिष्क को बदल देता है। यह AI को सिखाता है कि सत्य तभी मान्य है जब उसके पास रसीद (प्रमाण) हो।
सारांश रूपक
AI को एक टूर गाइड के रूप में सोचें।
- पुराना AI: गाइड शहर को अच्छी तरह जानता है लेकिन दिलचस्प दिखने के लिए लैंडमार्क के बारे में अक्सर कहानियाँ बनाता रहता है। पर्यटक भ्रमित और खो जाते हैं।
- EvidenceRL AI: गाइड अब हर कहानी बताने के लिए एक मानचित्र (map) ले जाने और मानचित्र पर सटीक स्थान की ओर इशारा करने के लिए बाध्य है। यदि वह स्थान की ओर इशारा नहीं कर सकता, तो उसे कहानी बताने की अनुमति नहीं है।
परिणाम? टूर अभी भी मजेदार और सूचनात्मक है, लेकिन अब यह विश्वसनीय है। चिकित्सा और कानून जैसे क्षेत्रों में, यह विश्वास एक अच्छे निर्णय और एक आपदा के बीच का अंतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।