← नवीनतम पेपर
🤖 machine learning

Relational Response Fields: A General Theory of Black-Box LLM Response Consistency and Recovery

यह शोध पत्र सुसंगत ब्लैक-बॉक्स एलएलएम (LLM) प्रतिक्रियाओं को पुनः प्राप्त करने की अंतर्निहित कठिनाई को परिभाषित और परिमाणित करने के लिए रिलेशनल रिस्पॉन्स फील्ड (RRF) ढांचे को पेश करता है, जो एक मीट्रिक γk(D,A)\gamma_k(D,A) के माध्यम से यह स्थापित करता है कि रिकवरी केवल निरंतरता पर नहीं बल्कि रिलेशनल सिमिट्रीज़ (relational symmetries) और ट्रस्टेड एंकर्स (trusted anchors) पर निर्भर करती है, साथ ही पहचान क्षमता (identifiability) पर मौलिक सीमाओं को सिद्ध करता है और स्पार्स फील्ड रिपेयर (sparse field repair) के लिए एल्गोरिदम प्रदान करता है।

मूल लेखक: Song Zichen

प्रकाशित 2026-08-06
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Song Zichen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन आप केवल एक संदिग्ध से बात कर सकते हैं जो अविश्वसनीय रूप से बुद्धिमान है फिर भी पूरी तरह से एक 'ब्लैक-बॉक्स' है: आप उससे प्रश्न पूछ सकते हैं, लेकिन आप उसके नोट्स, उसका मस्तिष्क, या उसके सोचने का तरीका नहीं देख सकते। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, ये "संदिग्ध" लार्ज लैंग्वेज मॉडल्स (LLMs) हैं। वे उन चैटबॉट्स के इंजन हैं जो कोड लिखते हैं, गणित की समस्याओं को हल करते हैं, और कहानियाँ सुनाते हैं। लेकिन यहाँ एक पेंच है: वे कभी-कभी झूठ बोलते हैं, या "हैलुसिनेट" (hallucinate) करते हैं, यानी ऐसे तथ्य गढ़ते हैं जो सुनने में एकदम सटीक लगते हैं लेकिन पूरी तरह से गलत होते हैं। वैज्ञानिक इसे ठीक करने के लिए मॉडल से एक ही सवाल को अलग-अलग तरीकों से पूछकर, यह जाँचकर कि क्या उत्तर मेल खाते हैं, या मॉडल से ही अपने काम की समीक्षा करने के लिए कहकर प्रयास कर रहे हैं। यह बिल्कुल वैसा ही है जैसे किसी संदिग्ध से एक ही सवाल तीन बार पूछना ताकि यह देखा जा सके कि वह कहाँ फिसलता है।

हालाँकि, एक गहरी समस्या है जिसे अधिकांश लोगों ने अभी तक नहीं पहचाना है। क्या होगा यदि संदिग्ध इस तरह से झूठ बोल रहा है जो पूरी तरह से सुसंगत (consistent) है? कल्पना कीजिए कि संदिग्ध हर बार पूछने पर वही झूठ बोलता है, बस उसे थोड़ा अलग तरीके से पेश करता है। यदि आप केवल निरंतरता (consistency) की जाँच करते हैं, तो आप उसे कभी नहीं पकड़ पाएंगे क्योंकि उसकी कहानी कभी नहीं बदलती। यह शोध पत्र एक मौलिक प्रश्न पूछता है: यदि झूठ सुसंगत हैं, तो क्या उत्तरों के संग्रह से सत्य को प्राप्त करना संभव भी है? लेखक इस समस्या को देखने का एक नया तरीका पेश करते हैं, जिसमें उत्तरों के समूह को अलग-अलग अनुमानों की एक सूची के रूप में नहीं, बल्कि डेटा के एक एकल, परस्पर जुड़े हुए क्षेत्र (field) के रूप में माना जाता है। वे प्रस्ताव देते हैं कि इन त्रुटियों को ठीक करने की क्षमता एक विशिष्ट गणितीय "कठिनाई स्कोर" (difficulty score) पर निर्भर करती है, जो यह मापता है कि आपके प्रश्न और जाँच कितनी अच्छी तरह से झूठ पकड़ने के लिए तैयार किए गए हैं, न कि केवल मॉडल कितना स्मार्ट है।

शोध पत्र का मूल विचार: रिलेशनल रिस्पॉन्स फील्ड (RRF)

लेखक, सोंगकीकुआन यूनिवर्सिटी के सॉन्ग ज़ीचेन, एक अवधारणा पेश करते हैं जिसे रिलेशनल रिस्पॉन्स फील्ड (RRF) कहा जाता है। इसे एक शहर के मानचित्र के रूप में सोचें जहाँ हर इमारत एक उत्तर है जो मॉडल ने एक ही प्रश्न के थोड़े अलग संस्करण का उत्तर दिया है। कुछ इमारतें नियमों द्वारा जुड़ी हुई हैं। उदाहरण के लिए, यदि आप मॉडल को गणित की समस्या हल करने के लिए कहते हैं, और फिर उसे फिर से पूछते हैं लेकिन संख्याएँ दोगुनी कर देते हैं, तो उत्तर भी दोगुना होना चाहिए। यह जुड़ाव एक "सड़क" या एक "ट्रांसपोर्ट" है। यदि मॉडल के उत्तर इस नियम को तोड़ते हैं, तो सड़क टूट जाती है।

आमतौर पर, शोधकर्ता वोटिंग (सबसे आम उत्तर लेना) द्वारा या मॉडल से स्वयं की जाँच करने के लिए कहकर त्रुटियों को ठीक करने का प्रयास करते हैं। यह शोध पत्र तर्क देता है कि ये विधियाँ एक विशिष्ट प्रकार की त्रुटि के प्रति अंधी हैं: साझा मतिभ्रम (shared hallucinations)। यदि मॉडल एक ऐसी गलती करता है जो सभी नियमों के साथ पूरी तरह से फिट बैठती है (जैसे कि एक सुसंगत झूठ), तो वोटिंग काम नहीं आएगी क्योंकि हर उत्तर एक ही झूठ है। शोध पत्र सुझाव देता है कि इसे ठीक करने के लिए, आपको "एंकरों" (anchors) की आवश्यकता है। एक एंकर विश्वसनीय, बाहरी साक्ष्य का एक टुकड़ा है जो मॉडल द्वारा उत्पन्न नहीं किया गया है। यह एक मानव लेबल, एक कोड जो वास्तव में चलता है और उत्तर की जाँच करता है, या एक ज्ञात तथ्य हो सकता है।

"कठिनाई स्कोर": γk\gamma_k

इस शोध पत्र का केंद्र एक गणितीय सूत्र है जो γk\gamma_k (गामा-के) नामक एक संख्या की गणना करता है। आप इसे एक "जासूस के कठिनाई स्कोर" के रूप में देख सकते हैं।

  • यह क्या मापता है: यह मापता है कि आपके विशिष्ट प्रश्नों (मानचित्र), आपके नियमों (सड़कों), और आपके विश्वसनीय साक्ष्यों (एंकरों) के साथ सत्य को खोजना कितना कठिन है।
  • जादुई नंबर: यदि यह स्कोर शून्य है, तो यह शोध पत्र गणितीय रूप से सिद्ध करता है कि झूठ से सत्य को अलग करना असंभव है, चाहे आप कितनी भी बार मॉडल से पूछें या आपका एल्गोरिदम कितना भी चतुर क्यों न हो। झूठ एक ऐसे "ब्लाइंड स्पॉट" में छिपे हैं जिसे आपके प्रश्न नहीं देख सकते।
  • विपरीत (Inverse): यदि यह स्कोर धनात्मक (positive) है, तो इसका अर्थ है कि सत्य को पाया जा सकता है। शोध पत्र सिद्ध करता है कि आपके अंतिम उत्तर में त्रुटि लगभग 1/γk1/\gamma_k के समानुपाती होगी। सरल शब्दों में, स्कोर जितना अधिक होगा, मॉडल की गलतियों को ठीक करना उतना ही आसान होगा।

लेखक दिखाते हैं कि यह स्कोर समस्या की "अंतर्निहित कठिनाई" है। इससे कोई फर्क नहीं पड़ता कि आप उत्तरों को ठीक करने के लिए किसी अति-जटिल AI का उपयोग कर रहे हैं या एक साधारण वोटिंग सिस्टम का; यदि स्कोर शून्य है, तो आप फंस जाएंगे। यदि स्कोर उच्च है, तो एक साधारण फिक्सर भी बहुत अच्छा काम कर सकता है।

यह शोध पत्र किसे खारिज करता है

यह शोध पत्र बहुत स्पष्ट है कि क्या काम नहीं करता है। यह स्पष्ट रूप से इस विचार के विरुद्ध तर्क देता है कि निरंतरता (consistency) ही सत्य है। सिर्फ इसलिए कि एक मॉडल आपको ऐसे उत्तर देता है जो आपस में पूरी तरह से सुसंगत हैं (वे सभी एक ही नियमों का पालन करते हैं), इसका मतलब यह नहीं है कि वे सत्य हैं। एक मॉडल पूरी तरह से सुसंगत और पूरी तरह से गलत हो सकता है। शोध पत्र इस विचार को भी खारिज करता है कि केवल अधिक प्रश्न पूछने या एक ही प्रश्न को बार-बार दोहराने से मदद मिलेगी। यदि आप एक ही प्रश्न 100 बार पूछते हैं, तो आपको उसी झूठ की 100 प्रतियाँ ही मिलेंगी। शोध पत्र दिखाता है कि "नॉर्मलाइज्ड डुप्लिकेट्स" (एक ही जाँच को कॉपी-पेस्ट करना) जोड़ने से कठिनाई स्कोर नहीं बढ़ता है; यह समान रहता है। आपको वास्तव में स्कोर सुधारने के लिए अलग-अलग प्रकार की जाँचों (जैसे कोड चलाना या किसी मानवीय तथ्य के विरुद्ध जाँच करना) की आवश्यकता है।

वे कितने आश्वस्त हैं?

लेखक अपने गणितीय प्रमाणों में बहुत आश्वस्त हैं। उन्होंने सिद्ध किया है कि:

  1. यदि कठिनाई स्कोर शून्य है, तो आप सत्य को प्राप्त नहीं कर सकते (यह गणितीय रूप से असंभव है)।
  2. यदि स्कोर धनात्मक है, तो आपके उत्तर के गलत होने की एक गारंटीकृत सीमा है।
  3. कोई अन्य विधि इस सीमा को नहीं हरा सकती; यह सर्वोत्तम संभव प्रदर्शन है।

उन्होंने इन विचारों का सिमुलेशन और वास्तविक AI मॉडल्स (जैसे Qwen2.5 और Phi-3) का उपयोग करके गणित और कोडिंग कार्यों पर वास्तविक प्रयोगों के माध्यम से परीक्षण किया है। इन प्रयोगों में, उन्होंने ऐसे परिदृश्य बनाए जहाँ वे उत्तर जानते थे और फिर उनमें त्रुटियाँ डालीं। उन्होंने पाया कि जब उन्होंने कठिनाई स्कोर बढ़ाने के लिए सेटअप बदला, तो सही उत्तर को पुनः प्राप्त करने की मॉडल की क्षमता ठीक वैसे ही सुधरी जैसा कि गणित ने भविष्यवाणी की थी। उन्होंने यह भी दिखाया कि यह स्कोर विभिन्न मॉडलों और विभिन्न प्रकार के कार्यों (गणित बनाम कोड) में त्रुटियों को ठीक करने की कठिनाई का पूर्वानुमान लगा सकता है।

निष्कर्ष

यह शोध पत्र AI को ठीक करने के हमारे तरीके को बदल देता है। केवल एक बेहतर "वोटिंग मशीन" या एक स्मार्ट "क्रिटिक" बनाने के बजाय, हमें अपने प्रश्नों और जाँचों की संरचना को डिजाइन करने पर ध्यान केंद्रित करना चाहिए। शोध पत्र सुझाव देता है कि विश्वसनीय AI की कुंजी केवल मॉडल को स्मार्ट बनाना नहीं है, बल्कि यह सुनिश्चित करना है कि हमारे पास सही "एंकर" और "सड़कें" सेट हों ताकि सत्य ही एकमात्र चीज़ हो जो फिट बैठे। यदि हम इस "कठिनाई स्कोर" (γk\gamma_k) को माप सकते हैं, तो हम पहले से बता सकते हैं कि क्या प्रश्नों और जाँचों का एक विशिष्ट सेट झूठ पकड़ने के लिए पर्याप्त मजबूत है, या हमें इसमें और अधिक विश्वसनीय साक्ष्य जोड़ने की आवश्यकता है। यह AI विश्वसनीयता की समस्या को एक अनुमान लगाने वाले खेल से बदलकर एक मापने योग्य, समाधान योग्य पहेली में बदल देता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →