Where Does Reasoning Break? Step-Level Hallucination Detection via Hidden-State Transport Geometry
यह शोध पत्र एक स्टेप-लेवल मतिभ्रम (hallucination) डिटेक्शन फ्रेमवर्क प्रस्तावित करता है जो एक कंट्रास्टिव PCA-आधारित शिक्षक और एक डिस्टिल्ड BiLSTM छात्र का उपयोग करके तर्क संबंधी त्रुटियों को हिडन-स्टेट ट्रांसपोर्ट ज्योमेट्री में स्थानीय विचलन के रूप में पहचानता है, जो सिंगल-पास इन्फरेंस के दौरान पहली त्रुटि को स्थानीयकृत करने में मौजूदा बेसलाइन्स से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) द्वारा एक जटिल गणितीय समस्या को हल करना या एक कहानी लिखना एक पर्वतारोही के एक संकीर्ण, सुव्यवस्थित पहाड़ी रास्ते पर चलने जैसा है। जब तक पर्वतारोही रास्ते पर रहता है, वह "सही ढंग से" आगे बढ़ रहा होता है। लेकिन कभी-कभी, पर्वतारोही गलत मोड़ ले लेता है। एक बार जब वह रास्ते से उतर जाता है, तो वह भटक सकता है, और अंततः एक ऐसे रास्ते पर वापस पहुँच सकता है जो दिखने में समान हो, लेकिन अब वह रास्ता भटक चुका है। समस्या यह है कि जब तक वह अंत तक पहुँचता है, वह आत्मविश्वास से दावा कर सकता है कि वह शिखर पर है, भले ही उसने मीलों पहले एक गलत मोड़ लिया हो।
यह शोध पत्र, जिसका शीर्षक "Where Does Reasoning Break?" (तर्क कहाँ टूटता है?) है, उस सटीक क्षण को पकड़ने का एक नया तरीका पेश करता है जब पर्वतारोही रास्ते से उतरता है, न कि केवल यह जाँचने का कि वह गलत गंतव्य पर पहुँचा है या नहीं।
यहाँ उनके दृष्टिकोण का सरल उपमाओं के माध्यम से विवरण दिया गया है:
1. समस्या: पूरी यात्रा की जाँच बनाम गलत मोड़
AI के "भ्रम" (hallucinations - चीजें बनाना) को पहचानने के वर्तमान तरीके एक टूर गाइड की तरह हैं जो केवल यात्रा की अंतिम फोटो देखता है। वे कहते हैं, "यह फोटो अजीब लग रही है; पूरी यात्रा विफल रही।"
- दोष: वे आपको यह नहीं बता सकते कि पर्वतारोही कहाँ गलत हुआ। क्या यह दूसरा कदम था? 50वाँ कदम?
- लक्ष्य: लेखक उस पहले कदम को पकड़ना चाहते हैं जहाँ पर्वतारोही रास्ते से उतर जाता है, ताकि त्रुटि को तुरंत सुधारा जा सके।
2. मुख्य विचार: "हिडन स्टेट" प्रक्षेपवक्र (The "Hidden State" Trajectory)
लेखक AI की आंतरिक सोच प्रक्रिया (इसके "हिडन स्टेट्स") को केवल शब्दों की एक सूची के रूप में नहीं, बल्कि एक उच्च-आयामी स्थान (high-dimensional space) में गति की एक फिल्म के रूप में देखते हैं।
- स्थिर मैनिफोल्ड (The Stable Manifold): "सही तर्क" को एक चिकने, अदृश्य हाईवे की तरह समझें। जब AI सही ढंग से सोच रहा होता है, तो उसकी आंतरिक "फिल्म" इस हाईवे से चिपकी रहती है।
- विचलन (The Excursion): जब AI कोई गलती करता है, तो उसकी आंतरिक फिल्म अचानक हाईवे से झटके के साथ हट जाती है। यह एक "स्थानीयकृत विचलन" (localized excursion) है—डेटा में एक अचानक, अजीब उछाल।
- अंतर्दृष्टि: भले ही AI बाद में फिर से सामान्य व्यवहार करने की कोशिश करे, वह पहला झटका एक ज्यामितीय निशान (geometric scar) छोड़ जाता है जिसे मापा जा सकता है।
3. दो-भाग वाली प्रणाली: शिक्षक और छात्र
यह शोध पत्र दो पात्रों वाला एक सिस्टम प्रस्तावित करता है: एक शिक्षक (Teacher) और एक छात्र (Student)।
शिक्षक (जादुई चश्मा)
- यह कैसे काम करता है: शिक्षक एक सुपर-स्मार्ट डायग्नोस्टिक टूल है जिसके पास एक 'चीट शीट' है। वह जानता है कि AI के तर्क के कौन से चरण सही थे और कौन से गलत (क्योंकि इसे लेबल के साथ प्रशिक्षित किया गया था)।
- चाल: यह कॉन्ट्रास्टिव PCA (Contrastive PCA) नामक एक विशेष चश्मे का उपयोग करता है। कल्पना कीजिए कि आप एक भीड़ भरे कमरे को देख रहे हैं जहाँ हर कोई अलग रंग की शर्ट पहने हुए है। शिक्षक का चश्मा सारा "शोर" (जैसे शर्ट का रंग, कमरे का आकार, या बातचीत का विषय) फ़िल्टर कर देता है और केवल उस विशिष्ट दिशा पर ज़ूम करता है जहाँ "गलत मोड़" होता है।
- परिणाम: शिक्षक अविश्वसनीय सटीकता के साथ पहचान सकता है कि AI ने ठीक किस क्षण हाईवे छोड़ा।
- कैच: वास्तविक दुनिया में शिक्षक बेकार है क्योंकि इसे काम करने के लिए चीट शीट की आवश्यकता होती है। आप किसी AI को वास्तविक समस्या हल करते समय चीट शीट नहीं दे सकते।
छात्र (फील्ड डिटेक्टिव)
- यह कैसे काम करता है: छात्र एक हल्का, तैनात करने योग्य (deployable) मॉडल है जिसे बिना चीट शीट के काम करने के लिए डिज़ाइन किया गया है। यह सीखने की कोशिश करता है कि शिक्षक क्या देखता है, लेकिन इसके पास केवल AI की सोच का कच्चा "मूवी" (raw movie) उपलब्ध है।
- प्रशिक्षण: छात्र को शिक्षक को देखते हुए प्रशिक्षित किया जाता है। यह शिक्षक के "इंस्टेबिलिटी स्कोर" (instability score) की नकल करना सीखता है।
- लक्ष्य: छात्र को वास्तव में वास्तविक जीवन में त्रुटियों को पकड़ने के लिए उपयोग किए जाने वाले उपकरण के रूप में उपयोग किया जाना चाहिए।
4. बड़ी खोज: "मार्जिन" की समस्या
शोध पत्र ने कई प्रयोग किए और एक आश्चर्यजनक परिणाम पाया:
- कक्षा में (In-Domain): जब छात्र का परीक्षण उसी प्रकार के AI और डेटा पर किया जाता है जिस पर उसे प्रशिक्षित किया गया था, तो यह बहुत अच्छा काम करता है। यह शिक्षक के लगभग समान सटीकता से गलत मोड़ों को पकड़ लेता है।
- जंगल में (Cross-Model/Dataset): जब छात्र का परीक्षण एक अलग AI मॉडल या अलग प्रकार की समस्या पर किया जाता है, तो यह बिखर जाता है। इसका प्रदर्शन गिरकर लगभग रैंडम गेसिंग (random guessing) के स्तर पर आ जाता है।
क्यों?
लेखक इसे "ट्रांसपोर्ट मार्जिन" (Transport Margin) की अवधारणा का उपयोग करके समझाते हैं।
- कल्पना कीजिए कि "सही रास्ता" एक चौड़ा, सुरक्षित क्षेत्र है, और "गलत मोड़" एक चट्टान है।
- शिक्षक सुरक्षित क्षेत्र और चट्टान के बीच एक बड़ा, स्पष्ट अंतर (एक चौड़ा मार्जिन) देखता है।
- छात्र चट्टान को पहचानना सीखता है, लेकिन वह इसे प्रशिक्षण कक्ष के जमीन के विशिष्ट टेक्सचर (बनावट) के आधार पर पहचानना सीखता है।
- जब आप छात्र को दूसरे कमरे (नए AI मॉडल) में ले जाते हैं, तो जमीन का टेक्सचर बदल जाता है। छात्र भ्रमित हो जाता है क्योंकि वह गलत टेक्सचर को ढूंढ रहा था, न कि वास्तविक दूरी (चट्टान तक की दूरी) को।
- निष्कर्ष: इसे वास्तविक दुनिया में काम करने योग्य बनाने में केंद्रीय बाधा त्रुटि को खोजना नहीं है; बल्कि छात्र को प्रशिक्षण डेटा के विशिष्ट पैटर्न को याद करने के बजाय, दूरी (मार्जिन) को पहचानना सिखाना है।
सारांश
यह शोध पत्र AI मतिभ्रम (hallucination) का पता लगाने को एक ज्यामितीय समस्या (geometry problem) के रूप में पुनर्गठित करता है। यह पूछने के बजाय कि "क्या यह वाक्य सत्य है?", यह पूछता है कि "क्या AI की आंतरिक गति ने अभी-अभी हाईवे से एक अजीब उछाल लिया है?"
उन्होंने गणितीय रूप से सिद्ध किया कि उनके "जादुई चश्मे" (Contrastive PCA) इन उछालों को खोजने का सबसे अच्छा तरीका हैं। उन्होंने वास्तविक दुनिया में काम करने के लिए एक "छात्र" बनाया, लेकिन पाया कि जब वातावरण बदलता है तो छात्र विफल हो जाता है। शोध पत्र निष्कर्ष निकालता है कि इसे ठीक करने के लिए, हमें छात्र को प्रशिक्षण डेटा के विशिष्ट पैटर्न को याद करने के बजाय, सही और गलत के बीच ज्यामितीय दूरी (margin) को बनाए रखना सिखाना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।