तकनीकी सारांश: RECON: उपयोगकर्ता मॉडलिंग के लिए पुनर्निर्माण-निर्देशित तर्क संश्लेषण (Reconstruction-Guided Reasoning Synthesis)

समस्या विवरण

उपयोगकर्ता मॉडलिंग (User modeling) का लक्ष्य पिछले संदर्भ-क्रिया (context–action) युग्मों के आधार पर कार्यों (जैसे, बातचीत के टर्न) की भविष्यवाणी करके व्यक्तिगत उपयोगकर्ता व्यवहार का अनुकरण करना है। हालिया दृष्टिकोण सिंथेटिक तर्क संबंधी निशानों (reasoning traces) के साथ कॉर्पोसा को संवर्धित करके सामान्यीकरण में सुधार करने का प्रयास करते हैं। हालाँकि, मौजूदा विधियाँ आमतौर पर पश्च-तथ्य युक्त औचित्य (post-hoc rationalization) पर निर्भर करती हैं, जहाँ एक मॉडल संदर्भ और वास्तविक क्रिया (ground-truth action) दोनों की स्थिति में एक तर्क संबंधी निशान उत्पन्न करता है।

लेखक तर्क देते हैं कि उपयोगकर्ता मॉडलिंग के लिए यह दृष्टिकोण मौलिक रूप से त्रुटिपूर्ण है। हालाँकि ऐसे निशान किसी क्रिया को न्यायसंगत ठहराने की गारंटी देते हैं, वे अक्सर तार्किक छलांग या मनमाने निर्णय होते हैं जो अंतर्निहित गुप्त कारण संबंधी पथों (latent causal decision paths) को एनकोड नहीं करते हैं। मुक्त-अंत वाले प्राकृतिक भाषा परिवेशों में, एक औचित्य क्रिया के साथ सुसंगत हो सकता है (जैसे, "मुझे प्यास लगी थी" नारंगी जूस ऑर्डर करने को न्यायसंगत ठहराता है), बिना विशिष्ट विकल्प को स्पष्ट किए (जैसे, "मुझे नारंगी जूस पसंद है" बनाम पानी)। फलस्वरूप, ये निशान उपयोगकर्ता के वास्तविक गुप्त तर्क ($r^*$) को पकड़ने में विफल रहते हैं, जिससे उनकी उपयोगिता सीमित हो जाती है। इसके अलावा, सरल रिजेक्शन सैंपलिंग (सही क्रिया उत्पन्न होने तक तर्क उत्पन्न करना) उच्च-आयामी, मुक्त-रूप प्राकृतिक भाषा स्थानों में अव्यवहार्य है।

कार्यप्रणाली: RECON

पोस्ट-हॉक औचित्य और वास्तविक तर्क के बीच के अंतर को दूर करने के लिए, लेखक RECON (पुनर्निर्माण-निर्देशित तर्क संश्लेषण) प्रस्तावित करते हैं। मुख्य अंतर्दृष्टि यह है कि उपयोगी तर्क को स्वाभाविक रूप से संदर्भ से क्रिया को उत्पन्न करना चाहिए, न कि केवल एक पूर्व-निर्धारित परिणाम को न्यायसंगत ठहराना चाहिए। RECON उम्मीदवार तर्क संबंधी निशानों को उनके क्रिया पुनर्निर्माण निष्ठा (action reconstruction fidelity) के आधार पर मूल्यांकन करता है।

RECON पाइपलाइन इस प्रकार कार्य करती है:

1. उम्मीदवार पीढ़ी (Candidate Generation): एक संदर्भ $c$ और वास्तविक क्रिया $a^*$ दिए जाने पर, एक तर्क मॉडल $M_r$ $N$ उम्मीदवार तर्क संबंधी निशान $\{\hat{r}_i\}$ उत्पन्न करता है। ये शुरू में $(c, a^*)$ की स्थिति में होते हैं, जो मानक औचित्य के समान है।
2. क्रिया पुनर्निर्माण (Action Reconstruction): एक क्रिया मॉडल $M_a$ को संदर्भ $c$ और एक उम्मीदवार तर्क संबंधी निशान $\hat{r}_i$ (बिना वास्तविक क्रिया के) के साथ प्रॉम्प्ट किया जाता है ताकि एक पुनर्निर्मित क्रिया $\hat{a}_i = M_a(c, \hat{r}_i)$ उत्पन्न की जा सके।
3. स्कोरिंग (Scoring): $\hat{r}_i$ की गुणवत्ता $\hat{a}_i$ और वास्तविक क्रिया $a^*$ के बीच संरेखण द्वारा निर्धारित की जाती है। इसका मूल्यांकन एक LM जज द्वारा तीन आयामों में किया जाता है: शैली (style), इरादा (intent), और मूल्य (values)।
4. अनुप्रयोग (Application): पुनर्निर्माण स्कोर का उपयोग दो अलग-अलग तरीकों से किया जाता है:
   • RECON-Select (ट्रेनिंग-मुक्त): यह विधि कई उम्मीदवारों को सैंपल करती है और उसे चुनती है जिसका पुनर्निर्माण संरेखण स्कोर उच्चतम होता है ताकि इन-कॉन्टेक्स्ट लर्निंग के लिए रिट्रीवल कॉर्पस को संवर्धित किया जा सके।
   • RECON-GRPO (ट्रेनिंग-आधारित): पुनर्निर्माण संरेखण स्कोर ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करके एक तर्क सिंथेसाइज़र को प्रशिक्षित करने के लिए एक रिवॉर्ड सिग्नल के रूप में कार्य करता है। यहाँ, तर्क मॉडल $M_r$ एक स्थिर क्रिया मॉडल $M_a$ के लिए एक "सलाहकार" के रूप में कार्य करता है, जो ऐसे तर्क संबंधी निशान उत्पन्न करना सीखता है जो सटीक क्रिया पुनर्निर्माण की सुविधा प्रदान करते हैं।

मुख्य योगदान

1. RECON फ्रेमवर्क: एक ऐसी विधि का परिचय जो उपयोगकर्ता मॉडलिंग में सिंथेटिक तर्क का मूल्यांकन करने के लिए रिजेक्शन सैंपलिंग के एक सुलभ विकल्प के रूप में क्रिया पुनर्निर्माण का उपयोग करती है।
2. दोहरी संश्लेषण रणनीतियाँ: RECON-Select (ट्रेनिंग-मुक्त चयन) और RECON-GRPO (ट्रेनिंग-आधारित अनुकूलन) दोनों के माध्यम से RECON की प्रभावशीलता का प्रदर्शन।
3. स्थानांतरणीयता और व्याख्यात्मकता: प्रमाण कि RECON द्वारा सिंथेटिक किए गए तर्क संबंधी निशान विभिन्न मॉडल परिवारों में स्थानांतरित करने योग्य हैं और विशिष्ट पुनर्निर्माण मॉडल के उपयोग से परे उपयोगकर्ता मॉडलिंग प्रदर्शन में सुधार करते हैं।

प्रयोगात्मक परिणाम

लेखकों ने चार डोमेन में RECON का मूल्यांकन किया: अमेरिकी सुप्रीम कोर्ट की मौखिक दलीलें, यू.के. प्राइम मिनिस्टर्स क्वेश्चन (PMQ), पॉडकास्ट, और रेडिट (Reddit) बातचीत। मूल्यांकन में एक रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) पाइपलाइन शामिल थी जहाँ एक एक्शन मॉडल संवर्धित संदर्भ-क्रिया युग्मों का उपयोग करके उपयोगकर्ता प्रतिक्रियाओं की भविष्यवाणी करता है।

• बेसलाइन्स के विरुद्ध प्रदर्शन: RECON-Select ने मानक Backward Synthesis बेसलाइन (पोस्ट-हॉक औचित्य) को लगातार पछाड़ दिया।
  • Qwen3-8B का उपयोग करते हुए, RECON-Select ने 54.7% की समग्र जीत दर प्राप्त की।
  • GPT-5-mini का उपयोग करते हुए, RECON-Select ने 53.5% की समग्र जीत दर प्राप्त की।
  • इसके विपरीत, E2E-GRPO बेसलाइन (क्रिया सटीकता के लिए तर्क और क्रिया को सीधे प्रशिक्षित करना) खराब प्रदर्शन करती है, जो केवल 38.4% की जीत दर प्राप्त करती है, जो यह सुझाव देती है कि केवल क्रिया सटीकता के लिए अनुकूलित करना गैर-स्थानांतर योग्य तर्क प्रदान करता है।
• RECON रिवार्ड्स के साथ प्रशिक्षण: जब RECON-GRPO का उपयोग तर्क मॉडलों को प्रशिक्षित करने के लिए किया गया, तो जीत दर में महत्वपूर्ण सुधार हुआ, जो 70.0% तक पहुँच गया (विशेष रूप से PMQ डोमेन पर Qwen3-4B जैसे छोटे मॉडलों के लिए)।
• क्रॉस-मॉडल ट्रांसफर: तर्क और क्रिया मॉडलों को बदलने (जैसे, GPT-5-mini तर्क के साथ Qwen3-8B क्रिया जनरेशन का उपयोग करना) के प्रयोगों ने दिखाया कि RECON-Select तर्क संबंधी निशान उपयोगी बने रहते हैं, जो 52.4% की जीत दर प्राप्त करते हैं। यह इंगित करता है कि विधि मॉडल-विशिष्ट आर्टिफैक्ट्स के बजाय गुप्त उपयोगकर्ता विशेषताओं को रिकवर करती है।
• आयामी विश्लेषण (Dimensional Analysis): सुधार शैली, इरादे और मूल्यों में सुसंगत थे, जो दर्शाता है कि RECON उच्च-स्तरीय उपयोगकर्ता विशेषताओं को पकड़ता है, न कि केवल सतही भाषाई पैटर्न को।

महत्व और दावे

पेपर का दावा है कि उपयोगकर्ता मॉडलिंग में तर्क संश्लेषण के लिए पोस्ट-हॉक औचित्य अपर्याप्त है। लेखक तर्क देते हैं कि उपयोगी और व्याख्या योग्य तर्क का मूल्यांकन उसके कारण परिणामों (causal consequences) द्वारा किया जाना चाहिए—विशेष रूप से, संदर्भ से देखी गई क्रिया को स्वाभाविक रूप से उत्पन्न करने की उसकी क्षमता द्वारा—न कि क्रिया के साथ उसकी सतही निरंतरता द्वारा।

RECON इस सिद्धांत के एक "सुलभ इंस्टेंशिएशन" के रूप में कार्य करता है। तर्क को प्राथमिकता देकर जो सफलतापूर्वक क्रिया का पुनर्निर्माण करता है, यह विधि ऐसे निशान उत्पन्न करती है जो उपयोगकर्ता के गुप्त तर्क प्रक्रिया ($r^*$) का बेहतर अनुमान लगाते हैं। परिणाम बताते हैं कि यह दृष्टिकोण शोर वाले, उच्च-आयामी प्राकृतिक भाषा सेटिंग्स में उपयोगकर्ता सिमुलेशन की निष्ठा में सुधार करता है, जो नियंत्रित प्राथमिकता लेबल पर निर्भर किए बिना व्याख्या योग्य और भविष्य कहनेवाला उपयोगकर्ता मॉडल की ओर एक मार्ग प्रदान करता है। लेखक इसकी सीमाओं का उल्लेख करते हैं, जिसमें पुनर्निर्माण चरण की कम्प्यूटेशनल लागत और यह तथ्य शामिल है कि RECON अभी भी वास्तविक क्रिया की स्थिति में औचित्य पर काम करता है, जो केवल संदर्भ की स्थिति में तर्क उत्पन्न करने को भविष्य के कार्य के रूप में छोड़ देता है।