तकनीकी सारांश: बड़े तर्क मॉडल (LRMs) में निर्देश पालन को हल करने के लिए सहायक बाधाओं (Auxiliary Constraints) को जोड़ना

समस्या की परिभाषा: बाधा पालन की समस्या (Constraint Adherence Problem - CAP)

लार्ज रीजनिंग मॉडल्स (LRMs) जटिल कार्यों में प्रभावशाली क्षमताएं प्रदर्शित करते हैं, लेकिन वे अक्सर कई निर्देशों का एक साथ विश्वसनीय रूप से पालन करने में संघर्ष करते हैं। यह विफलता दो प्राथमिक रूपों में प्रकट होती है: (1) बाधा चूक (Constraint Oversight), जहाँ मॉडल विशिष्ट आवश्यकताओं को पूरी तरह से अनदेखा कर देता है, और (2) बाधा हस्तक्षेप (Constraint Interference), जहाँ मॉडल उन कई बाधाओं के बीच संतुलन बनाने में विफल रहता है जो परस्पर विरोधी प्रतीत होती हैं (जैसे, एक सख्त "200-शब्द सीमा" के भीतर "विस्तृत तकनीकी विवरण" प्रदान करना)।

लेखक इस व्यापक चुनौती को बाधा पालन की समस्या (CAP) के रूप में औपचारिक रूप देते हैं। जबकि मौजूदा दृष्टिकोण सुपरवाइज्ड फाइन-ट्यूनिंग या मानव फीडबैक से सुदृढीकरण (RLHF) जैसी सामान्य प्रशिक्षण विधियों पर निर्भर करते हैं, ये विधियाँ अप्रत्यक्ष रूप से यह मानती हैं कि बेहतर सामान्य क्षमताओं से स्वाभाविक रूप से बेहतर बाधा संतुष्टि प्राप्त होगी। शोध पत्र का तर्क है कि यह धारणा व्यवहार में अक्सर विफल हो जाती है क्योंकि ये विधियाँ स्पष्ट रूप से यह मॉडल नहीं करती हैं कि बाधाएं एक-दूसरे से कैसे संबंधित हैं, समर्थन करती हैं या एक-दूसरे में हस्तक्षेप करती हैं।

कार्यप्रणाली: बाधा संबंध ग्राफ पूर्णता (Constraint Relationship Graph Completion - CRGC)

CAP को संबोधित करने के लिए, यह शोध पत्र बाधा संबंध ग्राफ पूर्णता (CRGC) पेश करता है, जो निर्देशों को बाधाओं के एक संरचित ज्ञान ग्राफ के रूप में प्रस्तुत करता है। CRGC मॉडल के अपने ज्ञान का उपयोग करके "ब्रिज बाधाओं" (bridge constraints)—सहायक निर्देशों—को उत्पन्न करने के लिए किया जाता है, जो परस्पर विरोधी या असंबद्ध आवश्यकताओं को सुलझाते हैं, और इसके लिए मॉडल के मापदंडों (parameters) को बदलने की आवश्यकता नहीं होती है।

यह ढांचा तीन क्रमिक घटकों के माध्यम से संचालित होता है:

1. बाधा ग्राफ निर्माण (Constraint Graph Construction)

इनपुट निर्देश $I$ को व्यक्तिगत बाधाओं के एक सेट $C = \{C_1, C_2, \dots, C_n\}$ और एक कार्य उद्देश्य $T$ में विभाजित किया जाता है। सिस्टम एक भारित निर्देशित ग्राफ $G_{init} = (V, E_{init}, W_{init})$ का निर्माण करता है जहाँ नोड्स बाधाओं का प्रतिनिधित्व करते हैं और किनारे (edges) उनके प्रभावों का प्रतिनिधित्व करते हैं।

• एज वेट्स ($w_{ij}$): $C_i$ से $C_j$ तक का किनारे का भार $C_j$ के उल्लंघन के जोखिम या "लागत" को मापता है जब $C_i$ को संतुष्ट किया जाता है। इसकी गणना अपेक्षित संतुष्टि में सापेक्ष गिरावट का उपयोग करके की जाती है:
  $$w_{ij} = \frac{E[S(C_j, y)] - E[S(C_j, y) | S(C_i, y) \geq \tau]}{E[S(C_j, y)]}$$
  जहाँ $S(C, y)$ एक संतुष्टि स्कोर (0 से 1) है और $\tau$ एक थ्रेशोल्ड है। नकारात्मक भार संवर्धक संबंधों को दर्शाते हैं, जबकि सकारात्मक भार हस्तक्षेप को दर्शाते हैं।
• अनुकूलन (Optimization): कार्य नोड पर आधारित इष्टतम निर्देशित स्पैनिंग ट्री खोजने के लिए मिनिमम स्पैनिंग आर्बोरेसेंस (MSA) एल्गोरिदम लागू किया जाता है। यह ट्री उस पीढ़ी पथ (generation pathway) का प्रतिनिधित्व करता है जो बाधा उल्लंघन के कुल जोखिम को न्यूनतम करता है।

2. पालन चुनौती का पता लगाना (Adherence Challenge Detection)

अनुकूलित ट्री का विश्लेषण उन समस्याग्रस्त किनारों की पहचान करने के लिए किया जाता है जो अभी भी चुनौतियां पेश करते हैं:

• हस्तक्षेप करने वाली बाधाएं (Interfering Constraints): उच्च सकारात्मक भार ($w_{ij} > \delta$) वाले किनारे, जो यह संकेत देते हैं कि मॉडल बाधाओं के बीच एक संघर्ष को महसूस करता है।
• अलग-थलग पड़ी बाधाएं (Isolated Constraints): शून्य के करीब भार ($|w_{ij}| \leq \delta$) वाले किनारे, जो यह संकेत देते हैं कि मॉडल असंबद्ध बाधाओं को संज्ञानात्मक रूप से जोड़ने में विफल रहता है, जिससे चूक (oversight) होती है।
  ये किनारे ब्रिज बाधा प्रविष्टि के लिए उम्मीदवारों का समूह बनाते हैं।

3. ब्रिज बाधा खोज (Bridge Constraint Discovery)

प्रत्येक समस्याग्रस्त जोड़ी $(C_i, C_j)$ के लिए, ढांचा एक लार्ज लैंग्वेज मॉडल का उपयोग करके एक ब्रिज बाधा $B_{ij}$ उत्पन्न करता है।

• हस्तक्षेप करने वाली जोड़ियों के लिए, एक सुलह प्रॉम्प्ट (reconciliation prompt) $R(C_i, C_j)$ संघर्ष को हल करने की रणनीति उत्पन्न करता है (जैसे, "बुलेट पॉइंट्स के साथ संरचित अनुभागों का उपयोग करें" ताकि "संक्षिप्त" और "विस्तृत" दोनों को संतुष्ट किया जा सके)।
• अलग-थलग पड़ी जोड़ियों के लिए, एक कनेक्शन प्रॉम्प्ट $C(C_i, C_j)$ एक स्पष्ट तार्किक लिंक स्थापित करता है।
  इन ब्रिज बाधाओं को मूल निर्देश में एकीकृत किया जाता है ताकि एक उन्नत निर्देश $I_{enhanced}$ बनाया जा सके, जो मॉडल को एक ही फॉरवर्ड पास में सभी बाधाओं को संतुष्ट करने के लिए मार्गदर्शन करता है।

मुख्य योगदान

1. CAP का औपचारिक लक्षण वर्णन: शोध पत्र बाधा पालन की समस्या को परिभाषित करता है, विशेष रूप से बाधा चूक और बाधा हस्तक्षेप को LRMs में अलग-अलग विफलता मोड के रूप में स्पष्ट रूप से अलग करता है।
2. ग्राफ-आधारित ढांचा: यह निर्देशों को एक संबंध ग्राफ के रूप में प्रस्तुत करने के लिए एक नवीन विधि प्रस्तावित करता है, जो इष्टतम पीढ़ी पथों को खोजने और पालन चुनौतियों का पता लगाने के लिए MSA एल्गोरिदम का उपयोग करता है।
3. ब्रिज बाधा तंत्र: "ब्रिज बाधाओं" के रूप में गतिशील, प्राकृतिक भाषा सहायक निर्देशों का परिचय, जो मॉडल को पुन: प्रशिक्षित किए बिना संरचनात्मक रूप से परस्पर विरोधी आवश्यकताओं को सुलझाते हैं।
4. अनुभवजन्य सत्यापन: व्यापक प्रयोग जो प्रदर्शित करते हैं कि CRGC सामान्य तर्क क्षमताओं को बनाए रखते हुए बाधा उल्लंघनों को महत्वपूर्ण रूप से कम करता है।

प्रयोगात्मक परिणाम

लेखकों ने तीन निर्देश-पालन बेंचमार्क (IFEVAL, COMPLEXBENCH, FOLLOWBENCH) और तीन सामान्य तर्क बेंचमार्क (MMLU, GSM8K, BIG-BENCH HARD) पर CRGC का मूल्यांकन किया।

• बाधा संतुष्टि: CRGC ने मानक प्रॉम्प्टिंग की तुलना में बाधा उल्लंघनों को 39% कम किया और CoT प्रॉम्प्टिंग की तुलना में 27.7% कम किया। ComplexBench डेटासेट पर, इसने Qwen2.5-72B के लिए मानक प्रॉम्प्टिंग की तुलना में बाधा संतुष्टि दर (CSR) में लगभग 11.9% का सुधार किया।
• तर्क संरक्षण: विशेष निर्देश-ट्यूनिंग विधियों के विपरीत, जो अक्सर सामान्य तर्क प्रदर्शन को कम (-~6-7%) कर देती हैं, CRGC ने मानक बेंचमार्क पर तर्क क्षमताओं को बनाए रखा या थोड़ा सुधारा।
• दक्षता: हालांकि CRGC ग्राफ निर्माण के कारण प्रारंभिक टर्न में उच्च कम्प्यूटेशनल ओवरहेड लेता है, यह पुनरावृत्त परिशोधन (iterative refinement) की आवश्यकता को काफी कम कर देता है। प्रतिक्रियात्मक (reactive) विधियों जैसे DeCRIM की तुलना में, CRGC ने संघर्षों को प्रतिक्रियात्मक रूप से ठीक करने के बजाय सक्रिय रूप से हल करके कुल संचयी टोकन खपत में 67% की कमी और प्रोसेसिंग समय में 58% की कमी हासिल की।
• संघर्ष समाधान: CRGC ने विरोधात्मक बाधाओं को हल करने में सभी बेसलाइन को पछाड़ दिया, और वेरीफाई-एंड-रिपेयर फ्रेमवर्क की तुलना में संघर्ष समाधान दरों में 19.7% तक का पूर्ण सुधार हासिल किया।

महत्व और दावे

शोध पत्र का दावा है कि CRGC बाधा पालन की समस्या के लिए एक गैर-आक्रामक, अनुकूलन योग्य समाधान प्रदान करता है। इसका प्राथमिक महत्व "सामान्य क्षमता वृद्धि" से "संरचनात्मक बाधा मॉडलिंग" की ओर बदलाव करने में निहित है।

• सक्रिय बनाम प्रतिक्रियात्मक (Proactive vs. Reactive): लेखक तर्क देते हैं कि पीढ़ी से पहले बाधा संबंधों को मैप करने की CRGC की क्षमता इसे प्रतिक्रियात्मक सुधार (जहाँ एक उल्लंघन को ठीक करने से दूसरा टूट जाता है) के कम्प्यूटेशनल रूप से महंगे और त्रुटिपूर्ण चक्रों से बचने की अनुमति देती है।
• सामान्यीकरण (Generalizability): ब्रिज बाधाओं को उत्पन्न करने के लिए मॉडल के अपने ज्ञान का लाभ उठाकर, यह विधि अतिरिक्त प्रशिक्षण डेटा या पूर्व-निर्धारित श्रेणियों की आवश्यकता को समाप्त करती है, जिससे यह विविध और अंतर्निहित निर्देश प्रकारों के लिए लागू होती है।
• संतुलित प्रदर्शन: ढांचा सफलतापूर्वक निर्देश पालन को तर्क क्षमता से अलग करता है, यह सिद्ध करता है कि मॉडल अपनी अंतर्निहित तर्क शक्ति का त्याग किए बिना जटिल, बहु-बाधा निर्देशों का पालन करने के लिए निर्देशित किए जा सकते हैं।

लेखक निष्कर्ष निकालते हैं कि संरचित बाधा मॉडलिंग निर्देश पालन में सुधार के लिए एक आशाजनक दिशा है, विशेष रूप से वास्तविक दुनिया के अनुप्रयोगों में जहाँ कई, संभावित रूप से परस्पर विरोधी आवश्यकताओं के विश्वसनीय पालन की महत्वपूर्ण आवश्यकता होती है।