तकनीकी सारांश: परमाणु अवधारणा संपादन (Atomic Concept Edits) के माध्यम से मॉडल व्यवहार की व्याख्या और नियंत्रण

1. समस्या विवरण

बड़े जनरेटिव मॉडल्स की तीव्र प्रगति ने सुरक्षा, विश्वसनीयता और व्याख्यात्मकता (interpretability) के संबंध में महत्वपूर्ण चुनौतियाँ पेश की हैं। एक प्राथमिक बाधा मॉडल के गलत व्यवहार का श्रेय निर्धारित करना है; आधुनिक आर्किटेक्चर में, विफलताओं को विशिष्ट इनपुट फीचर्स तक ट्रैक करना तेजी से कठिन होता जा रहा है। जबकि एडवरसेरियल मशीन लर्निंग ने प्रदर्शित किया है कि सूक्ष्म इनपुट परिवर्तन प्रमुख विफलताओं को ट्रिगर कर सकते हैं, इन कमजोरियों का विश्लेषण करना एक शोध अंतराल बना हुआ है, विशेष रूप से मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (LLMs) में जहाँ प्रॉम्प्ट परिवर्तनों (perturbations) की व्याख्यात्मकता सीमित है।

मौजूदा दृष्टिकोण अक्सर वैश्विक व्याख्यात्मकता विधियों या गैर-व्याख्यात्मक एडवरसेरियल हमलों (जैसे पिक्सेल परिवर्तन) पर निर्भर करते हैं। एक ऐसे फ्रेमवर्क की आवश्यकता है जो प्रॉम्प्ट में व्याख्यात्मक, परमाणु अवधारणा संपादन (atomic concept edits) और मॉडल परिणामों के बीच एक कारण संबंध (causal link) स्थापित करके "ब्लैक-बॉक्स" मॉडल व्यवहार को व्यवस्थित रूप से डिकोड कर सके। लक्ष्य एक प्राकृतिक भाषा "संविधान" (constitution) सीखना है—जो इस बात का सारांश हो कि कैसे विशिष्ट प्रॉम्प्ट उत्परिवर्तन (mutations) मॉडल व्यवहार को प्रभावित करते हैं—ताकि इन मॉडल्स को समझा भी जा सके और उन्हें नियंत्रित (steer) भी किया जा सके।

2. कार्यप्रणाली (Methodology)

लेखक एक ब्लैक-बॉक्स व्याख्यात्मकता फ्रेमवर्क प्रस्तावित करते हैं जो परमाणु अवधारणा संपादन (Atomic Concept Edits - ACEs) और संविधान (Constitutions) पर केंद्रित है।

2.1. मुख्य परिभाषाएँ

• परमाणु अवधारणा संपादन (ACEs): लक्षित ऑपरेशन जो एक इनपुट प्रॉम्प्ट में एक एकल व्याख्यात्मक अवधारणा को जोड़ते हैं, हटाते हैं या बदलते हैं। अवधारणाएँ स्पष्ट (जैसे, "man," "frisbee") या अंतर्निहित (जैसे, "दिन का समय," "बेटे की आयु") हो सकती हैं।
• ऑटोरेटर (Autorater): एक बाइनरी क्लासिफायर (या स्कोरिंग फंक्शन) जो एक विशिष्ट कार्य (जैसे, टेक्स्ट-टू-इमेज एलाइनमेंट, गणितीय शुद्धता, शब्द गणना अनुपालन) के आधार पर मॉडल आउटपुट को वांछनीयता स्कोर (0 या 1) में मैप करता है।
• संविधान ($\pi$): ACEs उत्पन्न करने की रणनीतियों का एक प्राकृतिक भाषा विवरण जो वांछित (या विशिष्ट) मॉडल व्यवहार को प्रेरित करने के लिए इनपुट को संशोधित करता है। यह उत्परिवर्तन के लिए "अच्छी रणनीतियों" (Good Strategies) और "खराब रणनीतियों" (Bad Strategies) वाला एक नियम पुस्तिका के रूप में कार्य करता है।

2.2. फ्रेमवर्क आर्किटेक्चर

फ्रेमवर्क तीन मुख्य चरणों में संचालित होता है:

1. ACE जनरेशन: एक प्रारंभिक प्रॉम्प्ट, कार्य परिभाषा और एक संविधान (जो प्रारंभ में खाली या रैंडम होता है) दिए जाने पर, एक 'कॉन्सेप्ट एक्सट्रैक्टर' प्रॉम्प्ट को अवधारणाओं के एक सेट में सत्वरित (distill) करता है। एक 'ACE जनरेटर' इन अवधारणाओं के लिए परमाणु संपादन (जोड़ना, हटाना, बदलना) प्रस्तावित करता है।
2. अन्वेषण और लेबलिंग (Exploration and Labeling): प्रस्तावित ACEs को प्रॉम्प्ट्स पर लागू किया जाता है, और परिणामी आउटपुट को लक्षित मॉडल और ऑटोरेटर द्वारा मूल्यांकित किया जाता है। यह ACE ट्रेसेस ($D = \{(x_i, a_j, y_j)\}$) का एक डेटासेट बनाता है जहाँ $y_j$ ग्राउंड-ट्रुथ ऑटोरेटर स्कोर है।
3. संविधान अनुकूलन (Constitution Optimization): बड़े टारगेट मॉडल्स को बार-बार क्वेरी करने की उच्च कम्प्यूटेशनल लागत से बचने के लिए, लेखक एक सरोगेट क्लासिफायर (एक निर्देश टेम्पलेट वाला LLM) का उपयोग करते हैं जो ऑटोरेटर स्कोर की भविष्यवाणी करता है। एक इवोल्यूशनरी एल्गोरिदम (Alpha Evolve और TextGrad से प्रेरित) का उपयोग करके, फ्रेमवर्क निरंतर संविधान को अपडेट करता है। संविधान को इस तरह अनुकूलित किया जाता है कि वह ACEs के सफल होने की संभावना को अधिकतम करे जो कार्य परिभाषा को संतुष्ट करते हैं।

2.3. अनुकूलन उद्देश्य (Optimization Objective)

उद्देश्य एक ऐसा संविधान $\pi$ सीखना है जो ACEs की सफलता की अपेक्षा को अधिकतम करे:
$$\max_{\pi} \mathbb{E}_{x} \left[ \mathbb{E}_{a \sim p(a|x,t,\pi)} [f(M(\phi(x, a)))] \right]$$
जहाँ $M$ लक्षित मॉडल है, $f$ ऑटोरेटर है, और $\phi$ इनपुट $x$ पर ACE $a$ को लागू करता है। अनुकूलन सरोगेट क्लासिफायर द्वारा गलत वर्गीकरणों से प्राप्त फीडबैक का उपयोग करके संविधान के भीतर रणनीतियों को विकसित करता है।

2.4. अनुमान और नियंत्रण (Inference and Control)

एक बार अनुकूलित होने के बाद, संविधान ACE जनरेटर को न्यूनतम चरणों के साथ इनपुट प्रॉम्प्ट्स को एक विशिष्ट लक्ष्य की ओर निर्देशित (steer) करने के लिए मार्गदर्शन करता है (जैसे, गणितीय शुद्धता को तोड़ना या इमेज एलाइनमेंट को कम करना)। फ्रेमवर्क अनुक्रमिक ACE अनुप्रयोग की अनुमति देता है, जहाँ संपादन का एक क्रम सफलता की संभावना को बढ़ाता है।

3. मुख्य योगदान

1. परमाणु अवधारणा सं edición (ACEs): विशिष्ट अवधारणाओं (जोड़ना, हटाना, बदलना) पर व्याख्यात्मक, स्थानीय संपादन का उपयोग करके प्रॉम्प्ट उत्परिवर्तन के लिए एक जेनेरिक तरीका।
2. संविधान अनुकूलन (Constitution Optimization): एक प्राकृतिक भाषा संविधान को अनुकूलित करने की एक इवोल्यूशनरी पद्धति जो मॉडल व्यवहार को समझाने और निर्देशित करने वाले दोनों कार्य करती है। संविधान उन प्रमुख पहलुओं का सारांश देता है जो वांछित परिणामों का कारण बनते हैं और भविष्य के ACEs का मार्गदर्शन करते हैं।
3. अनुभवजन्य सत्यापन (Empirical Validation): विविध मॉडल्स (Gemini 2.5, GPT-5, Imagen 4, DALL-E 3, आदि) का उपयोग करके तीन डोमेन (शब्द गणना अनुपालन, गणितीय तर्क, और टेक्स्ट-टू-इमेज एलाइनमेंट) में व्यापक मूल्यांकन।

4. प्रयोगात्मक परिणाम

लेखकों ने तीन डाउनस्ट्रीम कार्यों पर फ्रेमवर्क का मूल्यांकन किया:

• शब्द गणना (Word Count): मॉडल्स को सख्त शब्द सीमा (< 50 शब्द) का पालन करने के लिए मजबूर करना।
• गणित (Math): गणित की समस्याओं को संशोधित करना ताकि उन्हें सही ढंग से हल करना कठिन बनाया जा सके (त्रुटियों को प्रेरित करना)।
• टेक्स्ट-टू-इमेज (T2I) एलाइनमेंट: उत्पन्न छवि के साथ एलाइनमेंट को कम करने के लिए प्रॉम्प्ट्स को अपडेट करना।

मात्रात्मक निष्कर्ष (Quantitative Findings)

• सफलता दर: संविधान-निर्देशित ACEs (CACE) ने बिना संविधान वाले बेसलाइन ACEs की तुलना में सभी मॉडल्स और कार्यों में औसत 1.86 गुना सफलता दर में वृद्धि हासिल की।
• दक्षता (Efficiency): CACE ने बेसलाइन विधियों की तुलना में कम चरणों (आमतौर पर 4 चरण) के भीतर उच्च सफलता दर (> 80%) प्राप्त की।
• विविधता (Diversity): Self-BLEU स्कोर ने संकेत दिया कि फ्रेमवर्क ने प्रॉम्प्ट विविधता बनाए रखी और यह सरल, दोहराव वाले समाधानों पर अभिसरित (converge) नहीं हुआ।
• सरोगेट सटीकता: सरोगेट क्लासिफायर ने यह भविष्यवाणी करने में TextGrad (एक अत्याधुनिक टेक्स्टुअल ग्रेडिएंट विधि) से बेहतर प्रदर्शन किया कि क्या एक ACE कार्य को संतुष्ट करेगा।

गुणात्मक अंतर्दृष्टि (मॉडल व्यवहार विश्लेषण)

सीखे गए संविधानों ने मॉडल्स के विभिन्न व्यवहार संबंधी पैटर्न प्रकट किए:

• टेक्स्ट-टू-इमेज (Text-to-Image):
  • GPT-Image: एलाइनमेंट महत्वपूर्ण रिलेशनल और एक्शन-केंद्रित तत्वों के हटने से काफी गिर गया (जैसे, किसी क्रिया के ऑब्जेक्ट को हटाना), जो सख्त कंपोजिशनल लॉजिक पर निर्भरता का सुझाव देता है।
  • Imagen 4: एलाइनमेंट असंबंधित या विरोधाभासी सेटिंग तत्वों को जोड़ने से कम हो गया, जो समग्र दृश्य संदर्भ और सौंदर्य सुसंगतता (aesthetic coherence) को प्राथमिकता देने का संकेत देता है।
• गणितीय तर्क (Mathematical Reasoning):
  • GPT-5: डिस्ट्रैक्टर वेरिएबल्स (distractor variables) या क्रॉस-इक्वेशन सब्स्टीट्यूशन को पेश करने से प्रदर्शन काफी खराब हो गया।
  • Gemini 2.5 / o4-mini: ये मॉडल डिस्ट्रैक्टर वेरिएबल्स से काफी हद तक अप्रभावित रहे, जिससे वहां मजबूती (robustness) दिखाई दी जहां GPT-5 विफल रहा।
  • सामान्य: घातांक (exponents) या मूल (roots) पेश करने से सभी मॉडल्स में कठिनाई लगातार बढ़ गई, जिससे जटिल बीजगणितीय तर्क की सीमाएं उजागर हुईं।

5. महत्व और दावे

यह पेपर दावा करता है कि यह अवधारणा-स्तर के प्रॉम्प्ट संशोधनों को व्यवहारिक बदलावों से जोड़कर ब्लैक-बॉक्स जनरेटिव मॉडल्स को समझने और नियंत्रित करने के लिए एक नया फ्रेमवर्क प्रदान करता है। इसका प्राथमिक महत्व मानव-व्याख्यात्मक संविधानों को उत्पन्न करने की क्षमता में निहित है जो एडवरसेरियल स्टीयरिंग और सक्रिय परीक्षण के लिए नियम पुस्तिका के रूप में कार्य करते हैं।

लेखक जोर देते हैं कि उनका दृष्टिकोण:

• मॉडल के आंतरिक वेट्स (weights) तक पहुंच प्राप्त किए बिना मॉडल व्यवहार को डिकोड करता है (ब्लैक-बॉक्स)।
• विशिष्ट डेटा पॉइंट्स के बजाय कार्रवाई योग्य, सामान्यीकरण योग्य अंतर्दृष्टि (जैसे, "क्रिटिकल रिलेशनल एलिमेंट को हटाना") प्रदान करता है।
• यह प्रदर्शित करता है कि विभिन्न मॉडल्स के अलग-अलग "ब्लाइंड स्पॉट्स" या विफलता मोड होते हैं जिन्हें व्यवस्थित रूप से पहचाना और उपयोग किया जा सकता है।

यह कार्य किसी भी ऑटोरेटर-परिभाषित उद्देश्य की ओर मॉडल व्यवहार को मोड़ने (steering) के लिए एक संरचित विकल्प प्रदान करते हुए, अनस्ट्रक्चर्ड प्रॉम्प्ट इंजीनियरिंग या गैर-व्याख्यात्मक एडवरसेरियल हमलों के विरुद्ध एक आधार के रूप में स्थित है। लेखक इमेज/वीडियो मोडैलिटी और एजेंटिक सिस्टम तक इन अवधारणाओं को विस्तारित करने के लिए भविष्य के कार्य की आवश्यकता सहित सीमाओं का भी उल्लेख करते हैं।