A Multi-Agent Approach to Validate and Refine LLM-Generated Personalized Math Problems

यहाँ शोध पत्र "A Multi-Agent Approach to Validate and Refine LLM-Generated Personalized Math Problems" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

संदर्भ वैयक्तिकरण (Context personalization)—छात्रों की व्यक्तिगत रुचियों (जैसे, खेल, संगीत, गेमिंग) के अनुसार गणित की समस्याओं को अनुकूलित करना—ने जुड़ाव और सीखने के परिणामों में सुधार दिखाया है। हालाँकि, इन वैयक्तिकृत समस्याओं को बड़े पैमाने पर उत्पन्न करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) पर निर्भर करना महत्वपूर्ण गुणवत्ता संबंधी समस्याएँ उत्पन्न करता है। लेखक वर्तमान LLM-जनित सामग्री में चार आवर्ती विफलता मोड (failure modes) की पहचान करते हैं:

1. गणितीय असंगतता (Mathematical Inconsistency): अमान्य समाधान, अस्पष्ट सेटअप, या असंगत मात्राएँ।
2. यथार्थहीनता (Unrealism): ऐसी मात्राएँ या परिदृश्य जो वास्तविक दुनिया के मानदंडों का उल्लंघन करते हैं (जैसे, एक पानी की बोतल की कीमत $100 होना)।
3. प्रामाणिकता का अभाव (Lack of Authenticity): ऐसे संदर्भ जो छात्रों के वास्तविक जीवन के अनुभवों या आयु-उपयुक्त रुचियों के साथ तालमेल बिठाने में विफल रहते हैं।
4. खराब पठनीयता (Poor Readability): भाषाई जटिलता में वृद्धि जो छात्रों के लिए बोझ बन जाती है।

मौजूदा पुनरावृत्ति परिशोधन विधियाँ (जैसे, Self-Refine या Reflexion) अक्सर बिना विभेदित स्व-फीडबैक पर निर्भर करती हैं, जो विशिष्ट डोमेन बाधाओं को अनदेखा कर सकती हैं। इसके अलावा, कई विशिष्ट गुणवत्ता मानदंडों से प्राप्त फीडबैक को एक सुसंगत संशोधन प्रक्रिया में प्रभावी ढंग से समन्वयित करने के तरीके पर शोध की कमी है।

2. कार्यप्रणाली (Methodology)

लेखक एक मल्टी-एजेंट फ्रेमवर्क (Multi-Agent Framework) प्रस्तावित करते हैं जो वैयक्तिकरण को एक इटरेटिव Generate–Validate–Revise (उत्पन्न करें–सत्यापित करें–संशोधित करें) लूप के रूप में औपचारिक रूप देता है।

A. वर्कफ़्लो घटक (Workflow Components)

1. कन्वर्जन एजेंट (Conversion Agent): एक मूल गणित की समस्या ($p$), एक लक्षित रुचि विषय ($t$), और एक लक्षित पठन स्तर ($g$) लेता है ताकि एक प्रारंभिक उम्मीदवार समस्या ($\hat{p}$) उत्पन्न की जा सके।
2. चार विशिष्ट वैलिडेटर एजेंट (Four Specialized Validator Agents): प्रत्येक एजेंट एक बाइनरी पास/फेल चेक करता है और एक विशिष्ट मानदंड पर नैदानिक फीडबैक प्रदान करता है:
   • सॉल्वेबिलिटी एजेंट (Solvability Agent): गणितीय स्थिरता और समाधान की वैधता को सत्यापित करता है।
   • रियलिज्म एजेंट (Realism Agent): जाँचता है कि मात्राएँ, इकाइयाँ और परिदृश्य लक्षित विषय के भीतर तर्कसंगत हैं या नहीं।
   • रीडेबिलिटी एजेंट (Readability Agent): सुनिश्चित करता है कि शब्दावली और वाक्य जटिलता ग्रेड स्तर (Flesch–Kincaid मेट्रिक्स का उपयोग करके) से मेल खाती है।
   • ऑथेंटिसिटी एजेंट (Authenticity Agent): सत्यापित करता है कि संदर्भ आयु-उपयुक्त और मिडिल स्कूल के बच्चों के लिए प्रासंगिक है या नहीं।
3. परिशोधन एजेंट (Refinement Agent/s): मूल गणितीय संरचना को सुरक्षित रखते हुए उम्मीदवार समस्या को संशोधित करने के लिए वैलिडेटर फीडबैक का उपयोग करता है।

B. तीन परिशोधन रणनीतियाँ (Three Refinement Strategies)

अध्ययन वैलिडेटर फीडबैक को समन्वयित करने के लिए तीन रणनीतियों की तुलना करता है:

1. केंद्रीकृत परिशोधन (Centralized Refinement): विफल वैलिडेटर्स से प्राप्त सभी फीडबैक को एक ही प्रॉम्प्ट में एक रिफाइनमेंट एजेंट के लिए एकत्रित करता है।
2. प्लानिंग के साथ केंद्रीकृत परिशोधन (Centralized Refinement with Planning): फीडबैक एकत्रीकरण और संशोधन के बीच एक प्लानिंग एजेंट (Planning Agent) सम्मिलित करता है। यह एजेंट अनस्ट्रक्चर्ड फीडबैक को एक प्राथमिकता वाले एक्शन प्लान में बदल देता है (जैसे, शैलीगत परिवर्तनों से पहले गणितीय त्रुटियों को ठीक करना) इससे पहले कि रिफाइनमेंट एजेंट उस योजना को निष्पादित करे।
3. विकेंद्रीकृत परिशोधन (Decentralized Refinement): प्रत्येक वैलिडेटर को एक समर्पित रिफाइनमेंट एजेंट के साथ जोड़ता है। संशोधनों को एक निश्चित प्राथमिकता क्रम (Solvability $\to$ Realism $\to$ Authenticity $\to$ Readability) में लागू किया जाता है ताकि कैस्केडिंग त्रुटियों और सूचना ओवरलोड को रोका जा सके।

3. प्रयोगात्मक सेटअप (Experimental Setup)

• डेटासेट: ASSISTments प्लेटफॉर्म से 600 गणित की समस्याएँ।
• विषय: 20 निश्चित छात्र रुचि विषयों (खेल, मनोरंजन, मीडिया में फैले हुए) में वैयक्तिकृत।
• बेसलाइन (Baseline): एक "ज़ीरो-शॉट" (Zero-Shot) दृष्टिकोण जहाँ कन्वर्जन एजेंट बिना किसी वैलिडेटर फीडबैक के एक समस्या उत्पन्न करता है।
• मेट्रिक्स: अधिकतम 3 परिशोधन पुनरावृत्तियों (iterations) में वैलिडेटर विफलता गणना।
• मानवीय मूल्यांकन (Human Evaluation): तीन मानव एनोटेटरों ने LLM वैलिडेटर्स की मानवीय निर्णय के विरुद्ध विश्वसनीयता को मापने के लिए 45 समस्याओं का मूल्यांकन किया (Cohen's $\kappa$ और Fleiss' $\kappa$ का उपयोग करके)।

4. मुख्य परिणाम (Key Results)

A. परिशोधन रणनीतियों का प्रदर्शन (Performance of Refinement Strategies)

• सामान्य रुझान: प्रारंभिक (Zero-Shot) जनरेशन में ऑथेंटिसिटी (Authenticity) और रियलिज्म (Realism) सबसे बार होने वाले विफलता मोड हैं। एक एकल परिशोधन पुनरावृत्ति इन विफलताओं को काफी कम कर देती है।
• विकेंद्रीकृत परिशोधन (Decentralized Refinement): Realism और Readability पर सबसे तेज़ी से अभिसरण (converge) करता है। क्योंकि प्रत्येक एजेंट एक एकल मानदंड पर ध्यान केंद्रित करता है, यह एक साथ परस्पर विरोधी बाधाओं को संतुलित करने की जटिलता से बचता है।
• प्लानिंग के साथ केंद्रीकृत परिशोधन (Centralized with Planning): Authenticity पर सबसे तेज़ी से अभिसरण करता है। लेखक सुझाव देते हैं कि ऑथेंटिसिटी एक "ग्लोबल" गुण है जिसके लिए समग्र सामंजस्य की आवश्यकता होती है, जिसे क्रमिक स्थानीय संपादन के बजाय एक संरचित, प्राथमिकता वाले प्लान से लाभ होता है।
• सॉल्वेबिलिटी (Solvability): सभी रणनीतियाँ एक पुनरावृत्ति के बाद लगभग शून्य विफलता दर तक तेज़ी से अभिसरण करती हैं, जो यह दर्शाता है कि आधुनिक LLMs गणितीय स्थिरता बनाए रखने में पहले से ही अत्यधिक सक्षम हैं।

B. वैलिडेटर विश्वसनीयता (Validator Reliability - Human Evaluation)

• Realism और Readability: LLM वैलिडेटर्स, मानव एनोटेटरों के साथ उचित सहमति (fair agreement) दिखाते हैं (क्रमशः Cohen's $\kappa \approx 0.32$ और $0.28$)। LLMs वस्तुनिष्ठ बाधाओं को विश्वसनीय रूप से पकड़ते हैं।
• Authenticity: LLM वैलिडेटर मनुष्यों के साथ मामूली सहमति (slight agreement) दिखाते हैं (Cohen's $\kappa = 0.133$) और लगभग रैंडम सटीकता ($51.1\%$) रखते हैं।
  • कारण: ऑथेंटिसिटी अत्यधिक व्यक्तिपरक है और विशिष्ट डोमेन ज्ञान (जैसे, पॉप कल्चर ट्रेंड्स या स्पोर्ट्स नियम) पर निर्भर है। उदाहरण के लिए, LLM ने "7.1 इनिंग्स" को अवास्तविक (क्योंकि इनिंग्स आमतौर पर थर्ड्स में होती हैं) के रूप में चिह्नित किया, जबकि बिना बेसबॉल ज्ञान वाले मानव एनोटेटरों ने इसे पास कर दिया। यह स्पष्ट करता है कि LLMs के पास वास्तविक ऑथेंटिसिटी के लिए आवश्यक विशिष्ट सांस्कृतिक बारीकियों की कमी हो सकती है।

C. विफलता पैटर्न (Failure Patterns)

• विषय निर्भरता (Topic Dependence): मीडिया-संबंधी विषयों (Twitter, TikTok) ने अक्सर Authenticity विफलताओं को ट्रिगर किया, जबकि खेल/गेमिंग विषयों ने Realism और Readability विफलताओं को ट्रिगर किया।
• पाठ्यचर्या निर्भरता (Curriculum Dependence): माप (Measurement) और अनुपात (Proportion) की इकाइयाँ Realism त्रुटियों के प्रति संवेदनशील थीं, जबकि व्यंजक-हल करने (expression-solving) वाली इकाइयों में Readability त्रुटियों की प्रवृत्ति देखी गई।

5. मुख्य योगदान (Key Contributions)

1. फ्रेमवर्क डिज़ाइन: गणितीय संदर्भ वैयक्तिकरण के लिए एक नया मल्टी-एजेंट आर्किटेक्चर प्रस्तावित करता है, जो सिंगल-प्रॉम्ट जनरेशन से आगे बढ़कर एक संरचित वैलिडेशन लूप की ओर बढ़ता है।
2. रणनीति तुलना: विभिन्न समन्वय तंत्रों (Centralized बनाम Decentralized बनाम Planning) के विभिन्न गुणवत्ता आयामों को कैसे प्रभावित करते हैं, इसका व्यवस्थित मूल्यांकन करता है, जिससे पता चलता है कि कोई भी एक रणनीति सभी मानदंडों के लिए इष्टतम नहीं है।
3. अनुभवजन्य अंतर्दृष्टि (Empirical Insight): यह प्रदर्शित करता है कि जबकि LLMs गणितीय स्थिरता के लिए मजबूत हैं, वे Realism और Authenticity के साथ संघर्ष करते हैं, और इन विफलताओं को इटरेटिव रिफाइनमेंट के माध्यम से कम किया जा सकता है।
4. विश्वसनीयता विश्लेषण: यह प्रमाण प्रदान करता है कि जबकि LLM वैलिडेटर्स वस्तुनिष्ठ मानदंडों (गणित, पठनीयता) के लिए विश्वसनीय हैं, वे व्यक्तिपरक मानदंडों (जैसे, ऑथेंटिसिटी) के लिए संघर्ष करते हैं, जिसके लिए मानव-इन-द-लूप सत्यापन की आवश्यकता होती है।

6. महत्व (Significance)

यह कार्य AI-संचालित शिक्षा में एक महत्वपूर्ण बाधा को संबोधित करता है: "दिलचस्प" सामग्री उत्पन्न करने और "शैक्षणिक रूप से सुदृढ़, प्रामाणिक" सामग्री उत्पन्न करने के बीच का अंतर।

• व्यावहारिक अनुप्रयोग: प्रस्तावित फ्रेमवर्क शिक्षकों के लिए गणितीय कठोरता या यथार्थवाद से समझौता किए बिना व्यक्तिगत सामग्री निर्माण के लिए एक स्केलेबल मार्ग प्रदान करता है।
• भविष्य की दिशाएँ: निष्कर्ष बताते हैं कि भविष्य के सिस्टमों को ऑथेंटिसिटी वैलिडेशन में सुधार के लिए डोमेन-विशिष्ट ज्ञान (जैसे, पॉप कल्चर डेटाबेस) को शामिल करना चाहिए और व्यक्तिपरक मानदंडों के लिए मानव मूल्यांकन को प्राथमिकता देनी चाहिए। यह अलग-अलग गुणवत्ता मानदंडों (स्थानीय संपादन बनाम वैश्विक सामंजस्य) के लिए अलग-अलग एडेप्टिव एजेंट ऑर्केस्ट्रेशन की आवश्यकता को भी रेखांकित करता है।