Measuring Representation Robustness in Large Language Models for Geometry

यहाँ शोध पत्र "Measuring Representation Robustness in Large Language Models for Geometry" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) ने गणितीय तर्क (mathematical reasoning) में बढ़ती दक्षता दिखाई है, लेकिन उनकी समान समस्या निरूपणों (equivalent problem representations) के प्रति सुदृढ़ता (robustness) अभी भी कम समझी गई है। ज्यामिति (geometry) में, एक ही समस्या को तीन अलग-अलग लेकिन अर्थपूर्ण रूप से समान रूपों में व्यक्त किया जा सकता है:

1. यूक्लिडियन (Euclidean): शाब्दिक/संबंधात्मक विवरण (जैसे, "त्रिभुज ABC की भुजाएँ... हैं")।
2. निर्देशांक (Coordinate): कार्टेशियन प्लेन सूत्र (जैसे, "बिंदु A(0,0), B(3,4)...")।
3. वेक्टर (Vector): डॉट/क्रॉस-प्रोडक्ट ऑपरेशंस (जैसे, "दिया गया है वेक्टर $\vec{u}$ और $\vec{v}$...")।

मौजूदा बेंचमार्क आमतौर पर निश्चित प्रारूपों पर मॉडल्स का मूल्यांकन करते हैं, जो अंतर्निहित रूप से निरूपण अपरिवर्तनीयता (representation invariance) को मान लेते हैं। यह उन विफलताओं को छिपा देता है जहाँ एक मॉडल एक प्रारूप में समस्या हल करता है लेकिन दूसरे में विफल हो जाता है, जो अमूर्त ज्यामितीय तर्क के बजाय निरूपण-विशिष्ट ह्यूरिस्टिक्स (heuristics) पर निर्भरता के कारण होता है। यह शोध पत्र इस बात की समझ के अंतर को संबोधित करता है कि क्या LLMs के पास वास्तविक ज्यामितीय तर्क है या वे केवल विशिष्ट सिंटैक्टिक संरचनाओं (syntactic structures) के पैटर्न-मैचिंग पर निर्भर हैं।

2. कार्यप्रणाली: GeoRepEval फ्रेमवर्क (Methodology: GeoRepEval Framework)

लेखक GeoRepEval प्रस्तावित करते हैं, जो एक निरूपण-जागरूक मूल्यांकन फ्रेमवर्क है जिसे समानांतर समस्या स्वरूपों में शुद्धता, अपरिवर्तनीयता और निरंतरता को मापने के लिए डिज़ाइन किया गया है।

A. डेटासेट निर्माण (Dataset Construction)

• स्रोत: मानक भारतीय पाठ्यपुस्तकों (NCERT, RD Sharma, RS Aggarwal) से क्यूरेट किए गए 158 मुख्य हाई-स्कूल ज्यामिति प्रश्न।
• समानांतर पीढ़ी (Parallel Generation): प्रत्येक समस्या को Gemini Pro का उपयोग करके तीन गणितीय रूप से समान वेरिएंट्स (यूक्लिडियन, कोऑर्डिनेट, वेक्टर) में रूपांतरित किया गया, जिसके बाद गणितीय विशेषज्ञों द्वारा अर्थपूर्ण समानता और उत्तर की विशिष्टता सुनिश्चित करने के लिए मैन्युअल सत्यापन किया गया।
• पैमाना: अंतिम डेटासेट में 474 इंस्टेंस (158 समस्याएँ $\times$ 3 निरूपण) शामिल हैं।

B. मूल्यांकन मेट्रिक्स (Evaluation Metrics)

यह फ्रेमवर्क मानक सटीकता के साथ दो नए उच्च-क्रम मेट्रिक्स पेश करता है:

1. Invariance@3: उन समस्याओं का अंश जिन्हें तीनों निरूपणों में एक साथ सही ढंग से हल किया गया है।
   • गुणधर्म: यह सबसे कमजोर निरूपण की सटीकता द्वारा सीमित है ($Invariance@3 \le \min(Acc_{euc}, Acc_{coord}, Acc_{vec})$)।
2. Consistency@3: उन समस्याओं का अंश जहाँ मॉडल तीनों निरूपणों में एक ही आउटपुट देता है (चाहे उत्तर सही हो या गलत)।
   • गुणधर्म: $Consistency@3 \ge Invariance@3$। उनके बीच का अंतर व्यवस्थित त्रुटियों (समान गलत उत्तर) को दर्शाता है न कि निरूपण संवेदनशीलता को।
3. विफलता पैटर्न विश्लेषण (Failure Pattern Analysis): समस्याओं को शुद्धता पैटर्न (जैसे, CCW: यूक्लिडियन/कोऑर्डिनेट पर सही, वेक्टर पर गलत) द्वारा वर्गीकृत किया जाता है ताकि विशिष्ट विफलता मोड की पहचान की जा सके।

C. सांख्यिकीय कठोरता (Statistical Rigor)

• नियंत्रण (Controls): रिग्रेशन विश्लेषण टोकन लंबाई और सिम्बोलिक डेंसिटी जैसे सतही लक्षणों को नियंत्रित करता है।
• परीक्षण: देखे गए अंतराल की सांख्यिकीय सार्थकता की पुष्टि करने के लिए बूटस्ट्रैप कॉन्फिडेंस इंटरवल (10,000 रीसैंपल्स) और पेयर्ड मैकनेमर टेस्ट (paired McNemar tests) का उपयोग किया जाता है।

3. प्रमुख योगदान (Key Contributions)

1. GeoRepEval फ्रेमवर्क: एक सांख्यिकीय रूप से ठोस मूल्यांकन पाइपलाइन जिसमें अपरिवर्तनीयता और निरंतरता को मानक सटीकता से जोड़ने वाले औपचारिक रूप से न्यायसंगत मेट्रिक्स हैं।
2. समानांतर बेंचमार्क: तीन अर्थपूर्ण रूप से समान निरूपणों में 158 मुख्य ज्यामिति समस्याएँ प्रदान करने वाला पहला डेटासेट, जो समस्या-स्तर के अपरिवर्तनीयता परीक्षण को सक्षम बनाता है।
3. नाजुकता का अनुभवजन्य प्रमाण (Empirical Evidence of Fragility): यह प्रदर्शित करता है कि केवल निरूपण चयन के कारण 14 प्रतिशत अंक तक के सटीकता अंतराल मौजूद हैं, जिसमें वेक्टर सूत्र मुख्य विफलता बिंदु हैं।
4. हस्तक्षेप विश्लेषण (Intervention Analysis): एक "Convert-then-Solve" (CTS) प्रॉम्प्टिंग रणनीति पेश करता है, जो दिखाता है कि उच्च-क्षमता वाले मॉडल लगभग पूर्ण वेक्टर सटीकता प्राप्त कर सकते हैं यदि पहले उन्हें समस्या को यूक्लिडियन रूप में अनुवादित करने के लिए प्रेरित किया जाए।

4. मुख्य परिणाम (Key Results)

अध्ययन ने 11 LLMs (7B से 20B पैरामीटर्स तक, जिसमें LLaMA, GPT, Claude और Gemini जैसे ओपन-वेट और प्रोप्रायटरी मॉडल शामिल हैं) का मूल्यांकन किया।

• निरूपण पूर्वाग्रह (Representation Bias): यूक्लिडियन स्वरूपों ने लगातार उच्चतम सटीकता दी, जबकि वेक्टर स्वरूप मुख्य विफलता बिंदु थे।
  • उदाहरण: Claude-Haiku ने यूक्लिडियन पर 60% सटीकता प्राप्त की, लेकिन वेक्टर पर केवल 46% (14 pp का अंतर)।
  • निम्न-स्तरीय प्रदर्शन: LLaMA-3.1-8B ने केवल 0.044 की Invariance@3 प्राप्त की, जिसका अर्थ है कि 5% से भी कम समस्याओं को तीनों रूपों में सही ढंग से हल किया गया था।
• विफलता पैटर्न: CCW पैटर्न (यूक्लिडियन/कोऑर्डिनेट पर सही, वेक्टर पर गलत) WCC (यूक्लिडियन/कोऑर्डिनेट पर गलत, वेक्टर पर सही) की तुलना में 2-5 गुना अधिक बार देखा गया। यह सुझाव देता है कि मॉडल यूक्लिडियन तर्क टेम्पलेट्स को सहजता से लागू करते हैं लेकिन वेक्टर प्रक्रियात्मक श्रृंखलाओं (procedural chains) के साथ संघर्ष करते हैं।
• सांख्यिकीय सार्थकता: प्रॉम्प्ट लंबाई और सिम्बोलिक जटिलता को नियंत्रित करने के बाद भी, 11 में से 8 मॉडलों के लिए यूक्लिडियन और वेक्टर निरूपणों के बीच सटीकता का अंतर सांख्यिकीय रूप से महत्वपूर्ण था ($p < 0.05$)।
• Convert-then-Solve (CTS) हस्तक्षेप:
  • उच्च/मध्यम-क्षमता वाले मॉडल: CTS ने वेक्टर सटीकता में 52 प्रतिशत अंक तक सुधार किया (जैसे, Gemini-2.5-Flash 45% से बढ़कर 97% हो गया)। यह सुझाव देता है कि उनकी विफलताएं निरूपण संवेदनशीलता के कारण हैं, न कि तर्क क्षमता की कमी के कारण।
  • निम्न-क्षमता वाले मॉडल: LLaMA-3.1-8B जैसे मॉडलों ने CTS के साथ कोई महत्वपूर्ण लाभ नहीं दिखाया, जो गहरे तर्क संबंधी सीमाओं को इंगित करता है जिन्हें प्रॉम्प्टिंग से ठीक नहीं किया जा सकता है।

5. महत्व और निहितार्थ (Significance and Implications)

• ह्यूरिस्टिक्स बनाम तर्क (Heuristics vs. Reasoning): परिणाम बताते हैं कि वर्तमान LLMs अमूर्त ज्यामितीय तर्क के बजाय निरूपण-विशिष्ट ह्यूरिस्टिक्स (संभवतः प्रशिक्षण डेटा वितरण से सीखे गए जहाँ यूक्लिडियन/कोऑर्डिनेट रूप अधिक सामान्य हैं) पर बहुत अधिक निर्भर करते हैं।
• बेंचमार्क की सीमाएं: एकल-प्रारूप बेंचमार्क वास्तविक तर्क क्षमताओं का आकलन करने के लिए अपर्याप्त हैं; एक मॉडल वास्तव में मजबूत प्रतीत हो सकता है जबकि वह अर्थपूर्ण रूप से समान विविधताओं पर विफल हो जाता है।
• सुरक्षा और विश्वसनीयता: सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए, निरूपण का चुनाव विश्वसनीयता को भौतिक रूप से प्रभावित करता है। GeoRepEval इन जोखिमों का निदान करने के लिए एक उपकरण प्रदान करता है।
• भावी दिशाएं: पेपर निरूपण सुदृढ़ता में सुधार के लिए प्रशिक्षण-समय हस्तक्षेप की आवश्यकता पर जोर देता है और अन्य गणितीय डोमेन एवं तर्क रणनीतियों (जैसे, Chain-of-Thought) में इस फ्रेमवर्क के विस्तार का सुझाव देता है।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि निरूपण अपरिवर्तनीयता (representation invariance) एक महत्वपूर्ण, अपूर्ण बेंचमार्क है। जबकि उच्च-क्षमता वाले मॉडल्स के पास अंतर्निहित तर्क क्षमता होती है, वे विशिष्ट प्रॉम्प्टिंग हस्तक्षेप के बिना विभिन्न गणितीय औपचारिकताओं में इस क्षमता का निरंतर उपयोग करने में विफल रहते हैं।