GSM-SEM: Benchmark and Framework for Generating Semantically Variant Augmentations
यह शोध पत्र GSM-SEM को प्रस्तुत करता है, जो एक स्टोकेस्टिक ढांचा (stochastic framework) है जो LLM मूल्यांकन में मेमोराइजेशन बायस (memorization bias) को कम करने के लिए अर्थपूर्ण रूप से विविध और तथ्यात्मक रूप से परिवर्तित बेंचमार्क वेरिएंट उत्पन्न करता है, जो इन गतिशील रूप से पुनर्जीवित डेटासेट पर परीक्षण किए जाने पर अत्याधुनिक मॉडलों के प्रदर्शन में महत्वपूर्ण गिरावट को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह परीक्षण करने की कोशिश कर रहे हैं कि एक छात्र गणित में कितना अच्छा है। आप उन्हें एक मानक टेस्ट देते हैं, जैसे कि प्रसिद्ध GSM8K (ग्रेड-स्कूल की गणित संबंधी वर्ड प्रॉब्लम्स का एक संग्रह)। यदि वे एक परफेक्ट स्कोर प्राप्त करते हैं, तो आप सोच सकते हैं, "वाह, यह छात्र गणित का जीनियस है!"
लेकिन क्या होगा अगर छात्र ने वास्तव में गणित नहीं सीखा है? क्या होगा अगर उसने केवल इस विशिष्ट टेस्ट के उत्तरों को रट लिया है क्योंकि उसने इसे हज़ार बार देखा है? वे उत्तर सही दे सकते हैं, लेकिन यदि आप कहानी को थोड़ा बदल देते हैं—जैसे, "सेब" की जगह "संतरे" कर देना या संख्याएँ बदल देना—तो वे भ्रमित हो सकते हैं और असफल हो सकते हैं।
यही वह समस्या है जिसे GSM-SEM पेपर हल करने की कोशिश कर रहा है।
समस्या: "चीट शीट" प्रभाव (The "Cheat Sheet" Effect)
वर्तमान AI मॉडल (जैसे चैटबॉट्स को चलाने वाले मॉडल) बेंचमार्क में अविश्वसनीय रूप से अच्छे होते जा रहे हैं। लेकिन लेखकों को संदेह है कि ये उच्च स्कोर एक छलावा (mirage) हैं। मॉडल अनिवार्य रूप से बेहतर तर्क (reasoning) नहीं कर रहे हैं; वे बस उन विशिष्ट प्रश्नों और उत्तरों को रट रहे हैं जो उनके प्रशिक्षण (training) के दौरान देखे गए थे।
इन परिवर्तनों को ठीक करने के मौजूदा तरीके "परटर्बेशन" (perturbations) शामिल करते हैं, जो टेस्ट में छोटे बदलाव करने जैसा है:
- पैराफ्रेसिंग (Paraphrasing): वाक्यों को अलग शब्दों में फिर से लिखना।
- नाम बदलना (Renaming): "जॉन" को "जेन" में बदलना।
- संख्या बदलना (Swapping numbers): 5 को 6 में बदलना।
लेखक तर्क देते हैं कि ये परिवर्तन बहुत सतही हैं। ये एक चीट शीट पर फॉन्ट बदलने जैसा है; छात्र अभी भी नकल कर सकता है क्योंकि अंतर्निहित तथ्य और तर्क बिल्कुल समान रहते हैं।
समाधान: GSM-SEM (द "स्टोरी राइटर")
लेखक GSM-SEM पेश करते हैं, जो एक नया फ्रेमवर्क है जो गणित की समस्याओं के लिए एक 'क्रिएटिव राइटिंग कोच' की तरह काम करता है। केवल शब्दों को बदलने के बजाय, यह पूरे कथानक (story) को फिर से लिखता है, जबकि गणित का उत्तर बिल्कुल वही रहता है।
यहाँ एक रचनात्मक उपमा (analogy) दी गई है:
कल्पना कीजिए कि एक गणित की समस्या केक बनाने की रेसिपी है जिससे 10 स्लाइस मिलते हैं।
- पुराना तरीका (Paraphrasing): आप रेसिपी का शीर्षक "चॉकलेट केक" से बदलकर "डार्क कोको केक" कर देते हैं और "मैदा" को "गेहूं का आटा" से बदल देते हैं। रेसिपी अभी भी उसी तरह काम करती है, और मॉडल केवल पैटर्न को पहचान लेता है।
- GSM-SEM तरीका: आप पूरी कहानी ही बदल देते हैं। अब समस्या केक बनाने के बारे में नहीं, बल्कि पेंट मिलाने या रॉकेट के लिए ईंधन की गणना करने के बारे में है। कहानी पूरी तरह से अलग है, वस्तुएं अलग हैं, और संदर्भ (context) नया है। हालाँकि, इसे हल करने के लिए आवश्यक गणित (संख्याएँ और अंतिम उत्तर) बिल्कुल समान रहता है।
मॉडल अब "केक रेसिपी" को याद करने पर निर्भर नहीं रह सकता। उसे सही उत्तर पाने के लिए नई कहानी के तर्क को वास्तव में समझना होगा।
उन्होंने इसे कैसे बनाया
टीम ने एक ऐसी प्रणाली बनाई जो:
- एक गणित की समस्या और उसके सही उत्तर को लेती है।
- AI मॉडल से एक नई कहानी बनाने के लिए कहती है जो उसी उत्तर तक ले जाए। (उदाहरण के लिए, "यदि उत्तर 15 है, तो एक बेकर, एक अंतरिक्ष यान, या एक वीडियो गेम के बारे में एक कहानी लिखें जिसके परिणामस्वरूप 15 आए।")
- परिणामों को फ़िल्टर करती है ताकि यह सुनिश्चित हो सके कि नई कहानी मूल कहानी से वास्तव में अलग है (केवल मामूली पुनर्गठन नहीं) लेकिन फिर भी हल करने योग्य है।
- मानवीय समीक्षकों (human reviewers) के साथ नए प्रश्नों को सत्यापित करती है ताकि यह सुनिश्चित हो सके कि वे समझ में आने योग्य हैं।
उन्होंने इसे तीन अलग-अलग बेंचमार्क सेटों पर लागू किया, जिससे GSM8K-SEM, GSM-Symbolic-SEM, और GSM-Plus-SEM नामक नए संस्करण तैयार हुए।
उन्हें क्या पता चला
उन्होंने उपलब्ध 14 सबसे स्मार्ट AI मॉडलों (OpenAI, Google और Meta के मॉडलों सहित) का इन नए "स्टोरी-रीरिटन" टेस्ट पर परीक्षण किया।
परिणाम:
- "जीनियस" मॉडल लड़खड़ा गए: जब मॉडलों का सामना इन नई, सिमेंटिक रूप से भिन्न कहानियों से हुआ, तो उनका प्रदर्शन काफी गिर गया। औसतन, जब सिमेंटिक परिवर्तनों को अन्य कठिन विविधताओं के साथ जोड़ा गया, तो वे लगभग 28% कम प्रश्न सही कर पाए।
- रटने की प्रक्रिया उजागर हुई: तथ्य यह कि मॉडल नई कहानियों पर इतनी बुरी तरह विफल रहे, यह साबित करता है कि उनके पिछले उच्च स्कोर काफी हद तक याद रखने (memorization) के कारण थे, न कि वास्तविक तर्क के कारण।
- "डबल ट्रबल" प्रभाव: मॉडल सबसे अधिक तब संघर्ष करते थे जब कहानी बदली गई थी और अन्य तत्वों (जैसे संख्या या तर्क संरचना) को भी टवीक (tweak) किया गया था। यह सुझाव देता है कि वर्तमान AI बहुत नाजुक (brittle) है; यह एक प्रकार के बदलाव को संभाल सकता है, लेकिन बदलावों के संयोजन को नहीं।
मुख्य निष्कर्ष (The Takeaway)
पेपर निष्कर्ष निकालता है कि GSM-SEM यह परीक्षण करने का एक बेहतर तरीका है कि क्या एक AI वास्तव में "सोच" रहा है या केवल "दोहरा" रहा है। लगातार नई, अद्वितीय कहानियाँ उत्पन्न करके जो एक ही गणितीय उत्तर की आवश्यकता रखती हैं, यह मॉडलों को याद रखने के माध्यम से नकल करने से रोकता है।
लेखकों ने यह भी दिखाया कि यह अन्य प्रकार के लॉजिक पजल्स (केवल गणित ही नहीं) पर भी काम करता है, जो यह साबित करता है कि यह "स्टोरी-रीराइटिंग" दृष्टिकोण यह देखने के लिए एक शक्तिशाली उपकरण है कि क्या AI वास्तव में मजबूत (robust) है या केवल पैटर्न मैचिंग में कुशल है।
संक्षेप में: यदि आप जानना चाहते हैं कि क्या कोई AI बुद्धिमान है, तो उससे वही प्रश्न न पूछें जो उसने पहले सुने हैं। उससे एक ऐसी नई कहानी सुनाने को कहें जो उसी उत्तर की ओर ले जाए। यदि वह ऐसा नहीं कर सकता, तो वह तर्क नहीं कर रहा है; वह केवल याद कर रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।