ArithmAttack: Evaluating Robustness of LLMs to Noisy Context in Math Problem Solving
यह शोध पत्र ArithmAttack को प्रस्तुत करता है, जो गणितीय समस्या समाधान में विराम चिह्न के शोर (punctuation noise) के प्रति बड़े भाषा मॉडलों की मजबूती का मूल्यांकन करने की एक विधि है, जिससे यह पता चलता है कि परीक्षण किए गए आठ मॉडल सूचना की हानि के बिना भी शोर के स्तर में वृद्धि के साथ प्रदर्शन में गिरावट का शिकार होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, अत्यंत बुद्धिमान रोबोट सहायक है जो जटिल गणित की समस्याओं को हल कर सकता है। आप उससे पूछते हैं, "अगर मैंने 8 ब्राउनी बेक कीं लेकिन मुझे 17 चाहिए, तो मुझे और कितनी चाहिए?" रोबोट एक पल के लिए सोचता है और कहता है, "9!" यह एकदम सटीक है।
अब, कल्पना कीजिए कि आप उसी प्रश्न पर थोड़ा सा "डिजिटल ग्लिटर" (डिजिटल चमक) छिड़क देते हैं—जैसे कि जगह-जगह बिखरे हुए विस्मयादिबोधक चिह्न (!), प्रश्न चिह्न (?) और अर्धविराम (;)।
"?! टिफ़नी ने 8 ब्राउनी बेक कीं, लेकिन उसे अपनी पार्टी के लिए 17 ! कुल चाहिए थे ;। यदि उसने : 8 कप मैदा इस्तेमाल किया..."
आप सोच सकते हैं, "शब्द तो वही हैं, तो रोबोट को सही उत्तर देना चाहिए।" लेकिन यहाँ एक मोड़ है: रोबोट अचानक भ्रमित हो जाता है और गलत उत्तर देता है।
यह बिल्कुल वैसा ही है जैसा कि शोध पत्र "ArithmAttack" के बारे में है। शोधकर्ताओं ने यह देखना चाहा कि ये AI गणित के जीनियस वास्तव में कितने नाजुक हैं जब उनके निर्देश थोड़े अस्त-व्यस्त हो जाते हैं।
प्रयोग: "विराम चिह्न का मज़ाक" (The Punctuation Prank)
शोधकर्ताओं ने AI को टेस्ट करने का एक नया तरीका बनाया जिसे ArithmAttack कहा गया। इसे एक ऐसे मज़ाक की तरह समझें जहाँ आप गणित की समस्या की कहानी को नहीं बदलते, बस उसके विराम चिह्नों को बिगाड़ देते हैं।
- लक्ष्य: यह देखना कि क्या यादृच्छिक शोर (जैसे
!,?,;,:) जोड़ने से AI विफल हो जाता है। - नियम: उन्होंने कोई शब्द नहीं हटाया और न ही अर्थ बदला। उन्होंने केवल अतिरिक्त चिह्न डाले। यह एक बिल्कुल स्पष्ट वाक्य में हर तीसरे शब्द पर स्टिकर लगाने जैसा है। वाक्य अभी भी एक इंसान के लिए समझ में आता है, लेकिन AI लड़खड़ा जाता है।
उन्होंने इसे आठ अलग-अलग प्रसिद्ध AI मॉडलों (जैसे Llama, Mistral और DeepSeek) पर दो लोकप्रिय गणित परीक्षण सेटों (GSM8K और MultiArith) का उपयोग करके परखा।
उन्होंने क्या पाया: "कांच के घर" का प्रभाव (The "Glass House" Effect)
परिणाम आश्चर्यजनक थे। भले ही गणित की समस्याएँ समान थीं, लेकिन AI मॉडल शोर के प्रति बहुत संवेदनशील थे।
- अधिक शोर = अधिक भ्रम: ठीक वैसे ही जैसे किसी व्यक्ति को तब परेशानी हो सकती है और वह गलती कर सकता है जब आप उसे सोचने की कोशिश करते समय बार-बार उसके कंधे पर थपथपाते रहते हैं, AI का प्रदर्शन शोर (punctuation noise) की मात्रा बढ़ने के साथ खराब होता गया।
- "सबसे स्मार्ट" मॉडल भी लड़खड़ाते हैं: सबसे उन्नत मॉडल (जैसे Llama 3.1) भी भ्रमित हो गए, हालांकि उनके पूरी तरह से विफल होने की संभावना सबसे कम थी।
- "गणित-विशेषज्ञ" की जीत: एक मॉडल, Mathstral, जिसे विशेष रूप से गणित पर प्रशिक्षित किया गया था। इसने अपने "सामान्य" चचेरे भाई, Mistral की तुलना में शोर को बेहतर तरीके से संभाला। यह एक पेशेवर शेफ द्वारा अव्यवस्थित रसोई को संभालने जैसा है, एक घरेलू रसोइया की तुलना में; अतिरिक्त प्रशिक्षण उन्हें केंद्रित रहने में मदद करता है।
- संघर्ष करने वाला मॉडल: Zephyr नाम का मॉडल सबसे नाजुक था। वह पहले से ही गणित में बहुत अच्छा नहीं था, और विराम चिह्न के शोर ने उसे पूरी तरह से ध्वस्त कर दिया।
यह क्यों मायने रखता है?
आप पूछ सकते हैं, "गणित की समस्या में यादृच्छिक विराम चिह्न कौन डालता है?"
वास्तविक दुनिया में, AI को केवल पूर्ण, साफ टेक्स्ट नहीं मिलता। उसे मिलता है:
- तेज़ टाइप करने वालों की गलतियाँ (Typos)।
- कॉपी-पेस्ट करने से होने वाला अजीब फॉर्मेटिंग।
- इंटरनेट से प्राप्त शोर भरा डेटा।
यह शोध पत्र दिखाता है कि वर्तमान AI मॉडल कांच के घरों की तरह हैं: वे मजबूत दिखते हैं और कठिन समस्याओं को हल कर सकते हैं, लेकिन थोड़ा सा "शोर" (जैसे कुछ अतिरिक्त विराम चिह्न) उनके तर्क करने की क्षमता को चकनाचूर कर सकता है।
निष्कर्ष (The Takeaway)
शोधकर्ताओं ने निष्कर्ष निकाला कि जबकि AI गणित में बेहतर हो रहा है, यह अभी भी बहुत नाजुक है। यह टेक्स्ट की "स्वच्छता" पर बहुत अधिक निर्भर करता है। यदि हम चाहते हैं कि AI वास्तविक दुनिया में वास्तव में विश्वसनीय हो, तो हमें इसे "डिजिटल ग्लिटर" को अनदेखा करना और शब्दों के वास्तविक अर्थ पर ध्यान केंद्रित करना सिखाना होगा, ठीक वैसे ही जैसे एक इंसान करता है।
संक्षेप में: यह शोध पत्र साबित करता है कि यदि आप विराम चिह्नों को पर्याप्त रूप से बिगाड़ देते हैं, तो सबसे स्मार्ट AI गणित विशेषज्ञ भी एक भ्रमित ढेर में बदल सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।