Enhancing Mathematical Problem Solving in LLMs through Execution-Driven Reasoning Augmentation
यह शोध पत्र इटरेटिवली इम्प्रूव्ड प्रोग्राम कंस्ट्रक्शन (IIPC) को प्रस्तुत करता है, जो निष्पादन फीडबैक (execution feedback) और नेटिव चेन-ऑफ-थॉट क्षमताओं के संयोजन के माध्यम से प्रोग्रामेटिक रीजनिंग चेन्स को पुनरावृत्तीय रूप से परिष्कृत करके LLMs में गणितीय तर्क क्षमता को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल, बहु-चरणीय गणितीय पहेली को हल करने की कोशिश कर रहे हैं। आज के अधिकांश AI मॉडल इस काम को एक ऐसे छात्र की तरह करते हैं जो अपना पूरा उत्तर कागज के एक लंबे, निरंतर स्क्रॉल पर लिखता है। यदि वे दूसरी पंक्ति में गलती करते हैं, तो वे बस लिखते जाते हैं और लिखते जाते हैं, और अंततः एक गलत निष्कर्ष पर पहुँच जाते हैं क्योंकि वे अपनी ही गलती में "लॉक" हो जाते हैं।
यह लेख पेश करता है कि AI के सोचने का एक नया तरीका क्या है जिसे IIPC (Iteratively Improved Program Construction) कहा जाता है। यह समझने के लिए कि यह एक बड़ी सफलता क्यों है, आइए देखें कि यह AI तर्क (reasoning) की दो सबसे बड़ी समस्याओं को कैसे ठीक करता है।
1. "टूटे हुए स्क्रॉल" की समस्या (समाधान: संपादन योग्य ब्लूप्रिंट)
समस्या: अधिकांश AI एजेंट एक सीधी रेखा में काम करते हैं। एक बार जब वे कहते हैं, "चरण 1 X है, चरण 2 Y है," तो वे पीछे नहीं जा सकते। यदि चरण 1 वास्तव में गलत था, तो पूरा "स्क्रॉल" बर्बाद हो जाता है। इसे "कैस्केडिंग एरर" (एक के बाद एक होने वाली त्रुटि) कहा जाता है।
IIPC समाधान: एक स्क्रॉल पर लिखने के बजाय, कल्पना कीजिए कि AI निर्देशों के एक सेट (एक कंप्यूटर प्रोग्राम) का पालन करते हुए एक लेगो (Lego) सेट बना रहा है।
- यदि AI को एहसास होता है कि लेगो टावर बाईं ओर झुक रहा है (एक त्रुटि), तो वह बस ऊपर निर्माण करना जारी नहीं रखता।
- वह रुकता है, अपने "एरर मेमोरी" (पुरानी गलतियों की एक नोटबुक) को देखता है, और कहता है, "रुको, मैंने चरण 3 में गलत ईंट का उपयोग किया था।"
- वह उस विशिष्ट ईंट को बाहर निकालता है, उसे ठीक करता है, और उस बिंदु से फिर से निर्माण करता है। वह अपने तर्क को एक स्थायी वाक्य के बजाय एक जीवित ब्लूप्रिंट के रूप में मानता है जिसे संपादित किया जा सकता है।
2. "विचलित प्रतिभाशाली" की समस्या (समाधान: दो-मस्तिष्क प्रणाली)
समस्या: कभी-कभी, जब कोई AI कैलकुलेटर (कोड) का उपयोग करता है, तो वह "विचलित" हो जाता है। यदि कैलकुलेटर एक अजीब या बेतुकी संख्या देता है, तो AI सोच सकता है, "खैर, कैलकुलेटर ने 5 कहा है, तो मुझे लगता है कि उत्तर 5 है," भले ही उसका अपना तर्क कहता हो कि यह असंभव है। वह उपकरण पर बहुत अधिक भरोसा करता है और अपना सामान्य ज्ञान खो देता है।
IIPC समाधान: IIPC AI को दो मस्तिष्क देता है जो एक साथ काम करते हैं:
- मस्तिष्क A (द फिलोसॉफर - द दार्शनिक): यह मस्तिष्क "चेन-ऑफ-थॉट" तर्क करता है। यह साधारण अंग्रेजी में तर्क को समझाता है, जो "क्यों" और "कैसे" पर ध्यान केंद्रित करता है। यह धीमा, सावधान और तार्किक है।
- मस्तिष्क B (द इंजीनियर - द इंजीनियर): यह मस्तिष्क कंप्यूटर कोड लिखता है और उसे चलाता है। यह तेज़, सटीक है और भारी गणित को संभालता है।
जादुई क्षण (द फ्यूजन - विलय): बिल्कुल अंत में, दोनों मस्तिष्क एक "मीटिंग रूम" में मिलते हैं। वे नोट्स की तुलना करते हैं। यदि इंजीनियर कहता है, "उत्तर 5 है," लेकिन दार्शनिक कहता है, "रुको, ज्यामिति के नियमों के आधार पर यह समझ में नहीं आता," तो AI केवल कैलकुलेटर का अंधाधधुंध पालन नहीं करता है। वह इंजीनियर के गणित की जांच करने के लिए दार्शनिक के तर्क का उपयोग करता है। यह "दोहरा-चेक" AI को एक ग्लिच वाली गणना द्वारा गुमराह होने से बचाता है।
परिणाम: यह क्यों मायने रखता है?
शोधकर्ताओं ने अत्यंत कठिन गणित प्रतियोगिताओं (जैसे AIME) पर इसका परीक्षण किया। उन्होंने पाया कि:
- जैसे-जैसे समस्याएं कठिन होती जाती हैं, यह और स्मार्ट होता जाता है: जबकि पुराने तरीके विफल होने लगते थे जब गणित "बॉस-लेवल" कठिन हो जाता था, IIPC स्थिर रहा।
- यह अपने स्वयं के "ओप्स" (गलती) क्षणों से सीखता है: क्योंकि यह अपनी गलतियों की याद रखता है, यह एक ही पत्थर से दोबारा नहीं टकराता है।
- यह अधिक स्थिर है: "दो-मस्तिष्क" प्रणाली का उपयोग करके, यह उन "हैलुसिनेशन" (चीजों को मनगढ़ंत बनाना) से बचता है जो अन्य AI मॉडलों को परेशान करते हैं।
संक्षेप में: IIPC AI को एक ऐसे छात्र से एक कुशल शिल्पकार में बदल देता है जो एक ब्लूप्रिंट, एक कैलकुलेटर और एक दूसरी राय का उपयोग करता है ताकि यह सुनिश्चित किया जा सके कि काम पूरी तरह से किया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।