Gold-Guided Programmatic Distillation for Financial Reasoning over Hybrid Tables and Text
यह शोध पत्र एक गोल्ड-गाइडेड प्रोग्रामैटिक डिस्टिलेशन फ्रेमवर्क प्रस्तावित करता है जो त्रुटिपूर्ण प्राकृतिक भाषा तर्क के बजाय निष्पादन-सत्यापित पायथन प्रोग्रामों का उपयोग करके बड़े भाषा मॉडलों से विश्वसनीय संख्यात्मक तर्क को कॉम्पैक्ट स्टूडेंट मॉडलों में स्थानांतरित करता है, जिससे TAT-QA वित्तीय तर्क बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत बड़े, पेचीदा पहेली को सुलझाने की कोशिश कर रहे हैं जहाँ आधी सुराग कहानियों में लिखे हैं और दूसरी आधी एक बिखेरी हुई स्प्रेडशीट के अंदर छिपी हुई है। वित्तीय प्रश्नों के उत्तर देने की कोशिश करने वाले कंप्यूटर का दैनिक जीवन यही है। लंबे समय से, वैज्ञानिक कंप्यूटर को "सोचना" सिखा रहे हैं, उन्हें यह पूछकर कि वे अपने चरणों को साधारण अंग्रेजी में लिखें, जैसे कोई छात्र गणित के टेस्ट पर अपना काम दिखाता है। इसे "चेन-ऑफ-थॉट" (Chain-of-Thought) कहा जाता है। लेकिन यहाँ एक पेंच है: जब कंप्यूटर वाक्यों को लिखते हुए अपने दिमाग में गणित करने की कोशिश करते हैं, तो वे बहुत खराब होते हैं। वे अक्सर विचलित हो जाते हैं, नंबरों को मिला देते हैं, या बस ऐसे उत्तर बना लेते हैं जो सुनने में अच्छे लगते हैं लेकिन गलत होते हैं। यह एक शानदार कहानीकार को मानव कैलकुलेटर होने के लिए कहने जैसा है; वे आमतौर पर गणित वाले हिस्से में विफल हो जाते हैं।
इसे ठीक करने के लिए, शोधकर्ताओं ने कंप्यूटर को वाक्य लिखने के बजाय कोड लिखना सिखाना शुरू किया। कोड एक सख्त रेसिपी की तरह है जिसका एक कंप्यूटर बिना भ्रमित हुए पूरी तरह से पालन कर सकता है। लेकिन एक नई समस्या है: आप एक छोटे, तेज़ कंप्यूटर को ये सटीक रेसिपी कैसे सिखा सकते हैं यदि आपके पास एकमात्र शिक्षक एक विशाल, धीमा कंप्यूटर है जो कभी-कभी गलतियाँ भी करता है? यदि शिक्षक एक गलत रेसिपी देता है, तो छात्र गलत तरीका सीख जाता है। यह शोध पत्र ठीक इसी समस्या पर काम करता है। यह पूछता है: क्या हम एक छोटे कंप्यूटर को गणित का जादूगर बना सकते हैं, केवल उसे शिक्षक की सटीक रेसिपी से सीखने देकर, और फिर उन रेसिपी को ठीक करने में मदद करके जिन्हें शिक्षक ने गलत किया है?
द गोल्डन रेसिपी बुक (स्वर्ण रेसिपी पुस्तक)
शोधकर्ताओं ने, जो जॉर्जिया टेक और स्टैनफोर्ड की एक टीम है, एक चतुर दो-चरणीय योजना बनाई जिसे "गोल्ड-गाइडेड प्रोग्रामेटिक डिस्टिलेशन" (Gold-Guided Programmatic Distillation) कहा जाता है। इसे एक मास्टर शेफ (शिक्षक, एक विशाल 72-बिलियन-पैरामीटर मॉडल) के रूप में सोचें जो एक युवा प्रशिक्षु (छात्र, एक छोटा 7-बिलियन-पैरामीटर मॉडल) को एक जटिल वित्तीय व्यंजन पकाने का तरीका सिखाने की कोशिश कर रहा है।
चरण 1: सख्त फ़िल्टर
आमतौर पर, जब एक शिक्षक छात्र को कुछ करना दिखाता है, तो वे बस कहते हैं, "यहाँ बताया गया है कि मैंने इसे कैसे किया।" लेकिन इस दुनिया में, शिक्षक गलती करने के लिए स्वतंत्र है। इसलिए, शोधकर्ताओं ने एक जादुई "गोल्ड गाइड" जोड़ा। रेसिपी (एक पायथन प्रोग्राम) लिखने से पहले, शिक्षक को गुप्त रूप से सही उत्तर कुंजी दिखाई जाती है। फिर शिक्षक एक ऐसी रेसिपी लिखने की कोशिश करता है जो ठीक उसी उत्तर तक ले जाए।
यहाँ जादू का कमाल है: टीम ने केवल शिक्षक की बात पर भरोसा नहीं किया। उन्होंने शिक्षक द्वारा लिखी गई हर एक रेसिपी को एक सख्त "टेस्ट टेस्ट" (एक कंप्यूटर प्रोग्राम जो कोड को चलाता है) के माध्यम से चलाया। यदि रेसिपी में कोई टाइपो था, वह क्रैश हो गई, या उसका परिणाम सटीक संख्या नहीं था, तो उसे कचरे में डाल दिया गया। केवल वे रेसिपी जो पूरी तरह से काम करती थीं और स्वर्ण उत्तर से मेल खाती थीं, उन्हें एक विशेष "गोल्डन रेसिपी बुक" में सहेजा गया। छोटे छात्र को फिर केवल इन सटीक रेसिपी पर प्रशिक्षित किया गया। इसने सुनिश्चित किया कि छात्र कभी भी गलत आदत न सीखे।
चरण 2: कमबैक टूर (वापसी का दौर)
लेकिन उन कठिन सवालों का क्या जहाँ विशाल शिक्षक भी काम करने वाली रेसिपी नहीं लिख सका? शिक्षक बस हार मान लेगा, जिससे वे सवाल अनसुलझे रह जाएंगे। शोधकर्ता उन सवालों को पीछे नहीं छोड़ना चाहते थे। उन्होंने एक "रिकवरी स्टेज" (पुनर्प्राप्ति चरण) पेश किया।
उन्होंने उन सवालों को लिया जहाँ शिक्षक विफल रहा और छात्र को फिर से प्रयास करने के लिए कहा। छात्र एक ही प्रश्न के लिए पाँच अलग-अलग संभावित रेसिपी उत्पन्न करेगा। पहले की तरह ही, उन्होंने पाँचों को टेस्ट टेस्ट के माध्यम से चलाया। यदि छात्र की पाँचों में से कोई भी रेसिपी पूरी तरह से काम करती थी, तो उन्होंने उसे सहेज लिया। इसका मतलब था कि छात्र उन समस्याओं को हल करने के लिए खुद को "सिखा" सकता था जिन्हें शिक्षक हल नहीं कर सका, प्रभावी रूप से अपनी सफलताओं से सीखना। फिर उन्होंने छात्र को इस नए बैच पर फिर से प्रशिक्षित किया जो स्वयं द्वारा खोजे गए सटीक रेसिपी से बना था।
परिणाम: छोटा लेकिन शक्तिशाली
टीम ने इसका परीक्षण एक प्रसिद्ध वित्तीय पहेली सेट TAT-QA पर किया, जो तालिकाओं और टेक्स्ट का मिश्रण है। उन्होंने अपने प्रशिक्षित छोटे छात्र की तुलना विशाल शिक्षक, पुराने कंप्यूटर मॉडल और अन्य स्मार्ट AI सिस्टम से की।
परिणाम आश्चर्यजनक थे। छोटा छात्र, इस विशेष प्रशिक्षण के बाद, "एक्जैक्ट मैच" (जिसका अर्थ है उत्तर को बिल्कुल सही प्राप्त करना) के पैमाने पर 87.00 और "F1" (जो देखता है कि उत्तर कितना करीब है) के पैमाने पर 87.18 स्कोर करता है।
इसे समझने के लिए:
- विशाल 72-बिलियन-पैरामीटर वाला शिक्षक, "गोल्ड गाइड" संकेतों के साथ भी, 78.46 स्कोर करता है।
- पिछला सबसे अच्छा AI सिस्टम (TAT-LLM) 82.67 स्कोर करता है।
- अप्राशिक्षित छोटा छात्र 46.33 के निम्न स्तर से शुरू हुआ था।
छोटा छात्र केवल बराबरी ही नहीं कर पाया; उसने विशाल शिक्षक और सर्वश्रेष्ठ पिछले सिस्टम को वास्तव में हरा दिया। शोधकर्ताओं ने पाया कि छात्र विशेष रूप से कठिन हिस्सों में बहुत अच्छा हो गया: तालिकाओं और कहानियों दोनों में पाए जाने वाले नंबरों के साथ गणित करना।
यह क्यों महत्वपूर्ण है
यह शोध पत्र सुझाव देता है कि यह विधि छोटे, तेज़ कंप्यूटरों को विशाल मॉडलों की भारी कंप्यूटिंग शक्ति की आवश्यकता के बिना गणित में विश्वसनीय बनाने का एक शक्तिशाली तरीका है। हर गलती को फ़िल्टर करके और छात्र को उसकी स्वयं की रिकवर की गई सफलताओं से सीखने देकर, उन्होंने एक ऐसा सिस्टम बनाया जो स्मार्ट और सटीक दोनों है।
हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि समस्या 100% हल नहीं हुई है। सबसे अच्छे छात्र के साथ भी, अभी भी कुछ त्रुटियाँ हैं—कभी-कभी उत्तर सही होता है लेकिन यूनिट (जैसे "मिलियन" बनाम "बिलियन") गलत होती है, या उत्तर सीधे तौर पर गलत होता है। लेकिन पहले की तुलना में, गलतियों की संख्या नाटकीय रूप से कम हो गई है, सैकड़ों त्रुटियों से घटकर केवल सौ से थोड़ा अधिक रह गई है।
शोधकर्ता निष्कर्ष निकालते हैं कि यह "गोल्ड-गाइडेड" दृष्टिकोण एक आशाजनक मार्ग है। वे सुझाव देते हैं कि भविष्य में, हम ऐसे सिस्टम बना सकते हैं जो खुद तय कर सकें कि सरल लुकअप का उपयोग करना है या एक जटिल कोड रेसिपी का, जिससे वित्तीय AI और भी अधिक सहायक और भरोसेमंद बन सके। फिलहाल के लिए, उन्होंने साबित कर दिया है कि एक छोटा, अच्छी तरह से प्रशिक्षित रोबोट संख्याओं को गिनने के मामले में एक विशाल, अपरिष्कृत एक को मात दे सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।