An Ensemble PPO Trading Agent Across Real Limit Order Book and Long-Horizon OHLCV Data: Diagnosis, Correction, and Honest Evaluation
यह शोध पत्र एक PPO-आधारित बिटकॉइन ट्रेडिंग एजेंट का एक पारदर्शी अनुभवजन्य अध्ययन प्रस्तुत करता है जो 'बाय-एंड-होल्ड' (खरीदें और रखें) रणनीति की तुलना में मामूली दीर्घकालिक श्रेष्ठता प्राप्त करने के लिए महत्वपूर्ण प्रशिक्षण विफलताओं का निदान और सुधार करता है, साथ ही यह भी प्रदर्शित करता है कि वास्तविक समय का लिमिट ऑर्डर बुक डेटा अक्सर लेनदेन लागतों के सूक्ष्म मूल्य परिवर्तनों से अधिक होने के कारण एक तर्कसंगत "नो-ट्रेड" (व्यापार न करने की) नीति प्रदान करता है, और अंततः पॉलिश की गई सफलता की कहानियों के बजाय पुनरुत्पादनीय नकारात्मक-परिणाम रिपोर्टिंग के मूल्य का समर्थन करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को बिटकॉइन ट्रेड करना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि वह केवल 'खरीदो और थामे रखो' (buy and hold) से कहीं अधिक स्मार्ट हो, लेकिन आप यह भी चाहते हैं कि वह अपना सारा पैसा न खो दे। यह शोध पत्र उस प्रक्रिया का एक "पर्दे के पीछे का" दस्तावेजीकरण है, जहाँ लेखक, विलियम डैरल टोवा, यह तय करते हैं कि जो कुछ भी गलत हुआ, जो कुछ भी सही हुआ, और क्यों कभी-कभी रोबोट बस सोफे पर बैठकर कुछ नहीं करता, उसके बारे में पूरी तरह से ईमानदार रहना है।
यहाँ शोध की कहानी है, जिसे सरल अवधारणाओं में विभाजित किया गया है:
1. दो अलग-अलग ट्रेनिंग कैंप
लेखक ने केवल एक डेटा सेट का उपयोग नहीं किया। उन्होंने अपने रोबोट को दो बहुत अलग "जिम" में प्रशिक्षित किया:
- जिम A (हाई-स्पीड माइक्रोस्कोप): इसमें 2021 के एक विशिष्ट सप्ताह के बिटकॉइन ऑर्डर बुक (खरीदने या बेचने के लिए प्रतीक्षा कर रहे लोगों की सूची) का अत्यंत विस्तृत, प्रति-सेकंड दृश्य उपयोग किया गया। यह एक रेस कार ड्राइवर को स्लो मोशन में देखने जैसा है, जहाँ आप स्टीयरिंग व्हील की हर छोटी हरकत को देख सकते हैं।
- जिम B (लॉन्ग-हॉल हाईवे): इसमें 2.4 वर्षों के प्रति घंटा वाले प्राइस चार्ट का उपयोग किया गया। यह उसी ड्राइवर को कई वर्षों तक देखने जैसा है, यह देखते हुए कि वे विभिन्न मौसमों, ट्रैफिक और सड़क की स्थितियों को कैसे संभालते हैं।
2. पहली बड़ी गिरावट: "फ्रोजन रोबोट"
जब लेखक ने पहली बार रोबोट को प्रशिक्षित करने की कोशिश की, तो वह तुरंत टूट गया। रोबोट ने एक ट्रेड किया, और फिर 195,000 स्टेप्स तक वह बस जम गया। उसने सीखना और हिलना-डुलना बंद कर दिया।
निदान (Diagnosis): लेखक ने इस "जमे हुए" (frozen) होने के दो कारण पाए:
- भ्रमित करने वाली संख्याएँ: रोबط को ऐसे नंबर दिए जा रहे थे जो आकार में बहुत अलग थे। कल्पना कीजिए कि आप एक पंख के वजन (0.001) की तुलना एक नीली व्हेल के वजन (85,000) से करने की कोशिश कर रहे हैं। रोबोट भ्रमित हो गया क्योंकि व्हेल ने पंख को डुबो दिया था। लेखक ने इस डेटा को "नॉर्मलाइज़" (सामान्य बनाना) करके इसे ठीक किया (सब कुछ एक ही पैमाने पर लाना)।
- एक टूटा हुआ स्कोरकार्ड: रोबोट का परीक्षण एक ऐसे टेस्ट पर किया जा रहा था जो गणितीय रूप से टूटा हुआ था। कभी-कभी, एक मामूली गणितीय त्रुटि के कारण, टेस्ट उसे एक ही क्रिया के लिए "1,000" का स्कोर देता था और कभी "-1,000" का। इससे रोबोट को लगा कि दुनिया अराजक और अप्रत्याशित है, इसलिए उसने हार मान ली। लेखक ने गणित को ठीक किया ताकि स्कोर समझ में आने योग्य हो सके।
3. "आलसी" रोबोट: जब कुछ न करना सबसे समझदारी भरा कदम हो
क्रैश को ठीक करने के बाद, रोबोट ने हाई-स्पीड माइक्रोस्कोप (जिम A) डेटा पर प्रशिक्षण लिया। उसने एक बहुत ही अजीब सबक सीखा: ट्रेड कभी मत करो।
पहले, लेखक को लगा कि रोबोट टूटा हुआ है या सीखने के लिए उसके पास पर्याप्त डेटा नहीं है। लेकिन फिर उन्हें सच्चाई का पता चला: रोबोट वास्तव में समझदार हो रहा था।
- उपमा (Analogy): कल्पना कीजिए कि आप एक कबाड़ी बाज़ार (flea market) में हैं। हर बार जब आप कुछ खरीदते हैं और 10 सेकंड बाद उसे बेचने की कोशिश करते हैं, तो बाज़ार आपसे 30% शुल्क लेता है। भले ही वस्तु की कीमत 1% बढ़ जाए, फिर भी आप शुल्क के कारण पैसा खो देंगे।
- वास्तविकता: हाई-स्पीड डेटा में, एक सेकंड में बिटकॉइन की कीमत शायद ही कभी बदलती थी (अक्सर 0.00000%)। लेकिन ट्रेड करने का शुल्क (0.30%) बहुत अधिक था।
- निष्कर्ष: रोबोट को समझ में आ गया कि कोई भी ट्रेड पैसा गंवा देगा। इसलिए, सबसे लाभदायक रणनीति स्थिर रहना और कुछ न करना था। लेखक इसे "आर्थिक रूप से तर्कसंगत निष्क्रियता" (economically rational inaction) कहते हैं। यह कोई विफलता नहीं थी; यह रोबोट द्वारा सही ढंग से यह समझना था कि खेल ट्रेडिंग के खिलाफ फंसा हुआ है।
4. लॉन्ग-हॉल सफलता: एक मामूली जीत
जब रोबोट ने लॉन्ग-हॉल हाईवे (जिम B) डेटा (2.4 वर्षों के प्रति घंटा चार्ट) पर प्रशिक्षण लिया, तो उसने कुछ अलग किया। उसने ट्रेड करना सीखा, लेकिन बहुत सावधानी से।
- परिणाम: परीक्षण अवधि के दौरान बाजार लगभग 21% गिर गया।
- यदि आपने केवल बिटकॉइन को होल्ड किया होता (Buy-and-Hold), तो आपने 20.82% खो दिया होता।
- रोबोट ने 19.42% खोया।
- सीख: इसने कोई बड़ी संपत्ति नहीं बनाई। इसने बाजार को बहुत बड़े अंतर से नहीं हराया। लेकिन इसने उस व्यक्ति की तुलना में कम पैसा खोया जिसने केवल बिटकॉइन को थामे रखा था। यह एक छोटी, निरंतर जीत थी, जैसे कोई धावक एक बहुत ही खराब दौड़ में पैक से थोड़ा आगे निकलकर मैराथन पूरी करता है।
5. "एन्सेम्बल" फ़िल्टर: एक गेटकीपर जिसने कुछ नहीं किया
लेखक ने दोनों रोबोटों को मिलाने की कोशिश की। उन्होंने एक "गेटकीपर" (एन्सेम्बल फ़िल्टर) बनाया जो केवल तभी लॉन्ग-हॉल रोबोट को ट्रेड करने देगा जब हाई-स्पीड रोबोट को एक अच्छा अवसर दिखाई देगा।
- परीक्षण: उन्होंने इसे उस एक सप्ताह पर परखा जहाँ दोनों डेटा सेट ओवरलैप (एक दूसरे को काटते) थे।
- परिणाम: गेटकीपर ने 64 संभावित ट्रेडों को ब्लॉक कर दिया, लेकिन इसने अंतिम परिणाम को नहीं बदला। क्यों? क्योंकि लॉन्ग-हॉल रोबोट पहले से ही अपने हाथ पर हाथ रखकर बैठा था, यानी अधिकांश समय कुछ नहीं कर रहा था। गेटकीपर एक क्लब के बाउंसर की तरह था जो पहले से ही खाली था; उसने लोगों को अंदर जाने से रोका, लेकिन चूंकि कोई अंदर आने की कोशिश ही नहीं कर रहा था, इसलिए क्लब खाली ही रहा।
- ईमानदारी: इस "शून्य परिणाम" (null result) को छिपाने के बजाय, लेखक ने इसे प्रकाशित किया। उनका तर्क है कि यह स्वीकार करना कि "इस हिस्से ने काम नहीं किया" एक सफल कहानी दिखाने से अधिक मूल्यवान है।
6. बड़ा सबक: "ईमानदार विफलता" "चमकदार झूठ" से बेहतर है
इस पेपर का सबसे महत्वपूर्ण हिस्सा इसकी ट्रेडिंग रणनीति नहीं है; बल्कि इसका दृष्टिकोण है।
AI और वित्त की दुनिया में, शोधकर्ता अक्सर केवल वही "सुखद अंत" प्रकाशित करते हैं जहाँ रोबोट लाखों कमाता है। यह पेपर अलग है। यह कहता है:
- "यहाँ बताया गया है कि हमारा पहला प्रयास क्यों क्रैश हुआ।"
- "यहाँ बताया गया है कि हमारे दूसरे रोबोट ने कुछ न करने का निर्णय क्यों लिया (और क्यों वह वास्तव में सही था)।"
- "यहाँ एक हिस्सा है जो काम नहीं किया, और यहाँ उसका प्रमाण है।"
लेखक का मानना है कि इन "नकारात्मक परिणामों" और "निदानों" को साझा करने से पूरा समुदाय एक चमकदार, पूर्ण कहानी साझा करने की तुलना में तेजी से सीख सकता है, जो शायद छिपे हुए दोषों को छुपा रही हो। उन्होंने अपना सारा कोड और नोट्स जारी किए ताकि कोई भी उनके काम की जांच कर सके, जो यह साबित करता है कि पारदर्शिता ही विज्ञान को आगे बढ़ाने का सबसे अच्छा तरीका है।
संक्षेप में: यह पेपर एक ऐसे रोबोट की कहानी है जिसने बिटकॉइन ट्रेड करना सीखा, खराब गणित के कारण क्रैश हुआ, यह सीखा कि कभी-कभी सबसे अच्छा ट्रेड कुछ न करना होता है, और अंत में यह सीखा कि दूसरों की तुलना में थोड़ा कम पैसा कैसे गंवाया जाए—और यह सब करते हुए लेखक ने पूरी सच्चाई बताने का वादा किया, यहाँ तक कि शर्मनाक हिस्सों के बारे में भी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।