V4FinBench: Benchmarking Tabular Foundation Models, LLMs, and Standard Methods on Corporate Bankruptcy Prediction
यह शोध पत्र V4FinBench प्रस्तुत करता है, जो विसेग्राद समूह की अर्थव्यवस्थाओं के दस लाख से अधिक कंपनी-वर्ष रिकॉर्ड्स वाला एक बड़े पैमाने का बेंचमार्क है जिसे कॉर्पोरेट दिवालियापन भविष्यवाणी विधियों का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि इम्बैलेंस-अवेयर फाइन-ट्यून्ड TabPFN, गंभीर क्लास इम्बैलेंस और मल्टी-होराइजन फोरकास्टिंग को संभालने में मानक ग्रेडिएंट बूस्टिंग और Llama-3-8B जैसे LLMs से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वित्तीय जासूस (financial detective) हैं जो उस कंपनी का पता लगाने की कोशिश कर रहे हैं जो दिवालिया होने वाली है। समस्या यह है कि दिवालियापन खोजना एक घास के ढेर में सुई खोजने जैसा है: वे अविश्वसनीय रूप से दुर्लभ हैं, और "घास का ढेर" (स्वस्थ कंपनियों का डेटा) बहुत विशाल है।
लंबे समय तक, जासूसों के पास अभ्यास करने के लिए केवल छोटे, पुराने घास के ढेर थे। यह शोध पत्र एक बिल्कुल नया, विशाल घास का ढेर पेश करता है जिसे V4FinBench कहा जाता है।
यहाँ शोधकर्ताओं द्वारा किए गए कार्यों का सरल विवरण दिया गया, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है:
1. नया "प्रशिक्षण मैदान" (डेटासेट)
पहले, कंपनियों की विफलता की भविष्यवाणी करने की कोशिश करने वाले शोधकर्ताओं को केवल कुछ हज़ार रिकॉर्ड वाले छोटे डेटासेट के साथ काम करना पड़ता था। यह एक जटिल वीडियो गेम खेलने के लिए एक छोटे, कम रिज़ॉल्यूशन वाले स्क्रीन पर प्रयास करने जैसा था।
- अपग्रेड: लेखकों ने V4FinBench बनाया, जो चार मध्य यूरोपीय देशों (पोलैंड, हंगरी, चेक गणराज्य और स्लोवाकिया) की कंपनियों के 1.1 मिलियन से अधिक रिकॉर्ड वाला एक विशाल डेटासेट है, जो 15 वर्षों तक फैला हुआ है।
- विवरण: उन्होंने केवल एक वर्ष को नहीं देखा; उन्होंने यह देखा कि कंपनियां "अभी" से लेकर "पाँच साल भविष्य" तक कैसा प्रदर्शन करती हैं।
- लेबल: उन्होंने एक सख्त "डिस्ट्रैस टेस्ट" (संकट परीक्षण) बनाया। एक कंपनी को केवल तभी "मुसीबत में" माना जाता है जब वह एक साथ तीन तरीकों से विफल हो रही हो: उसके पास अपनी संपत्ति से अधिक कर्ज हो (सॉल्वेंसी/शोधन क्षमता), वह पैसा खो रही हो (लाभप्रदता), और वह अपने तत्काल बिलों का भुगतान न कर पा रही हो (तरलता/लिक्विडिटी)। यह सुनिश्चित करता है कि वे उन कंपनियों को चिह्नित न करें जो केवल एक खराब महीने से गुजर रही हैं।
2. प्रतियोगी (मॉडल)
शोधकर्ताओं ने यह देखने के लिए तीन अलग-अलग प्रकार के "जासूसों" को परीक्षण के लिए रखा कि कौन मुसीबतियों को सबसे अच्छी तरह पकड़ सकता है:
- पुराने स्कूल के पेशेवर (ग्रेडिएंट बूस्टिंग): ये पारंपरिक, अत्यधिक ट्यून किए गए सांख्यिकीय मॉडल (जैसे XGBoost) हैं। इन्हें अनुभवी जासूसों के रूप में सोचें जिन्होंने हजारों मामलों को सुलझाया है और वे जानते हैं कि किन सुरागों को देखना है।
- नया "TabPFN" (टेबुलर फाउंडेशन मॉडल): यह एक नया प्रकार का AI है जिसे विशेष रूप से स्प्रेडशीट के लिए डिज़ाइन किया गया है। एक ऐसे जासूस की कल्पना करें जिसने अब तक की हर वित्तीय पाठ्यपुस्तक पढ़ ली है और वह कुछ उदाहरणों को देखकर तुरंत नए मामलों को सीख सकता है। हालाँकि, क्योंकि दिवालियापन इतना दुर्लभ है, यह जासूस अक्सर भ्रमित हो जाता है क्योंकि उसे अपने प्रशिक्षण डेटा में शायद ही कभी कोई "बीमार" कंपनी दिखती है।
- "Llama-3" (एक लार्ज लैंग्वेज मॉडल): यह एक विशाल AI है जिसका उपयोग आमतौर पर कहानियाँ लिखने या प्रश्नों के उत्तर देने के लिए किया जाता है। शोधकर्ताओं ने इसे वित्तीय स्प्रेडशीट को एक कहानी के प्रारूप में बदलकर पढ़ने के लिए सिखाने की कोशिश की। इसे एक प्रतिभाशाली साहित्य प्रोफेसर से मरीज की बीमारी का निदान करने के लिए कहने जैसा समझें, सिर्फ उनके मेडिकल चार्ट को एक उपन्यास के रूप में पढ़कर।
3. परिणाम: कौन जीता?
अनुभवी पेशेवर बनाम नया TabPFN:
- समस्या: क्योंकि दिवालियापन बहुत दुर्लभ है (डेटा के 1% से भी कम), "TabPFN" जासूस शुरू में स्वस्थ कंपनियों के समुद्र से अभिभूत हो गया। यह एक लाख नीली मार्बल्स की बाल्टी में एक लाल मार्बल खोजने जैसा था; जासूस ने ज्यादातर नीला ही देखा।
- समाधान: शोधकर्ताओं ने "प्रोटोटाइप अंडरसैंपलिंग" (Prototype Undersampling) नामक एक चतुर तकनीक का उपयोग किया। सभी स्वस्थ कंपनियों को दिखाने के बजाय, उन्होंने उन्हें स्वस्थ कंपनियों का एक सावधानीपूर्वक चयनित, प्रतिनिधि नमूना दिखाया। यह एक जासूस को स्वस्थ कंपनियों का "बेस्ट ऑफ" एल्बम दिखाने जैसा है ताकि वे सीख सकें कि "सामान्य" क्या होता है, बिना बहुत अधिक मात्रा से ऊबे।
- परिणाम: इस ट्रिक के साथ, TabPFN जासूस मुसीबत को पहचानने में अनुभवी पेशेवरों के समान या उनसे भी बेहतर बन गया, और वह भी 2 से 5 साल पहले।
साहित्य का प्रोफेसर (Llama-3) बनाम अनुभवी पेशेवर:
- परिणाम: Llama-3 मॉडल काफी संघर्ष करता रहा। भले ही इसे वित्तीय "कहानी" पढ़ने के लिए सिखाया गया था, फिर भी यह अनुभवी पेशेवरों की बराबरी नहीं कर सका। यह एक साल से अधिक समय के बाद की समस्याओं की भविष्यवाणी करने में विशेष रूप से खराब था।
- सबक: स्प्रेडशीट को एक कहानी में बदलने से इस विशिष्ट AI को मदद नहीं मिली। संरचित वित्तीय डेटा के लिए, "अनुभवी पेशेवर" और विशेष "TabPFN" अभी भी बेहतर जासूस हैं।
4. "ट्रांसफर" परीक्षण
यह देखने के लिए कि क्या TabPFN जासूस ने वास्तव में वित्त के सार्वभौमिक नियम सीखे हैं या केवल यूरोपीय कंपनियों की विशिष्ट बारीकियों को याद किया है, शोधकर्ताओं ने संयुक्त राज्य अमेरिका के एक पूरी तरह से अलग डेटासेट पर इसका परीक्षण किया।
- परिणाम: यूरोपीय डेटा पर प्रशिक्षित TabPFN मॉडल, अपने स्वयं के एक मानक, गैर-प्रशिक्षित संस्करण की तुलना में अमेरिकी डेटा पर बेहतर प्रदर्शन करता है। यह सुझाव देता है कि इसने वित्तीय संकट के सामान्य सिद्धांतों को सीखा है, न कि केवल स्थानीय पैटर्न को।
सारांश
यह शोध पत्र मूल रूप से कह रहा है:
- हमने कंपनी के दिवालियापन की भविष्यवाणी करने के लिए एक विशाल, वास्तविक अभ्यास क्षेत्र बनाया।
- नए AI मॉडल (TabPFN) पुराने तरीकों को हरा सकते हैं यदि आप उन्हें यह सिखाएं कि दिवालियापन दुर्लभ होने की स्थिति को कैसे संभालना है।
- सामान्य-उद्देश्य वाला AI (Llama-3) अभी इस विशिष्ट कार्य के लिए विशेष उपकरणों को बदलने के लिए तैयार नहीं है।
- इस डेटा पर सीखी गई कौशल को अन्य देशों में स्थानांतरित किया जा सकता है, जिससे पता चलता है कि मॉडल ने वास्तविक वित्तीय तर्क सीखा है।
महत्वपूर्ण नोट: लेखक इस बात पर जोर देते हैं कि यह एक अनुसंधान बेंचमार्क है। यह वैज्ञानिकों के लिए अपने तरीकों का परीक्षण करने और सुधारने के लिए एक उपकरण है, न कि बैंकों के लिए मानवीय निरीक्षण के बिना तत्काल ऋण निर्णय लेने के लिए एक उपकरण।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।