Limited Marginal Benefit of Reasoning-Heavy LLM Deployment in ESG Narrative Scoring: A 4-Model Consensus Study on Japanese Listed Firms
यह अध्ययन पाता है कि जापानी फर्मों के ईएसजी (ESG) नैरेटिव स्कोरिंग के लिए तर्क-प्रधान (reasoning-heavy) लार्ज लैंग्वेज मॉडल्स को तैनात करने से 'रीजनिंग-ऑफ' मॉडल्स की तुलना में सटीकता में केवल मामूली सुधार होता है, जबकि इसमें परिचालन लागत काफी अधिक आती है, जो यह सुझाव देता है कि व्यावहारिक जवाबदेही परिवेश के लिए लागत प्रभावी सर्वसम्मति दृष्टिकोण अधिक उपयुक्त हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दस कंपनी रिपोर्ट्स को यह ग्रेड देने के लिए चार विशेषज्ञ संपादकों (editors) की एक टीम रख रहे हैं कि वे अपने पर्यावरणीय और सामाजिक लक्ष्यों के बारे में कितनी अच्छी तरह बात करते हैं। आप यह जानना चाहते हैं: क्या उस "सुपर-स्मार्ट" संपादक के लिए अतिरिक्त भुगतान करना सार्थक है जो लिखने से पहले घंटों गहराई से सोचता है, या तीन "स्टैंडर्ड" संपादकों की एक टीम जो तेज़ और सस्ते तरीके से काम करती है, उतनी ही अच्छी है?
हिरोयुकी कोकुबू द्वारा लिखित यह शोध पत्र, जो 'लार्ज लैंग्वेज मॉडल्स' (LLMs) नामक AI के एक विशिष्ट प्रकार का उपयोग करता है, इस प्रश्न का उत्तर देता है। इसका विवरण सरल शब्दों में यहाँ दिया गया है:
सेटअप: "सोचने वाला" बनाम "स्टैंडर्ड" संपादक
शोधकर्ताओं ने चार AI मॉडलों के बीच एक प्रतियोगिता आयोजित की:
- "गहन विचारक" (Reasoning-On): एक मॉडल (OpenAI का gpt-5.5) को उसके "रीजनिंग" मोड पर सेट किया गया था। यह एक ऐसे संपादक की तरह है जो हर वाक्य को समझने के लिए काफी समय लेता है, एक लंबा आंतरिक संवाद लिखता है, और स्कोर देने से पहले अपने तर्क की दोबारा जांच करता है। इसके लिए बहुत पैसा खर्च होता है क्योंकि AI को उस अतिरिक्त "सोचने" के समय के लिए बिल भेजा जाता है।
- "स्टैंडर्ड टीम" (Reasoning-Off): तीन अन्य मॉडल (Anthropic, Google और DeepSeek से) उनके सामान्य मोड पर सेट किए गए थे। वे उन संपादकों की तरह हैं जो रिपोर्ट को पढ़ते हैं और बिना किसी अतिरिक्त आंतरिक संवाद के जल्दी से स्कोर दे देते हैं। वे बहुत सस्ते हैं।
कार्य: कंपनी रिपोर्ट्स को ग्रेड देना
"रिपोर्ट्स" दस प्रमुख जापानी कंपनियों के वास्तविक स्थिरता दस्तावेज़ (sustainability documents) थे। AI को उन्हें 1 से 5 के पैमाने पर तीन सरल नियमों के आधार पर ग्रेड देना था:
- N1: क्या उन्होंने अपने लक्ष्यों के लिए विशिष्ट संख्याएँ दीं? (जैसे, "हम 2030 तक उत्सर्जन में 50% की कटौती करेंगे।")
- N2: क्या उनके पास प्रगति को ट्रैक करने की कोई प्रणाली है? (जैसे, "यहाँ हमारा डेटा टेबल है।")
- N3: क्या उन्होंने बाहरी मानकों का उल्लेख किया? (जैसे, "हम TCFD दिशानिर्देशों का पालन करते हैं।")
परिणाम: "गहन विचारक" नहीं जीता
शोधकर्ताओं ने महंगे "गहन विचारक" द्वारा दिए गए स्कोर की तुलना तीन सस्ते "स्टैंडर्ड" संपादकों के औसत स्कोर से की।
- स्कोर लगभग समान थे: महंगे मॉडल और सस्ते दल के बीच का अंतर बहुत कम था। 1 से 5 के पैमाने पर, औसत अंतर आधा अंक से भी कम था।
- कोई बड़ा आश्चर्य नहीं: 98% मामलों में, स्कोर एक अंक के भीतर ही थे। महंगे मॉडल ने कभी भी ऐसा स्कोर नहीं दिया जो सस्ते दल से दो या अधिक अंक अलग हो।
- "गहन विचारक" ने भ्रम को दूर नहीं किया: शोधकर्ता उम्मीद कर रहे थे कि यदि किसी कंपनी की रिपोर्ट भ्रमित करने वाली है, तो "गहन विचारक" उसे बेहतर ढंग से समझ पाएगा। लेकिन ऐसा नहीं हुआ। जब रिपोर्ट को ग्रेड करना कठिन था, तो महंगा मॉडल भी सस्ते मॉडलों की तरह ही भ्रमित था।
लागत: मूल्य टैग
यहीं पर अंतर बहुत बड़ा हो जाता है।
- तीन सस्ते मॉडलों के मिलकर एक कंपनी रिपोर्ट पर खर्च लगभग $0.15 था।
- एकल महंगे "गहन विचारक" मॉडल की लागत प्रति कंपनी रिपोर्ट लगभग $0.85 थी।
उपमा (Analogy): यह एक साधारण गणित की समस्या पर एक 10 पन्नों का निबंध लिखने के लिए एक उच्च-पदस्थ दार्शनिक को भुगतान करने जैसा है, जबकि तीन हाई स्कूल के छात्र उसी समस्या को बहुत कम कीमत में सही ढंग से हल कर सकते थे। दार्शनिक ने बेहतर उत्तर नहीं दिया; उन्होंने बस अधिक समय और पैसा खर्च किया। दार्शनिक ने बेहतर उत्तर नहीं दिया; उन्होंने बस अधिक समय और पैसा खर्च किया।
निष्कर्ष: आपको क्या करना चाहिए?
यह शोध पत्र निष्कर्ष निकालता है कि इस विशिष्ट कार्य के लिए—स्पष्ट, दृश्य तथ्यों के आधार पर कंपनी रिपोर्ट को ग्रेड देना—"रीजनिंग-हैवी" (गहन सोच वाले) AI पर अतिरिक्त पैसा खर्च करना बेकार है।
इसके बजाय, सबसे अच्छी रणनीति यह है:
- "स्टैंडर्ड टीम" का उपयोग करें: कार्य को तीन सस्ते मॉडलों के माध्यम से चलाएं।
- औसत लें: यदि तीनों सहमत हैं, तो आपके पास आपका उत्तर है।
- असहमति पर नज़र रखें: यदि तीनों सस्ते मॉडल बहुत अलग-अलग स्कोर देते हैं (उच्च "डिस्पर्शन" या फैलाव), तब आपको पता चलता है कि रिपोर्ट भ्रमित करने वाली है। केवल उसी समय आपको दोबारा जांच करने के लिए मानव विशेषज्ञ को बुलाना चाहिए।
संक्षेप में: यह जाँचने के लिए कि किसी कंपनी की रिपोर्ट में विशिष्ट संख्याएँ और मानक संदर्भ हैं या नहीं, आपको ऐसे AI की आवश्यकता नहीं है जो "गहराई से सोचता" हो। आपको बस एक टीम की आवश्यकता है जो तेज़, सस्ती AI हो और एक दूसरे से सहमत हो। अतिरिक्त "सोचना" ग्रेड को बेहतर नहीं बनाता; यह केवल बिल को बहुत अधिक बढ़ा देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।