The Format Tax
यह शोध पत्र यह पहचानता है कि JSON जैसे संरचित आउटपुट स्वरूपों (structured output formats) की मांग करने से एक महत्वपूर्ण "फॉर्मेट टैक्स" (format tax) लागू होता है जो ओपन-वेट मॉडल्स के तर्क प्रदर्शन (reasoning performance) को कम कर देता है, जिसका मुख्य कारण डिकोडिंग बाधाओं के बजाय प्रॉम्प्ट निर्देश हैं, और यह दर्शाता है कि मल्टी-पास जनरेशन के माध्यम से तर्क को फॉर्मेटिंग से अलग करके इस खोई हुई सटीकता को प्रभावी ढंग से पुनः प्राप्त किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शानदार शेफ हैं जो एक बेहतरीन, फाइव-स्टार भोजन बना सकते हैं। आप स्वाद, बनावट और प्रस्तुति के बीच सटीक संतुलन बनाना जानते हैं। अब, कल्पना कीजिए कि एक ग्राहक आता है और कहता है, "मुझे आपका खाना पसंद है, लेकिन मैं तभी खाना खाऊंगा जब आप इसे एक बहुत ही विशिष्ट, कठोर सोने की परत वाले ट्रे पर परोसेंगे, और एक सख्त नियम है: हर कांटा ठीक 90 डिग्री पर रखा जाना चाहिए, और आपको केवल शब्दों की एक विशिष्ट सूची का उपयोग करके सामग्री का वर्णन करना होगा।"
आप इसे करने की कोशिश करते हैं। आप कांटों को पूरी तरह से रखने और सही शब्दों का उपयोग करने पर इतना ध्यान केंद्रित करते हैं कि आप गलती से स्टेक जला देते हैं। भोजन खराब हो जाता है, इसलिए नहीं कि आप खाना बनाना नहीं जानते, बल्कि इसलिए क्योंकि आप प्लेट के नियमों पर इतना ध्यान दे रहे थे कि आप भोजन की कला को भूल गए।
यह बिल्कुल वही है जो पेपर "द फॉर्मेट टैक्स" (The Format Tax) खोज निकालता है।
समस्या: "फॉर्मेट टैक्स" (The Format Tax)
लेखकों ने पाया कि जब आप एक AI को एक सख्त फॉर्मेट (जैसे JSON, XML, या LaTeX) में उत्तर देने के लिए कहते हैं, तो इसकी बुद्धिमत्ता काफी कम हो जाती है। यह गणित, विज्ञान और तर्क में अधिक गलतियाँ करता है।
वे इस प्रदर्शन में गिरावट को "फॉर्मेट टैक्स" कहते हैं। यह एक छिपे हुए शुल्क की तरह है जो आप फॉर्मेटिंग के लिए चुकाते हैं। आप उम्मीद करते हैं कि AI बस "सोचेगा" और फिर एक बॉक्स में "लिखेगा", लेकिन इसके बजाय, बॉक्स के अंदर लिखने की कोशिश करने की प्रक्रिया इसे सोचने से भटका देती है।
बड़ी गलतफहमी: गलत चीज़ को दोष देना
लंबे समय तक, शोधकर्ताओं ने सोचा कि समस्या डिकोडर (वह हिस्सा जो AI द्वारा एक-एक अक्षर करके वाक्य बनाता है) में है। उन्होंने सोचा, "AI एक JSON फ़ाइल लिखने की कोशिश कर रहा है, इसलिए वह व्याकरण के नियमों से भ्रमित हो रहा है, इसलिए वह गलतियाँ कर रहा है।"
उन्होंने इसे "ग्रामर पुलिस" (कन्स्ट्रेंड डिकोडिंग) बनाकर ठीक करने की कोशिश की जो AI को नियम तोड़ने वाली कोई भी चीज़ टाइप करने से रोकती है।
पेपर की बड़ी खोज: ग्रामर पुलिस समस्या नहीं है। समस्या अनुरोध स्वयं है।
इसे इस तरह सोचें:
- डिकोडर (ग्रामर्स पुलिस): यह वह वेटर है जो चेक करता है कि प्लेट सीधी है या नहीं।
- प्रॉम्ट (अनुरोध): यह वह ग्राहक है जो चिल्ला रहा है, "खाने को सोने की ट्रे पर रखो!"
पेपर दिखाता है कि जैसे ही ग्राहक अनुरोध चिल्लाता है, शेफ (AI) घबरा जाता है और खाना बनाना शुरू कर देता है। भले ही आप ग्रामर पुलिस को हटा दें (शेफ को स्वतंत्र रूप से लिखने दें), शेफ फिर भी खाना जला देगा क्योंकि वे सोने की ट्रे के विचार पर इतने केंद्रित हैं।
"टैक्स" प्रॉम्ट पर चुकाया जाता है, डिकोडर पर नहीं।
समाधान: सोचने और लिखने को अलग करें
तो, हम इसे कैसे ठीक करें? पेपर एक सरल रणनीति का सुझाव देता है: रीज़निंग (तर्क) को फॉर्मेटिंग से अलग करें।
फिर से उस शेफ की कल्पना करें। उन्हें एक ही समय में खाना बनाने और सोने की ट्रे सजाने के बजाय, हम उन्हें दो चरणों में यह करने के लिए कहते हैं:
- चरण 1 (किचन): "शेफ, बस खाना पकाएं। ट्रे की चिंता न करें। बस मुझे काउंटर पर ढेर के रूप में स्वादिष्ट भोजन दें।" (AI स्वतंत्र रूप से सोचता है और समस्या को हल करता है)।
- चरण 2 (प्लेटिंग): "ठीक है, अब उस ढेर को लें और नियमों के अनुसार सोने की ट्रे पर सजाएं।" (AI केवल उत्तर को रीफॉर्मेट करता है)।
पेपर ने दो तरीकों का परीक्षण किया:
- "टू-टर्न" (दो-चरण) विधि: आप पहले AI से साधारण अंग्रेजी में उत्तर मांगते हैं। फिर, दूसरे संदेश में, आप कहते हैं, "बहुत अच्छा! अब उस उत्तर को एक JSON बॉक्स में डालें।"
- "थिंकिंग" (सोचने वाली) विधि: आप AI को कहते हैं, "पहले इस पर गहराई से विचार करें (एक छिपे हुए स्क्रैचपैड में), और फिर मुझे बॉक्स में अंतिम उत्तर दें।"
परिणाम: दोनों विधियों ने जादू की तरह काम किया। AI को पहले स्वतंत्र रूप से सोचने देकर, उन्होंने खोई हुई बुद्धिमत्ता को लगभग पूरी तरह से वापस पा लिया। "फॉर्मेट टैक्स" गायब हो गया।
अच्छी खबर: यह ठीक करने योग्य है
पेपर ने नवीनतम, सबसे शक्तिशाली "क्लोज्ड" मॉडल्स (जैसे GPT या Claude के नवीनतम संस्करण) को भी देखा। ये मॉडल टैक्स नहीं चुकाते हैं। वे खाना भी बना सकते हैं और ट्रे को भी पूरी तरह से सजा सकते हैं।
यह बताता है कि समस्या यह नहीं है कि AI यह कर नहीं सकता; बल्कि यह है कि वर्तमान ओपन-सोर्स मॉडल्स को अभी तक फॉर्मेटिंग नियमों के भटकाव को अनदेखा करने के लिए पर्याप्त अच्छी तरह से प्रशिक्षित नहीं किया गया है।
संक्षेप में सारांश
- समस्या: AI को सख्त फॉर्मेटिंग नियमों (जैसे JSON) का पालन करने के लिए कहना उसे कम बुद्धिमान बना देता है।
- कारण: यह फॉर्मेट के तकनीकी नियम नहीं हैं; यह नियमों का पालन करने के प्रयास के दौरान होने वाला मानसिक भटकाव है।
- समाधान: AI को पहले स्वतंत्र रूप से सोचने दें, फिर बाद में उत्तर को फॉर्मेट करें।
- भविष्य: नए मॉडल्स इस भटकाव को अनदेखा करना सीख रहे हैं, लेकिन फिलहाल, सबसे अच्छा तरीका काम को दो चरणों में विभाजित करना है: सोचें, फिर फॉर्मेट करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।