Thinking Without Words: Efficient Latent Reasoning with Abstract Chain-of-Thought
यह शोध पत्र **एब्स्ट्रैक्ट चेन-ऑफ-थॉट (Abstract Chain-of-Thought)** का प्रस्ताव करता है, जो एक पोस्ट-ट्रेनिंग तंत्र है जो भाषा मॉडलों को लंबी, प्राकृतिक भाषा वाली चेन्स-ऑफ-थॉट के स्थान पर सीखे गए "एब्स्ट्रैक्ट" टोकन के संक्षिप्त अनुक्रमों का उपयोग करके कुशल तर्क करने में सक्षम बनाता है, जिससे तुलनीय प्रदर्शन बनाए रखते हुए इन्फरेंस लागत में उल्लेखनीय कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अवधारणा: "शब्दों के बिना सोचना"
कल्पना कीजिए कि आप एक व्यस्त रेस्टोरेंट में एक शेफ हैं। जब कोई ग्राहक एक जटिल व्यंजन का ऑर्डर देता है, तो आपके पास काम करने के दो तरीके होते हैं:
"मौखिक" तरीका (पारंपरिक AI): आप रसोई के बीच में खड़े होते हैं और अपनी प्रक्रिया का हर एक कदम ज़ोर से चिल्लाकर बताते हैं: "अब मैं चाकू उठा रहा हूँ! अब मैं प्याज काट रहा हूँ! अब मैं पैन गरम कर रहा हूँ!" हर कोई आपको सुनता है, और इससे आपको ट्रैक पर रहने में मदद मिलती है, लेकिन यह कमरे में मौजूद सभी लोगों के लिए शोर भरा, धीमा और थका देने वाला है।
"अमूर्त" तरीका (पेपर की विधि): चिल्लाने के बजाय, आप हाथों के संकेतों का एक गुप्त कोड इस्तेमाल करते हैं। कलाई का एक तेज़ झटका मतलब "सब्जियाँ तैयार करो," और काउंटर पर एक थपकी का मतलब "स्वाद की जाँच करें।" आप अभी भी "सोच" रहे हैं और एक योजना का पालन कर रहे हैं, लेकिन आप इसे खामोशी से और बिजली की गति से कर रहे हैं।
एब्स्ट्रैक्ट चेन-ऑफ-थॉट (Abstract-CoT) बिल्कुल ऐसा ही है। वर्तमान में, शक्तिशाली AI मॉडल (जैसे कि वे जो गणित की समस्याओं को हल करते हैं) आपको उत्तर देने से पहले लंबे, शब्द प्रधान स्पष्टीकरण खुद को लिखकर "सोचते" हैं। यह प्रभावी है, लेकिन यह धीमा और महंगा है। यह पेपर AI को एक गुप्त, मौन भाषा के "अमूर्त टोकन" (abstract tokens)—विशेष प्रतीकों जो मनुष्यों के लिए अर्थ नहीं रखते, लेकिन AI के लिए एक उच्च-गति मानसिक स्क्रैचपैड के रूप में कार्य करते हैं—सिखाने का प्रस्ताव देता है।
उन्होंने AI को गुप्त रूप से "बोलना" कैसे सिखाया
आप केवल एक AI को एक नई भाषा नहीं दे सकते और उम्मीद नहीं कर सकते कि वह तुरंत बुद्धिमान हो जाए। यदि आप एक शेफ को हाथों के कुछ यादृच्छिक संकेतों का सेट दें, तो वे बस अपने हाथ हवा में लहराते रहेंगे। शोधकर्ताओं ने एक तीन-चरणीय "प्रशिक्षण बूटकैंप" का उपयोग किया:
चरण 1: शैडोइंग चरण (वार्म-अप)
AI एक "शिक्षक" (एक मॉडल जो सामान्य शब्दों का उपयोग करता है) को देखकर शुरुआत करता है। शिक्षक पूरा, शब्द प्रधान स्पष्टीकरण लिखता है। छात्र AI उस लंबे स्पष्टीकरण को कुछ गुप्त संकेतों में संक्षिप्त करने की कोशिश करता है। यह एक छात्र की तरह है जो प्रोफेसर का व्याख्यान देख रहा है और बहुत संक्षिप्त, शॉर्टहैंड नोट्स लेने की कोशिश कर रहा है।
चरण 2: स्व-अध्ययन चरण (डिस्टिलेशन)
एक बार जब छात्र शॉर्टहैंड को समझने लगता है, तो शिक्षक को दूर भेज दिया जाता है। अब छात्र AI मूल समस्या को देखता है और सीधे गुप्त संकेतों की ओर बढ़ता है। वह बिना शिक्षक के हाथ थामे "सोचना" सीख रहा है।
चरण 3: अभ्यास ड्रिल (रीइन्फोर्समेंट लर्निंग)
अंत में, AI "अग्नि परीक्षा" में प्रवेश करता है। वह किसी समस्या को हल करने के लिए गुप्त संकेतों के विभिन्न अनुक्रमों (sequences) को आजमाता है। यदि संकेत सही उत्तर की ओर ले जाते हैं, तो AI को एक "पुरस्कार" (डिजिटल प्रशंसा) मिलता है। यदि वह गलत उत्तर देता है, तो वह अगली बार संकेतों का एक अलग अनुक्रम आज़माना सीखता है। यह उसके "गुप्त भाषा" को तब तक परिष्कृत करता है जब तक कि वह अविश्वसनीय रूप से कुशल न हो जाए।
यह क्यों महत्वपूर्ण है (परिणाम)
शोधकर्ताओं ने गणित और तर्क जैसे कई "बौद्धिक" कार्यों पर इसका परीक्षण किया, और उन्हें तीन अद्भुत चीजें मिलीं:
- अत्यधिक गति (दक्षता लाभ): AI शब्द प्रधान संस्करण की तुलना में 11.6 गुना कम टोकन का उपयोग करके समस्याओं को हल कर सकता था। यह 10-पेज के निबंध को पढ़ने और 1-पेज के सारांश को पढ़ने के बीच के अंतर जैसा है—आपको वही जानकारी मिलती है, लेकिन बहुत तेज़ी से।
- बौद्धिक क्षमता में कोई कमी नहीं: भले ही AI ने अंग्रेजी में खुद से "बात करना" बंद कर दिया, लेकिन वह कम बुद्धिमान नहीं हुआ। कई मामलों में, इसने शब्द प्रधान संस्करण की तुलना में बेहतर या समान प्रदर्शन किया।
- एक उभरती हुई "भाषा": दिलचस्प बात यह है कि शोधकर्ताओं ने पाया कि AI ने गुप्त प्रतीकों का उपयोग यादृच्छिक रूप से नहीं किया। इसने उन्हें पैटर्न में उपयोग करना शुरू कर दिया, ठीक वैसे ही जैसे मनुष्य कुछ शब्दों का अधिक बार उपयोग करते हैं। इसने वास्तव में अपना आंतरिक तर्क और व्याकरण विकसित किया।
बड़ी तस्वीर
भविष्य में, AI के लंबे, बहकी-बहकी बातें करने वाले विचारों को "टाइप" करने का इंतज़ार करने के बजाय, हम ऐसा AI देख सकते हैं जो डिजिटल संकेतों की एक कौंध के साथ "सोचता" है। यह अधिक स्मार्ट, तेज़ और चलाने में बहुत सस्ता होगा, क्योंकि इसने शब्दों के बिना सोचना सीख लिया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।