Reasoning Models Don't Just Think Longer, They Move Differently
यह शोध पत्र यह प्रदर्शित करता है कि जनरेशन की लंबाई (generation length) को सुधारने के बाद, रीजनिंग-प्रशिक्षित मॉडल विशिष्ट आंतरिक प्रक्षेपवक्र ज्यामिति (internal trajectory geometries) प्रदर्शित करते हैं—विशेष रूप से कोड डोमेन में—जो केवल विस्तारित गणना के बजाय वास्तविक रणनीति परिवर्तनों और अनिश्चितता की निगरानी को दर्शाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: यह केवल लंबे समय तक चलने के बारे में नहीं है
कल्पना कीजिए कि आप दो लोगों को एक भूलभुलैया (maze) सुलझाने की कोशिश करते हुए देख रहे हैं। एक विशेषज्ञ है (एक "रीज़निंग मॉडल"), और दूसरा एक साधारण व्यक्ति है (एक मानक "इंस्ट्रक्शन-ट्यून्ड मॉडल")।
जब भूलभुलैया वास्तव में कठिन हो जाती है, तो दोनों लोग इसे सुलझाने में अधिक समय लेते हैं। वे अधिक नोट्स लिखते हैं, अधिक कदम उठाते हैं, और खुद से बातें करते हैं। लंबे समय तक शोधकर्ताओं ने सोचा: "ठीक है, विशेषज्ञ बस सोचने में अधिक समय बिताता है। इसीलिए वह बेहतर है।"
लेकिन यह पेपर एक अलग सवाल पूछता है: क्या विशेषज्ञ केवल एक लंबा रास्ता चल रहा है, या वह एक अलग तरह का रास्ता चल रहा है?
लेखकों ने पाया कि यदि आप केवल रास्ते की लंबाई को देखते हैं, तो आपको गलत उत्तर मिलेगा। आपको यह देखना होगा कि वे अपने दिमाग के अंदर (विशेष रूप से, उनके "हिडन स्टेट्स" में) सोचते समय किस तरह के आकार (shape) का रास्ता अपनाते हैं।
जाल: "लंबा रास्ता" का भ्रम
यह पेपर एक बड़े जाल की ओर इशारा करता है। AI की दुनिया में, कठिन समस्याएँ आमतौर पर AI को अधिक देर तक बोलने के लिए प्रेरित करती हैं।
- भ्रम: यदि आप AI द्वारा अपने दिमाग में तय किए गए रास्ते को देखते हैं, तो लंबा रास्ता स्वाभाविक रूप से "टेढ़ा-मेढ़ा" और "अव्यवस्थित" दिखाई देता है क्योंकि इसमें अधिक चरण होते हैं। यह एक ऐसे हाइकर की तरह है जो 10 मील चलता है; मानचित्र पर उसका रास्ता 1 मील चलने वाले व्यक्ति की तुलना में अधिक जटिल दिखेगा, भले ही हाइकर बिल्कुल सीधी रेखा में चल रहा हो।
- गलती: पिछले अध्ययनों ने इन लंबे, टेढ़े-मेढ़े रास्तों को देखा और सोचा, "ओह, AI भ्रमित है या बहुत अधिक सोच रहा है।"
- समाधान: लेखकों ने इसे "कैंसिल आउट" करने का एक तरीका बनाया। कल्पना कीजिए कि आपके पास एक रबर बैंड है जो AI की विचार प्रक्रिया का प्रतिनिधित्व करता है। यदि रास्ता लंबा है, तो आप रबर बैंड को इतना खींचते हैं कि वह एक छोटे रास्ते के समान स्थान में फिट हो जाए। अब आप लंबाई की परवाह किए बिना, सोचने के वास्तविक आकार को देख सकते हैं।
आश्चर्य: कठिन समस्याएँ = सीधी रेखाएँ
एक बार जब उन्होंने लंबाई के कारक को हटाने के लिए रास्तों को "खींच" दिया, तो कुछ आश्चर्यजनक हुआ, विशेष रूप से कोडिंग समस्याओं के मामले में:
- सुधार से पहले: कठिन समस्याएँ उलझे हुए स्पैगेटी की तरह दिखती थीं।
- सुधार के बाद: कठिन समस्याएँ सीधे, सीधे हाईवे की तरह दिखने लगीं।
"रीज़निंग" मॉडल, कठिन कोडिंग चुनौती का सामना करते समय, केवल अधिक भटकते नहीं रहे। उन्होंने वास्तव में उत्तर तक पहुँचने के लिए अपने आंतरिक मस्तिष्क स्थान में एक अधिक कुशल, सीधा मार्ग अपनाया। दूसरी ओर, मानक मॉडल, भले ही आपने यह हिसाब लगा लिया हो कि वे कितनी देर तक बात कर रहे थे, फिर भी ऐसा लग रहा था जैसे वे गोल-गोल घूम रहे हों।
तीन अलग-अलग दुनिया
लेखकों ने तीन अलग-अलग "दुनियाओं" (डोमेन) में इसका परीक्षण किया, और परिणाम प्रत्येक के लिए अलग थे:
- कोडिंग की दुनिया (Codeforces): यहीं असली जादू होता है। रीज़निंग मॉडल स्पष्ट रूप से अलग हैं। जब समस्या कठिन होती है, तो वे "हाईवे मोड" में चले जाते हैं—एक बहुत ही सीधा, सीधा रास्ता। मानक मॉडल भटकते रहते हैं।
- गणित की दुनिया: प्रभाव मौजूद है, लेकिन यह बहुत धुंधला है। यह एक धुंधली खिड़की के माध्यम से एक सीधी रेखा देखने जैसा है। रीज़निंग मॉडल थोड़े अधिक सीधे हैं, लेकिन यह कोडिंग जितना नाटकीय नहीं है।
- लॉजिक पज़ल की दुनिया (SAT): यहाँ, मानक मॉडल भी चीजें कठिन होने पर सीधी रेखाओं में चलना शुरू कर देते हैं। इसलिए, इस विशिष्ट दुनिया में, "रीज़निंग" मॉडल नियमित मॉडलों की तुलना में कुछ विशेष नहीं कर रहे हैं।
इस "सीधी रेखा" का क्या अर्थ है?
लेखक केवल ज्यामिति (geometry) तक ही नहीं रुके; उन्होंने यह भी देखा कि AI इन रास्तों पर चलते समय वास्तव में क्या कह रहा था। उन्होंने पाया कि जब AI कठिन कोडिंग समस्या पर वह "सीधा, सीधा" रास्ता लेता है, तो वह अपने टेक्स्ट में दो विशिष्ट चीजें भी कर रहा होता है:
- रणनीति बदलना: वह कहता है, "रुको, यह काम नहीं किया, चलो एक अलग दृष्टिकोण आज़माता हूँ।"
- अनिश्चितता की जाँच करना: वह कहता है, "मुझे इस कदम के बारे में यकीन नहीं है, चलो दोबारा जाँच करता हूँ।"
ऐसा लगता है कि दिमाग में "सीधी रेखा" जल्दबाजी करने के बारे में नहीं है; यह पुनः उन्मुख (re-orienting) होने के बारे में है। मॉडल को एहसास होता है कि पुराना तरीका काम नहीं कर रहा है, वह रुकता है, दिशा बदलता है, और समाधान की ओर सीधा बढ़ता है।
निचोड़ (The Bottom Line)
- लंबाई से निर्णय न लें: सिर्फ इसलिए कि एक AI बहुत अधिक बोलता है, इसका मतलब यह नहीं है कि वह "बेहतर" या "बदतर" सोच रहा है। आपको उसके सोचने के आकार को देखना होगा।
- रीज़निंग एक अलग आकार है: जब हम AI को "रीजनिंग" के लिए प्रशिक्षित करते हैं, तो हम उसे केवल लंबे समय तक बात करना नहीं सिखा रहे होते हैं। हम उसे अपनी आंतरिक यात्रा का आकार बदलना सिखा रहे होते हैं।
- यह कार्य पर निर्भर करता है: यह "आकार परिवर्तन" तब बहुत स्पष्ट होता है जब AI कोड लिख रहा होता है, लेकिन गणित या सरल तर्क पहेलियों के मामले में यह कम स्पष्ट होता है।
संक्षेप में: रीज़निंग मॉडल केवल लंबे समय तक नहीं सोचते; वे अलग तरह से सोचते हैं। वे भटकते हुए रास्ते को सीधे हाईवे में बदल देते हैं, लेकिन केवल तभी जब कार्य (जैसे कोडिंग) वास्तव में इसकी मांग करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।