Interaction Scaling: Grounding the Third Axis of Test-Time Compute
यह शोध पत्र "इंटरैक्शन स्केलिंग" को टेस्ट-टाइम कंप्यूट के एक विशिष्ट तीसरे अक्ष के रूप में प्रस्तुत करता है जो फीडबैक और मूल्यांकन दोनों को वास्तविक दुनिया के अवलोकनों में निहित करके रीजनिंग और सैंपलिंग की सीमाओं से आगे निकल जाता है, जिससे उन कठिन कार्यों पर निरंतर सुधार संभव हो पाता है जहाँ पारंपरिक तरीके स्थिर हो जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट कलाकार है जो चित्र बना सकता है, कोड लिख सकता है, या स्लाइड्स डिज़ाइन कर सकता है। आप चाहते हैं कि वह किसी प्रोजेक्ट का परफेक्ट संस्करण बनाए। आमतौर पर, जब रोबोट गलती करता है, तो हम इसे ठीक करने के दो तरीके आजमाते हैं:
- कड़ी मेहनत से सोचना (Think Harder): हम रोबोट को कहते हैं, "एक गहरी सांस लो और कुछ भी बनाने से पहले इस पर अधिक समय तक विचार करो।"
- अधिक बार कोशिश करना (Try More Times): हम रोबोट को कहते हैं, "100 अलग-अलग संस्करण बनाओ, और हम सबसे अच्छे वाले को चुन लेंगे।"
पेपर तर्क देता है कि ये दोनों तरीके एक ग्लास सीलिंग (कांच की छत) से टकरा जाते हैं। क्यों? क्योंकि रोबोट केवल अपने ही दिमाग (अपने "फ्रीज्ड वेट्स") और उन्हीं मूल निर्देशों का उपयोग कर रहा है। यह वैसा ही है जैसे किसी व्यक्ति से केवल अपने चित्र को घूरकर या उसी कागज पर 100 बार बनाकर अपनी गलती खोजने के लिए कहना। वे वह नहीं देख सकते जो वे पहले से नहीं जानते। वे एक बंद लूप में फंसे हुए हैं।
तीसरा तरीका: "वास्तविक दुनिया" का परीक्षण
पेपर एक तीसरा तरीका पेश करता है जिसे इंटरैक्शन स्केलिंग (Interaction Scaling) कहा जाता है। केवल सोचने या फिर से प्रयास करने के बजाय, रोबोट वास्तव में वह काम करता है और फिर एक वास्तविक उपकरण (real instrument) से रिपोर्ट प्राप्त करता है।
इसे इस तरह सोचें:
- पुराना तरीका: रोबोट एक स्लाइड बनाता है, उसे देखता है, और कहता है, "हम्म, शायद टेक्स्ट बहुत बड़ा है?" वह केवल अपने स्वयं के विचार के आधार पर अनुमान लगा रहा है।
- नया तरीका (ग्राउंडेड इंटरैक्शन): रोबोट एक स्लाइड बनाता है, फिर वह इसे एक मापने वाले टेप वाले रोबोट (एक उपकरण) को सौंप देता है। मापने वाला टेप रोबोट की अपनी कोई राय नहीं होती; वह बस मापता है। वह कहता है, "अरे, यह टेक्स्ट 5 पिक्सेल बहुत बड़ा है और यह कागज के किनारे से बाहर निकल रहा है।" ड्राइंग रोबोट यह वास्तविक तथ्य सुनता है, उस विशिष्ट त्रुटि को ठीक करता है, और फिर से प्रयास करता है।
यही जादू है: मापने वाला टेप वह नई जानकारी लाता है जो ड्राइंग रोबोट के पास पहले नहीं थी। यह कांच की छत को तोड़ देता है।
बड़ा जाल: "अंधा जज" (The Blind Judge)
यहाँ सबसे महत्वपूर्ण हिस्सा है, जो कहानी में एक ट्विस्ट की तरह है। पेपर कहता है कि यह नया तरीका केवल तभी काम करता है जब फीडबैक और स्कोर दोनों "ग्राउंडेड" (वास्तविक मापों पर आधारित) हों।
कल्पना कीजिए कि आप एक स्लाइड डेक को ठीक करने की कोशिश कर रहे हैं।
- ग्राउंडेड इंस्ट्रूमेंट: एक टूल जो कंप्यूटर स्क्रीन पर वास्तविक लेआउट को मापता है। वह देखता है कि टेक्स्ट एक दूसरे के ऊपर आ रहा है।
- "अंधा" जज: एक अलग AI जो स्लाइड का एक स्क्रीनशॉट देखता है।
पेपर ने एक बहुत ही दिलचस्प लेकिन गंभीर समस्या पाई: स्क्रीनशॉट झूठ बोलते हैं।
जब आप एक ऐसी स्लाइड का स्क्रीनशॉट लेते हैं जहाँ टेक्स्ट किनारे से बाहर निकल रहा है, तो कैमरा (स्क्रीनशॉट) किनारे को काट देता है। जो हिस्सा टूटा हुआ है, वह चित्र से सचमुच बाहर कट गया है!
- मापने वाला टेप उस गड़बड़ी को देखता है और कहता है, "इसे ठीक करो!"
- स्क्रीनशॉट जज उस कटे हुए चित्र को देखता है, उसमें कुछ भी गलत नहीं पाता, और कहता है, "परफेक्ट! 10/10!"
यदि आप स्क्रीनशॉट जज का उपयोग यह बताने के लिए करते हैं कि रोबोट को क्या ठीक करना चाहिए, तो रोबोट वास्तव में स्लाइड्स को और खराब कर देता है। वह उन चीजों को ठीक करने की कोशिश करता है जो चित्र में खराब नहीं हैं, जबकि वास्तविक खराब हिस्सों को वैसे ही छोड़ देता है। पेपर ने दिखाया कि 15 कठिन अकादमिक चित्रों पर, स्क्रीनशॉट जज ने 15 में से 14 टूटे हुए चित्रों को "परफेक्ट" बताया, जबकि मापने वाले टूल ने पाया कि केवल 3 ही वास्तव में साफ थे।
परिणाम: वास्तव में क्या हुआ?
शोधकर्ताओं ने सात अलग-अलग प्रकार के कार्यों (कोड, स्लाइड्स, वेब पेज आदि) पर एक "प्रपोजर-रिव्यूअर" लूप का उपयोग करके इसका परीक्षण किया। यहाँ उन्होंने पाया:
- कोड के लिए: जब उन्होंने रोबोट को अपना कोड चलाने और वास्तविक एरर मैसेज पढ़ने दिया (ग्राउंडेड फीडबैक), तो वे कठिन कार्यों पर 100% पास रेट तक पहुँच गए। पुराने तरीके (ज़्यादा देर सोचना या 100 में से सर्वश्रेष्ठ चुनना) लगभग 66% से 86% पर अटक गए, भले ही उनके पास सर्वश्रेष्ठ चुनने के लिए एक परफेक्ट "ओरेकल" हो। इंटरैक्शन लूप बढ़ता रहा जबकि अन्य एक दीवार से टकराकर रुक गए।
- विजुअल्स (स्लाइड्स और फिगर्स) के लिए: जब उन्होंने लेआउट की त्रुटियों को खोजने के लिए मापने वाले टूल का उपयोग किया, तो उन्होंने 40% से 74% लेआउट त्रुटियों को हटा दिया।
- स्लाइड्स पर, मापने वाले टूल ने 73% दोषों को ठीक किया।
- अकादमिक फिगर्स पर, इसने 74% दोषों को ठीक किया।
- वेब पेजों पर, इसने 47% को ठीक किया।
- एनिमेशन पर, इसने 40% को ठीक किया।
- "ब्लाइंड" जज की विफलता: जब उन्होंने स्लाइड्स की समीक्षा करने के लिए स्क्रीनशॉट जज का उपयोग किया, तो दोषों की संख्या वास्तव में बढ़ गई (औसतन प्रति स्लाइड लगभग 2.44 दोष)। रोबोट अंधे जज से भ्रमित हो गया और उन चीजों को बिगाड़ दिया जो ठीक थीं।
अन्य मॉडल्स के बारे में क्या?
यह केवल एक विशिष्ट रोबोट के बारे में नहीं है। उन्होंने तीन अलग-अलग AI मॉडल परिवारों (Sonnet 4, Qwen3-235B, और GPT-5) पर परीक्षण किया। हर मामले में, "इंटरैक्शन लूप" ने वास्तविक मापों के साथ त्रुटियों को ठीक किया, जबकि "ज़्यादा सोचने" वाले तरीकों ने एक सीमा छू ली। लूप 100% पास रेट तक पहुँचा जिसमें कोई भिन्नता नहीं थी, जिसका अर्थ है कि यह हर बार पूरी तरह से काम करता था, चाहे रोबोट किसी भी स्थिति में शुरू हुआ हो।
"स्टूडेंट" का सबक
पेपर ने एक छोटे, सस्ते रोबोट (एक 8-बिलियन-पैरामीटर मॉडल) को "टीचर" रोबोट के सफल सुधारों को दिखाकर यह सिखाने की भी कोशिश की।
- छोटा स्टूडेंट केवल एक प्रयास में टीचर के लगभग 51% काम को कर सका।
- यदि वे छोटे स्टूडेंट को दो बार प्रयास करने देते हैं, तो वह टीचर के 70% काम को कर सकता है।
- यह सुझाव देता है कि लूप का "जादू" सीखा जा सकता है, लेकिन सर्वश्रेष्ठ परिणाम प्राप्त करने के लिए लूप स्वयं (वास्तविक माप) अभी भी आवश्यक है।
मुख्य निष्कर्ष (The Bottom Line)
पेपर निष्कर्ष निकालता है कि केवल "ज़्यादा सोचने" या "अधिक बार प्रयास करने" से काम नहीं चलता क्योंकि रोबोट अपने ही दिमाग के अंदर फंसा हुआ है। बेहतर होने के लिए, रोबोट को बाहर निकलना होगा, कुछ बनाना होगा, और एक वास्तविक मापने वाले उपकरण को यह बताना होगा कि वास्तव में क्या गलत है।
लेकिन एक शर्त है: आप सफलता को मापने के लिए "ब्लाइंड" जज (जैसे स्क्रीनशॉट रीडर) का उपयोग नहीं कर सकते। यदि जज गलती को नहीं देख सकता (क्योंकि वह कटा हुआ है या बहुत छोटा है), तो रोबोट उसे कभी ठीक करना नहीं सीख पाएगा। पेपर साबित करता है कि ग्राउंडिंग (फीडबैक और स्कोरिंग दोनों के लिए वास्तविक मापों का उपयोग करना) वह गुप्त सूत्र है जो पूरे सिस्टम को काम करने में मदद करता है। इसके बिना, रोबोट केवल अपनी जगह पर गोल-गोल घूम रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।