तकनीकी सारांश: कमजोर तर्क मॉडलों को बढ़ावा देने के रूप में एजेंटिक सिस्टम्स (Agentic Systems)

समस्या विवरण

यह शोध पत्र कमजोर भाषा मॉडलों (LLMs) की तर्क क्षमताओं को इन्फरेंस-टाइम (inference time) पर बढ़ाने की चुनौती को संबोधित करता है। जबकि शास्त्रीय बूस्टिंग (classical boosting) सुपरवाइज्ड फीडबैक का उपयोग करके कमजोर प्रेडिक्टर्स को मजबूत प्रेडिक्टर्स में संयोजित करती है, तर्क कार्य मौलिक रूप से भिन्न हैं: सिस्टम को मध्यवर्ती चालें (intermediate moves) उत्पन्न करनी होती हैं, प्रत्येक चरण के लिए अंतिम ग्राउंड-ट्रूथ लेबल तक पहुंच के बिना उनकी उपयोगिता का मूल्यांकन करना होता है, और स्थानीय त्रुटियों को विफल होने वाले प्रक्षेपवक्र (trajectory) में बदलने से रोकना होता है।

मौजूदा इन्फरेंस-टाइम विधियाँ (जैसे, कई उम्मीदवारों का नमूना लेना, सेल्फ-कंसिस्टेंसी, मल्टी-एजेंट वोटिंग) अक्सर इस ह्यूरिस्टिक पर निर्भर करती हैं कि "अधिक एजेंट मदद करते हैं।" हालांकि, यह शोध पत्र तर्क देता है कि केवल सैंपलिंग पर्याप्त नहीं है। यदि एक प्रस्ताव प्रणाली (proposal system) के "साझा ब्लाइंड स्पॉट्स" (shared blind spots) हैं (अर्थात, कुछ विशिष्ट कार्यों के लिए सही चालों को शून्य के करीब प्रायिकता देना), तो कोई भी सैंपलिंग या चयन समाधान को पुनः प्राप्त नहीं कर सकता। इसके अलावा, पूल में एक सही उम्मीदवार की उपस्थिति यह गारंटी नहीं देती कि उसे एक विशिष्ट स्थानीय साउंडनेस सिग्नल (local soundness signal) के बिना पहचाना जा सकता है।

मुख्य समस्या यह औपचारिक रूप से उन स्थितियों को परिभाषित करना है जिनके तहत सत्यापनकर्ताओं (verifiers), आलोचकों (critics) और तुलनाकारों (comparators) द्वारा समर्थित कमजोर तर्क मॉडलों की एक समिति, बहुत अधिक मजबूत स्टैंडअलोन मॉडलों के प्रदर्शन से मेल खाने के लिए प्रदर्शन को बढ़ा सकती है।

कार्यप्रणाली

सैद्धांतिक ढांचा: सत्यापनकर्ता-समर्थित समिति खोज (Verifier-Backed Committee Search)

लेखक एजेंटिक सिस्टम्स को आंशिक तर्क अवस्थाओं (जैसे, मध्यवर्ती प्रमाण अवस्था या आंशिक कोड पैच) पर एक सीमित-गहराई वाली खोज (bounded-depth search) के रूप में मॉडल करते हैं। यह ढांचा प्रवर्धन प्रक्रिया (amplification process) को चार अलग-अलग मात्राओं में विभाजित करता है:

1. प्रस्ताव कवरेज (Proposal Coverage): एक "प्रगतिशील-सार्थक" (progressing-sound) क्रिया (एक ऐसी चाल जो वैधता बनाए रखती है और समाधान तक की दूरी को कम करती है) के नमूना पूल में प्रकट होने की प्रायिकता।
2. स्थानीय पहचान क्षमता (Local Identifiability): स्थानीय संकेतों (जैसे, निष्पादन, टाइप चेकिंग, परीक्षण) का उपयोग करके सही चालों को गलत चालों के ऊपर पहचानने और रैंक करने की आलोचकों या तुलनाकारों की क्षमता।
3. प्रगति (Progress): वह तंत्र जिसके द्वारा स्थानीय विकल्पों को एक टर्मिनल समाधान में संयोजित किया जाता है।
4. विविधता (Diversity): वह सीमा जहाँ कई कॉल विभिन्न विफलता मोड से बच निकलती हैं।

प्रस्तावित प्रोटोकॉल, $\Pi_{k,m,r}$, निम्नलिखित चरणों में संचालित होता है:

1. प्रस्ताव (Propose): एक प्रपोजर हार्नेस से $k$ उम्मीदवार क्रियाओं का नमूना लें।
2. आलोचना (Critique): प्रत्येक उम्मीदवार पर $m$ स्वतंत्र आलोचक कॉल लागू करें; किसी भी ऐसे उम्मीदवार को हटा दें जिसे कम से कम एक बार खारिज किया गया हो।
3. तुलना (Compare): जीवित बचे हुए उम्मीदवारों के बीच $r$ युग्मवार तुलनात्मक मतों का उपयोग करके एक कोपलैंड विजेता (Copeland winner) चुनें।
4. आगे बढ़ना (Advance): चयनित क्रिया को लागू करें और टर्मिनल अवस्था तक पहुंचने तक दोहराएं।

मुख्य सैद्धांतिक परिणाम

• कवरेज और पहचान क्षमता का पृथक्करण: शोध पत्र एक "ब्लैक-बॉक्स सेपरेशन" (प्रपोजिशन 1) सिद्ध करता है: एक सही चाल उत्पन्न करने की गैर-तुच्छ प्रायिकता (कवरेज) का अर्थ यह नहीं है कि एक उपयोगी आलोचक या तुलनाकार (पहचान क्षमता) का अस्तित्व है। एक बाहरी साउंडनेस सिग्नल (जैसे, एक सत्यापनकर्ता) के बिना, यदि प्रपोजर वितरण एक्शन स्पेस पर यूनिफॉर्म है, तो सिस्टम एक सही चाल को गलत चाल से अलग नहीं कर सकता है।
• ब्रिज थ्योरम (Bridge Theorem): थ्योरम 1 स्थापित करता है कि विश्वसनीय प्रवर्धन के लिए दोनों संसाधनों की आवश्यकता होती है: कवरेज को बढ़ाने के लिए बार-बार सैंपलिंग (यह सुनिश्चित करना कि कोई भी अच्छा मूव न मिले) और अच्छे मूव की पहचान करने के लिए स्वतंत्र स्थानीय संकेत (आलोचक/तुलनाकार)।
• त्रुटि अपघटन (Error Decomposition): वैश्विक विफलता की प्रायिकता को तीन पदों के योग द्वारा सीमित किया गया है:
  1. ब्लाइंड-स्पॉट फ्लोर ($B$): एक अपरिहार्य त्रुटि पद जो उन कार्य स्लाइसों का प्रतिनिधित्व करता है जहां प्रस्ताव प्रणाली सही चालों के लिए शून्य प्रायिकता देती है।
  2. फाइनाइट-सैंपलिंग रेसिडुअल ($R_k$): सीमित प्रस्ताव चौड़ाई के कारण होने वाली त्रुटि, जो $k$ के बढ़ने के साथ घटती है।
  3. पहचान क्षमता त्रुटि (Identifiability error): अपूर्ण आलोचकों/तुलनाकारों के कारण होने वाली त्रुटि, जो आलोचक ($m$) और तुलनाकार ($r$) कॉल की संख्या के साथ तेजी से (exponentially) घटती है।
• ओरेकल बेस्ट-ऑफ-$k$ सीलिंग (Oracle Best-of-$k$ Ceiling): यह पेपर एक "ओरेकल बेस्ट-ऑफ-$k$" मीट्रिक को परिभाषित करता है, जो यह मापता है कि यदि एक पूर्ण सेलेक्टर पूल से सही समाधान की पहचान कर सके तो प्रदर्शन कैसा होगा। यह मीट्रिक $1 - B$ की ओर अभिसरित होता है, जो एक निश्चित प्रस्ताव प्रणाली के लिए इन्फरेंस-टाइम चयन द्वारा प्राप्त किए जा सकने वाले प्रदर्शन की एक औपचारिक सीमा स्थापित करता है।

अनुभवजन्य मूल्यांकन (Empirical Evaluation)

लेखक अपने ढांचे का मूल्यांकन SWE-bench Verified पर करते हैं, जो सॉफ्टवेयर इंजीनियरिंग कार्यों का एक बेंचमार्क है जहाँ सफलता को छिपे हुए परीक्षणों द्वारा मापा जाता है।

• सेटअप: वे एक कमजोर मॉडल, GPT-5.4 nano, को प्रपोजर के रूप में उपयोग करते हैं। वे प्रत्येक कार्य के लिए $k=8$ उम्मीदवार पैच का एक निश्चित पूल उत्पन्न करते हैं।
• चयन: वे बाइनरी आलोचकों (व्यक्तिगत पैच का मूल्यांकन करने वाले) और युग्मवार तुलनाकारों (पैच को एक दूसरे के विरुद्ध रैंक करने वाले) के साथ एक हार्नेस का उपयोग करते हैं।
• तुलना: वे ऑर्केस्ट्रेटेड सिस्टम की तुलना सिंगल-शॉट बेसलाइन, ओरेकल बेस्ट-ऑफ-$k$ अपर बाउंड, और मजबूत स्टैंडअलोन मॉडलों (Gemini 3 Pro, Claude Opus 4.5 Thinking) से करते हैं।

मुख्य परिणाम

1. कमजोर-से-फ्रंटियर प्रवर्धन (Weak-to-Frontier Amplification): एक एकल GPT-5.4 nano कॉल 67.0% कार्यों को हल करता है। प्रस्तावित आलोचक-तुलनाकार ऑर्केस्ट्रेशन (जिसमें $k=8$ प्रस्ताव हैं) 76.4% तक पहुँच जाता है। यह प्रदर्शन काफी मजबूत मॉडलों (Gemini 3 Pro और Claude Opus 4.5 Thinking) के स्टैंडअलोन प्रदर्शन से मेल खाता है और GPT-5.4 mini से बेहतर है।
2. लेटेंट करेक्टनेस (Latent Correctness): ओरेकल बेस्ट-ऑफ-8 कर्व 79.0% तक पहुँच जाता है। यह इंगित करता है कि सही पैच अक्सर कमजोर-मॉडल प्रस्ताव पूल में पहले से ही मौजूद होते हैं; प्राथमिक चुनौती उन्हें चुनने की है, न कि उत्पन्न करने की।
3. संकेतों की पूरकता (Complementarity of Signals): एब्लेशन अध्ययन (Ablation studies) दिखाते हैं कि केवल आलोचक (दोषपूर्ण उम्मीदवारों को फ़िल्टर करना) और केवल तुलनाकार (संभावित उम्मीदवारों को रैंक करना) अपर्याप्त हैं। पूर्ण ऑर्केस्ट्रेशन, जो फ़िल्टरिंग और रैंकिंग दोनों को जोड़ता है, सिंगल-शॉट बेसलाइन और ओरेकल के बीच के अंतर को अधिकांशतः कवर करता है।
4. ब्लाइंड स्पॉट डायग्नोसिस: विफलता अपघटन (Failure decomposition) से पता चलता है कि ऑर्केस्ट्रेटेड सिस्टम (76.4%) और ओरेकल (79.0%) के बीच का शेष अंतर छोटा है। विफलता का प्रमुख स्रोत प्रस्ताव कवरेज (वे कार्य जहाँ कोई सही पैच उत्पन्न नहीं हुआ) है, न कि चयन विफलता। यह सैद्धांतिक भविष्यवाणी की पुष्टि करता कि यदि प्रस्ताव प्रणाली में साझा ब्लाइंड स्पॉट्स हैं, तो मजबूत सेलेक्टर भी अंतर को नहीं पाट सकते।

महत्व और दावे

यह शोध पत्र तर्क कार्यों में इन्फरेंस-टाइम बूस्टिंग को समझने के लिए एक औपचारिक और अनुभवजन्य ढांचे को प्रदान करने का दावा करता है। इसका महत्व निम्नलिखित में निहित है:

• तंत्र को औपचारिक बनाना: यह "अधिक एजेंट मदद करते हैं" जैसे ह्यूरिस्टिक से आगे बढ़कर कवरेज, पहचान क्षमता, प्रगति, और विविधता के एक कठोर अपघटन की ओर बढ़ता है। यह सिद्ध करता है कि केवल सैंपलिंग एक सत्यापनकर्ता (verifier) का निर्माण नहीं कर सकती; स्थानीय साउंडनेस सिग्नल एक अलग, आवश्यक संसाधन हैं।
• सीमा को परिभाषित करना: "ओरेकल बेस्ट-ऑफ-$k$" मीट्रिक और "ब्लाइंड-स्पॉट मास" की अवधारणा को पेश करके, यह पेपर यह निदान करने के लिए एक उपकरण प्रदान करता है कि विफलताएँ कमजोर चयन (जिसे सुधारा जा सकता है) के कारण हैं या प्रस्ताव प्रणाली में साझा ब्लाइंड स्पॉट्स (जो प्रपोजर को बदले बिना अपूरणीय हैं) के कारण हैं।
• व्यावहारिक दक्षता: परिणाम प्रदर्शित करते हैं कि कमजोर, सस्ते मॉडलों (GPT-5.4 nano) की एक समिति, बहुत मजबूत, संभवतः अधिक महंगे मॉडलों के प्रदर्शन के बराबर प्राप्त कर सकती है, बशर्ते कि ऑर्केस्ट्रेशन हार्नेस प्रस्ताव पूल से लेटेंट सही समाधानों को प्रभावी ढंग से पुनः प्राप्त कर सके।
• मूल्यांकन मानक: यह पेपर सत्यापनकर्ता-समर्थित बेंचमार्क के लिए एक नए रिपोर्टिंग मानक की वकालत करता है जो वन-शॉट क्षमता ($p_1$), लेटेंट बूस्टेबल क्षमता (ओरेकल बेस्ट-ऑफ-$k$), और कार्यान्वित सिस्टम रिकवरी (Rec) को अलग करता है, जिससे यह स्पष्ट चित्र मिलता है कि सुधार की आवश्यकता कहाँ है।

लेखक निष्कर्ष निकालते हैं कि जबकि इन्फरेंस-टाइम ऑर्केस्ट्रेशन कमजोर मॉडलों को महत्वपूर्ण रूप से बढ़ावा दे सकता है, इसकी प्रभावशीलता अंततः प्रस्ताव प्रणाली की सभी कार्य स्लाइसों के लिए सही चालें उत्पन्न करने की क्षमता द्वारा सीमित है। जब पूल में सही चालें अनुपस्थित होती हैं, तो चयन की कितनी भी मात्रा उन्हें पुनः प्राप्त नहीं कर सकती।