Model Capability Dominates: Inference-Time Optimization Lessons from AIMO 3

यहाँ नतपोंग निताच द्वारा लिखित शोध पत्र "Model Capability Dominates: Inference-Time Optimization Lessons from AIMO 3" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र बिना किसी अतिरिक्त प्रशिक्षण के, इन्फ्रेंस-टाइम ऑप्टिमाइज़ेशन (inference-time optimization) का उपयोग करके प्रतियोगिता-स्तर की गणितीय क्षमता (विशेष रूप से AI Mathematical Olympiad, AIMO 3) पर लार्ज लैंग्वेज मॉडल (LLM) के प्रदर्शन को सुधारने की चुनौती को संबोधित करता है।

• संदर्भ: गणितीय तर्क (mathematical reasoning) के लिए मानक दृष्टिकोण मेजॉरिटी वोटिंग (Majority Voting) (सेल्फ-कंसिस्टेंसी) है, जहाँ $N$ इन्फ्रेंस प्रयासों को जनरेट किया जाता है, और सबसे बार आने वाले उत्तर को चुना जाता है। यह कोंडोरसेट जूरी थ्योरम (Condorcet Jury Theorem) पर निर्भर करता है, जो यह मानता है कि त्रुटियाँ स्वतंत्र होती हैं।
• बाधा (The Bottleneck): व्यवहार में, त्रुटियाँ अत्यधिक सह-संबंधित ($\rho > 0$) होती हैं। एक ही प्रॉम्प्ट का उपयोग करने वाला मॉडल रैंडम सीड्स के बावजूद एक ही व्यवस्थित गलतियाँ करता है, जिससे प्रभावी सैंपल साइज ($N_{eff}$) काफी कम हो जाता है।
• परिकल्पना (The Hypothesis): लेखकों ने परिकल्पना की कि अलग-अलग वोटर्स को संरचनात्मक रूप से भिन्न तर्क रणनीतियाँ (जैसे, "पीछे से काम करना" या "पहले छोटे केस देखना") देने से त्रुटियों का सह-संबंध (error correlation) कम होगा, जिससे $N_{eff}$ बढ़ेगा और अंतिम स्कोर में सुधार होगा। उन्होंने इस दृष्टिकोण को डाइवर्स प्रॉम्प्ट मिक्सर (Diverse Prompt Mixer) नाम दिया।

2. कार्यप्रणाली (Methodology)

यह अध्ययन सख्त हार्डवेयर और समय सीमाओं के तहत संचालित किया गया था: 50 IMO-स्तर की समस्याओं को हल करने के लिए एक एकल NVIDIA H100 80 GB GPU और 5 घंटे की वॉल-क्लॉक लिमिट।

सिस्टम आर्किटेक्चर

• मॉडल: gpt-oss-120b (कुल 116.8B पैरामीटर, MoE के माध्यम से 5.1B सक्रिय), जिसे FP8 क्वांटाइजेशन के साथ vLLM के माध्यम से स्थानीय रूप से सर्व किया गया।
• पाइपलाइन:
  1. बजट आवंटेशन: शेष समस्याओं के बीच समय को समान रूप से विभाजित किया गया ताकि पूर्णता सुनिश्चित हो सके।
  2. पैरेलल इन्फ्रेंस: प्रति समस्या $N=8$ समवर्ती (concurrent) थ्रेड्स।
  3. टूल इंटीग्रेशन: प्रत्येक प्रयास एक निरंतर (persistent) Jupyter कर्नेल में पायथन कोड (जैसे sympy, numpy, mpmath) जनरेट और निष्पादित कर सकता है।
  4. वोटिंग: एंट्रॉपी-वेटेड मेजॉरिटी वोटिंग (आत्मविश्वासी, कम-एंट्रॉपी वाले उत्तरों को उच्च भार दिया जाता है)।
• प्रायोगिक डिज़ाइन:
  • बेसलाइन: टेम्परेचर $T=1.0$ पर एक मानक "स्टेप-बाय-स्टेप" प्रॉम्प्ट के साथ 8 प्रयास।
  • डाइवर्स प्रॉम्प्ट मिक्सर: चार विशिष्ट सिस्टम प्रॉम्प्ट्स के संयोजन:
    1. ओरिजिनल: मानक CoT (Chain of Thought)।
    2. स्मॉल केसेस फर्स्ट: पैटर्न खोजने के लिए $n=1,2,3...$ को सूचीबद्ध करना।
    3. वर्क बैकवर्ड्स: बाधाओं को सूचीबद्ध करना और समाधान बनाना।
    4. क्लासिफाई देन सॉल्व: समस्या के प्रकार की पहचान करना और मानक तकनीकों को लागू करना।
  • क्रॉस-मॉडल वैलिडेशन: मॉडल-विशिष्ट आर्टिफैक्ट्स को खारिज करने के लिए इसे Qwen3.5-35B-A3B और Nemotron-Super-120B पर भी टेस्ट किया गया।
  • एब्लेशन (Ablation): तापमान, प्रॉम्प्ट विविधता, प्रयास संख्या ($N$), और तर्क रणनीतियों को संशोधित करने वाले 23+ प्रयोग।

3. मुख्य योगदान और निष्कर्ष (Key Contributions & Findings)

A. डाइवर्स प्रॉम्प्ट मिक्सर की विफलता

परिकल्पना के विपरीत, प्रॉम्प्ट विविधता लाने से प्रदर्शन में गिरावट आई।

• परिणाम: "इक्वल मिक्स" (प्रत्येक रणनीति के 2) ने 38/50 स्कोर किया, जबकि बेसलाइन (सभी ओरिजिनल प्रॉम्प्ट्स) ने 39.7/50 स्कोर किया।
• अवलोकन: प्रत्येक व्यक्तिगत विविध रणनीति (जैसे, "स्मॉल केसेस") केवल ओरिजिनल प्रॉम्प्ट का उपयोग करने पर भी ओरिजिनल से खराब प्रदर्शन करती थी। संबंध एकदिष्ट (monotonic) था: अधिक विविधता = कम स्कोर।
• कारण: जबकि विविध प्रॉम्प्ट्स का उद्देश्य त्रुटि सह-संबंध ($\rho$) को कम करना था, उन्होंने साथ ही प्रति-प्रयास सटीकता ($p$) को भी कम कर दिया। सटीकता में हुई कमी, सह-संबंध में होने वाले लाभ से कहीं अधिक थी।

B. हाई-टेम्परेचर सैंपलिंग पर्याप्त है

लेखकों ने पाया कि $T=1.0$ पर, मॉडल समान प्रॉम्प्ट के साथ भी पर्याप्त विविध तर्क पथों का अन्वेषण कर लेता है।

• साक्ष्य: मॉडलों में पेयरवाइज एरर कोरिलेशन ($\rho$) मापा गया, जो नकारात्मक (औसत $\hat{\rho} \approx -0.11$ से $-0.26$) था।
• निहितार्थ: स्टोकेस्टिक सैंपलिंग के कारण त्रुटियाँ पहले से ही डिकोरिलेटेड (या यहाँ तक कि एंटी-कोरिलेटेड) हैं। प्रॉम्प्ट विविधता जोड़ना अनावश्यक है और क्योंकि विविध प्रॉम्प्ट्स मॉडल के ट्रेनिंग डिस्ट्रीब्यूशन के प्रति कम मजबूत होते हैं, इसलिए वे हानिकारक हैं।

C. मॉडल क्षमता का प्रभुत्व (Model Capability Dominates)

सबसे महत्वपूर्ण निष्कर्ष यह है कि मॉडल क्षमता ($p$), इन्फ्रेंस-टाइम ट्रिक्स की तुलना में एक क्रम (order of magnitude) अधिक प्रभावी है।

• अंतर: सबसे अच्छे मॉडल (gpt-oss-120b, स्कोर ~39.7) और अगले सबसे अच्छे मॉडल (Nemotron/Qwen, स्कोर ~23) के बीच 17-पॉइंट का अंतर था।
• तुलना: परीक्षण किए गए सभी इन्फ्रेंस-टाइम ऑप्टिमाइज़ेशन (प्रॉम्प्ट मिक्सिंग, टेम्परेचर ट्यूनिंग, कोड-फर्स्ट रणनीतियाँ) केवल $\pm 2$ पॉइंट्स का बदलाव लाए।
• निष्कर्ष: कोई भी प्रॉम्प्ट इंजीनियरिंग या वोटिंग रणनीति मौलिक क्षमता के अंतर को पाट नहीं सकती। एक सरल बेसलाइन वाला मजबूत मॉडल, जटिल ऑप्टिमाइज़ेशन वाले कमजोर मॉडल से बेहतर प्रदर्शन करता है।

D. सबमिशन की "लॉटरी" प्रकृति

1.7 के स्टैंडर्ड डेविएशन और 39.7 के बेसलाइन मीन के साथ, एक सिंगल रन में टॉप-टियर स्कोर (जैसे, $\ge 44$) प्राप्त करने की संभावना बहुत कम (~0.6%) है।

• रणनीति: प्रतियोगिताओं के लिए इष्टतम रणनीति प्रॉम्प्ट को अनुकूलित करना नहीं है, बल्कि सबमिशन को लॉटरी टिकट की तरह मानना है। बार-बार अपरिवर्तित बेसलाइन को सबमिट करना एक उच्च-स्कोर आउटलायर (outlier) हिट करने की संभावना को अधिकतम करता है।

4. महत्व और निहितार्थ (Significance and Implications)

1. "विविधता के लिए विविधता" का खंडन: यह शोध पत्र इस अंतर्ज्ञान को चुनौती देता कि विविध तर्क रणनीतियाँ हमेशा फायदेमंद होती हैं। मॉडल के लिए, प्रॉम्प्ट मजबूती (prompt robustness) कम होती है; निर्देश प्रारूप बदलना मॉडल को उसके ट्रेनिंग डिस्ट्रीब्यूशन से बाहर ले जाता है, जिससे सटीकता में गिरावट आती है जो डिकोरिलेशन के लाभों को खत्म कर देती है।
2. ऑप्टिमाइज़ेशन प्रतिमान में बदलाव: क्षेत्र अब हाई-$N$ (कई प्रयासों के साथ ब्रूट-फोर्स वोटिंग, जैसा कि AIMO-1 में देखा गया था) से हाई-$p$ (कम प्रयासों के साथ अधिक सक्षम मॉडलों का उपयोग) की ओर बढ़ रहा है। एक बार जब बेस सिस्टम उचित रूप से कॉन्फ़िगर हो जाता है, तो इन्फ्रेंस-टाइम स्केलिंग के रिटर्न घटते जाते हैं।
3. ट्रेनिंग बनाम इन्फ्रेंस: यह शोध पत्र सुझाव देता है कि विविध प्रॉम्प्ट्स से वास्तव में लाभ उठाने के लिए, मॉडलों को मिक्सचर ऑफ फॉर्मेट्स (MOF) डेटा पर प्रशिक्षित किया जाना चाहिए ताकि वे प्रॉम्प्ट मजबूती सीख सकें। यह एक ट्रेनिंग-टाइम हस्तक्षेप है, न कि इन्फ्रेंस-टाइम।
4. व्यावहारिक मार्गदर्शन: हार्डवेयर-प्रतिबंधित वातावरण के लिए:
   • सबसे बड़ा मॉडल उपयोग करें जो मेमोरी में फिट हो सके।
   • टेम्परेचर को उच्च रखें ($T \approx 1.0$) ताकि प्राकृतिक स्टोकेस्टिक विविधता का लाभ उठाया जा सके।
   • जटिल प्रॉम्प्ट मिक्सिंग से बचें; सबसे मजबूत और परिचित प्रॉम्प्ट फॉर्मेट पर टिके रहें।
   • जटिल प्रति-प्रयास ऑप्टिमाइज़ेशन के बजाय कई सबमिशन प्रयासों (लॉटरी टिकट) के लिए बजट आवंटित करें।

परिणामों की सारांश तालिका (gpt-oss-120b)

अंतिम निष्कर्ष: उच्च-कठिनाई वाले गणितीय तर्क के क्षेत्र में, मॉडल क्षमता सफलता का प्राथमिक चालक है। प्रॉम्प्ट विविधता जैसे इन्फ्रेंस-टाइम ऑप्टिमाइज़ेशन, जब बेस मॉडल पहले से ही अपनी सीमाओं के करीब काम कर रहा हो, तो नगण्य या नकारात्मक रिटर्न देते हैं।