तकनीकी सारांश: जॉइंट कंसिस्टेंसी (JC)

समस्या की परिभाषा

यह शोध पत्र टेस्ट-टाइम एग्रीगेशन (TTA) को संबोधित करता है, जो एक विशिष्ट क्वेरी के लिए उत्पन्न किए गए $N$ संभावित रीजनिंग ट्रेसेस (reasoning traces) के सेट में से एक एकल, विश्वसनीय उत्तर चुनने की समस्या है। जबकि मौजूदा टेस्ट-टाइम स्केलिंग (TTS) विधियाँ प्रभावी ढंग से कई ट्रेसेस उत्पन्न करती हैं, उनकी एग्रीगेशन रणनीतियाँ अक्सर दो सीमाओं से ग्रस्त होती हैं:

1. अलगाव (Isolation): अधिकांश विधियाँ (जैसे, सेल्फ-कंसिस्टेंसी, वेटेड सेल्फ-कंसिस्टेंसी) ट्रेसेस का स्वतंत्र रूप से मूल्यांकन करती हैं, जो पूर्ण गुणवत्ता स्कोर या उत्तरों की आवृत्ति पर निर्भर करती हैं। यह उम्मीदवारों के बीच तुलनात्मक जानकारी की अनदेखी करता है।
2. कैलिब्रेशन की कठिनाई (Calibration Difficulty): स्वतंत्र मूल्यांकन के लिए मूल्यांकनकर्ता (evaluator) को अच्छी तरह से कैलिब्रेटेड पूर्ण स्कोर (absolute scores) उत्पन्न करने की आवश्यकता होती है, जो प्राप्त करना अक्सर कठिन होता है, विशेष रूप से विषम मॉडल जनरेटरों (heterogeneous model generators) के मामले में।
3. तुलनाओं की स्केलेबिलिटी (Scalability of Comparisons): हालांकि तुलनात्मक निर्णय (जैसे, "ट्रेस A, ट्रेस B से बेहतर है") अक्सर पूर्ण स्कोर की तुलना में अधिक विश्वसनीय होते हैं, लेकिन सभी पेयरवाइज (pairwise) तुलनाओं को सहजता से शामिल करने से $O(N^2)$ कम्प्यूटेशनल लागत आती है, जो बड़े ट्रेस बजट के लिए निषेधात्मक है।

लेखक यह प्रश्न उठाते हैं: पेयरवाइज तुलनात्मक निर्णयों को एक सिद्धांतपूर्ण, कम्प्यूटेशनल रूप से कुशल तरीके से टेस्ट-टाइम एग्रीगेशन में कैसे शामिल किया जा सकता है?

कार्यप्रणाली: जॉइंट कंसिस्टेंसी (JC)

लेखक जॉइंट कंसिस्टेंसी (JC) प्रस्तावित करते हैं, जिसे एक प्रतिबंधित आइसिंग-टाइप एनर्जी मिनिमाइजेशन (constrained Ising-type energy minimization) समस्या के रूप में तैयार किया गया है।

1. ऊर्जा फलन (The Energy Function)

एग्रीगेशन का लक्ष्य एक इंडिकेटर वेक्टर $x \in \{0, 1\}^N$ (जहाँ $x_i=1$ यदि ट्रेस $i$ को चुना जाता है) खोजना है जो ऊर्जा फलन $H(x)$ को कम करता हो:
$$\min_{x \in \{1_{I_k} | k \in [K]\}} H(x) := -\mu \langle h, x \rangle - x^\top J x$$
जहाँ:

• $K$ विशिष्ट संभावित उत्तरों की संख्या है।
• प्रतिबंध (Constraint): व्यवहार्य सेट (feasible set) $x$ को ठीक एक उत्तर समूह (सभी ट्रेस जो एक ही उत्तर देते हैं) चुनने के लिए प्रतिबंधित करता है।
• $h$ (एक्सटर्नल फील्ड): एक वेक्टर जो स्वतंत्र मूल्यांकन संकेतों (जैसे, व्यक्तिगत ट्रेसेस के लिए LLM-as-a-judge स्कोर) को एनकोड करता है।
• $J$ (इंटरेक्शन मैट्रिक्स): एक मैट्रिक्स जो पेयरवाइज तुलनात्मक संकेतों (जैसे, प्रायिकता कि ट्रेस $i$ को ट्रेस $j$ पर प्राथमिकता दी जाती है) को एनकोड करता है।
• $\mu$ (हाइपरपैरामीटर): स्वतंत्र मूल्यांकन और पेयरवाइज इंटरेक्शन के बीच ट्रेड-ऑफ को नियंत्रित करता है।

2. इंटरेक्शन मैट्रिक्स ($J$) का निर्माण

मैट्रिक्स $J$ का निर्माण LLM-as-a-judge तुलनाओं का उपयोग करके किया जाता है।

• पेयरवाइज प्रायिकताएं (Pairwise Probabilities): ट्रेसेस $y_i$ और $y_j$ के लिए, जज $p_\theta(y_i \succeq y_j)$ का अनुमान लगाता है, जो इस बात की प्रायिकता है कि $y_i$, $y_j$ से बेहतर है।
• पॉजिटिव सेमी-डेफिनिट निर्माण (Positive Semi-Definite Construction): स्थिरता और व्याख्यात्मकता सुनिश्चित करने के लिए, $J$ को $J = CC^\top$ के रूप में परिभाषित किया गया है, जहाँ प्रविष्टि $C_{ij}$ प्राथमिकता प्रायिकता का एक सामान्यीकृत संस्करण है:
  $$C_{ij} := \sqrt{\frac{p_\theta(y_i \succeq y_j)}{n_i^2 n_j}}$$
  यहाँ $n_i$ उन ट्रेसेस की संख्या है जो $y_i$ के समान उत्तर साझा करते हैं। यह निर्माण यह दर्शाता है कि दो ट्रेसेस के बीच एक मजबूत इंटरेक्शन तब होता है जब वे दोनों प्रतिस्पर्धी ट्रेसेस के समान सेटों पर प्राथमिकता प्राप्त करते हैं।

3. सैद्धांतिक व्याख्या

एक उत्तर-स्तर की समरूपता धारणा (answer-level homogeneity assumption) के तहत (जहाँ एक दिए गए उत्तर $a^{(k)}$ के लिए सभी ट्रेसेस के दूसरे उत्तर $a^{(k')}$ के विरुद्ध पेयरवाइज प्राथमिकता प्रायिकता समान होती है), द्विघात पद (quadratic term) $x^\top J x$ उत्तर-स्तर की प्राथमिकताओं के योग में सरल हो जाता है। यह ट्रेस-स्तर की तुलनाओं को उत्तर-स्तर के एग्रीगेशन नियम में बदलने के लिए एक सैद्धांतिक औचित्य प्रदान करता है।

4. कुशल सन्निकटन रणनीति (Efficient Approximation Strategy)

सभी ट्रेस जोड़ों के लिए $J$ की गणना करने की $O(N^2)$ लागत को संबोधित करने के लिए, लेखक एक Top-$\kappa$ सन्निकटन प्रस्तावित करते हैं:

• सभी $N$ ट्रेसेस के बीच तुलना करने के बजाय, इंटरेक्शन केवल शीर्ष-$\kappa$ सबसे आवृत्ति वाले उत्तर समूहों के बीच अनुमानित किए जाते हैं।
• यह जटिलता को $O(N^2)$ से घटाकर $O(\kappa^2)$ कर देता है, जहाँ $\kappa$ एक छोटा कंसिस्टेंसी बजट है (जैसे, $\kappa=4$)।
• ऊर्जा फलन का अनुकूलन स्वयं सुलभ ($O(K)$ या $O(\kappa)$) है क्योंकि व्यवहार्य सेट $K$ (या $\kappa$) तक सीमित है, जो सामान्य क्वाड्रेटिक अनकन्स्ट्रेंड बाइनरी ऑप्टिमाइजेशन (QUBO) की NP-हार्ड प्रकृति से बचता है।

मुख्य योगदान

1. तुलनात्मक संकेतों का समावेश: JC एक प्रतिबंधित ऊर्जा न्यूनीकरण मॉडल पेश करता है जो एक इंटरेक्शन मैट्रिक्स $J$ के माध्यम से पेयरवाइज तुलनात्मक संकेतों को, स्वतंत्र संकेतों (external field $h$) के साथ एकीकृत करता है।
2. एकीकृत ढांचा (Unifying Framework): यह फॉर्मूलेशन मौजूदा विधियों को विशेष मामलों के रूप में समाहित करता है:
   • सेल्फ-कंसिस्टेंसी (SC): $J=0, \mu=0$ (या विशिष्ट $h$)।
   • वेटेड सेल्फ-कंसिस्टेंसी (WSC): $J=0, \mu > 0$।
   • केवल इंटरेक्शन-आधारित: $\mu=0$।
     $\mu$ को बदलकर, JC इन रणनीतियों के बीच इंटरपोलेट करता है।
3. स्केलेबिलिटी: प्रस्तावित Top-$\kappa$ सन्निकटन इंटरेक्शन मॉडलिंग को बड़े पैमाने पर एग्रीगेशन के लिए व्यावहारिक बनाता है, जो मानक वेटेड वोटिंग के समान लागत के साथ पेयरवाइज तुलनाओं के लाभ बनाए रखता है।

प्रयोगात्मक परिणाम

लेखकों ने गणितीय तर्क (MathArena: AIME, HMMT, Brumo) और कोड तर्क (CruxEval-O) बेंचमार्क पर JC का मूल्यांकन किया।

• क्राउडसोर्स्ड सेटिंग्स (विषम ट्रेसेस):
  • JC विविध जज मॉडल्स (Qwen, DeepSeek, GPT वेरिएंट) और ट्रेस बजटों में बेसलाइन (SC, WSC, Best-of-N, Knockout Tournament) की तुलना में लगातार बेहतर प्रदर्शन करता है।
  • MathArena-C (चुनौतीपूर्ण उपसमुच्चय) पर, $\kappa=4$ के छोटे बजट के साथ JC ने WSC की तुलना में 20% से अधिक सटीकता लाभ प्राप्त किया।
  • JC तब भी मजबूत बना रहा जब ट्रेसेस को निचले स्तर के मॉडल्स द्वारा उत्पन्न किया गया था, जहाँ स्वतंत्र स्कोर अविश्वसनीय थे लेकिन तुलनात्मक सुसंगतता (comparative coherence) प्रभावी रही।
• सजातीय सेटिंग्स (आंतरिक संकेत):
  • ऐसी सेटिंग्स में जहाँ टोकन-स्तर के लॉग-प्रोबेबिलिटी उपलब्ध थे (जैसे, DeepSeek-R1, Qwen3), JC ने Self-Certainty और DeepConf जैसे आंतरिक-मूल्यांकन बेसलाइन से बेहतर प्रदर्शन किया।
  • सबसे मजबूत बेसलाइन पर JC का प्रदर्शन लाभ ट्रेसेस ($N$) की संख्या बढ़ने के साथ बढ़ता गया, जो बेहतर स्केलिंग गुणों को दर्शाता है।
• लागत दक्षता:
  • JC मूल्यांकन चरण (जज से $h$ और $J$ के लिए पूछने) की लागत रीजनिंग ट्रेसेस उत्पन्न करने की लागत के 1% से भी कम पाई गई।
  • विधि $\mu$ के चयन के प्रति मजबूत है (इष्टतम रेंज आमतौर पर $[0.5, 1]$) और इसे विशिष्ट जज मॉडल्स के लिए फाइन-ट्यूनिंग की आवश्यकता नहीं है।

महत्व और दावे

यह शोध पत्र दावा करता है कि जॉइंट कंसिस्टेंसी (JC) टेस्ट-टाइम एग्रीगेशन के लिए एक सिद्धांतपूर्ण, एकीकृत दृष्टिकोण प्रदान करता है जो स्वतंत्र मूल्यांकन और पेयरवाइज तुलना के बीच के अंतर को पाटता है।

• सैद्धांतिक अंतर्दृष्टि: यह एग्रीगेशन को एक ऊर्जा न्यूनीकरण समस्या के रूप में फ्रेम करता है, जो यह व्याख्या करता है कि पेयरवाइज तुलनाएं उत्तर स्तर पर कैसे एकत्रित होती हैं।
• व्यावहारिक प्रभाव: यह प्रदर्शित करता है कि एक कुशल सन्निकटन रणनीति के माध्यम से तुलनात्मक संकेतों का लाभ उठाना, अत्यधिक कम्प्यूटेशनल ओवरहेड के बिना स्टेट-ऑफ-द-आर्ट बेसलाइन पर निरंतर लाभ देता है।
• सीमाएँ: लेखक विनम्रतापूर्वक नोट करते हैं कि वर्तमान कार्य रीजनिंग कार्यों में अंतिम-उत्तर एग्रीगेशन पर केंद्रित है; ओपन-एंडेड रीजनिंग या रिसर्च-लेवल प्रॉब्लम सॉल्विंग में इसका सामान्यीकरण अपुष्ट है। इसके अतिरिक्त, इंटरेक्शन मैट्रिक्स $J$ का विशिष्ट निर्माण इष्टतम नहीं हो सकता है, और विधि अंतर्निहित जनरेशन और जज मॉडल्स की सीमाओं को विरासत में लेती है।