🤖 machine learning

Compute Aligned Training: Optimizing for Test Time Inference

यह शोध पत्र "कंप्यूट अलाइन्ड ट्रेनिंग" (Compute Aligned Training) पेश करता है, जो एक नया फ्रेमवर्क है जो नए लॉस फंक्शन्स को व्युत्पन्न करके लार्ज लैंग्वेज मॉडल्स के ट्रेनिंग ऑब्जेक्टिव्स को टेस्ट-टाइम इन्फरेंस रणनीतियों के साथ संरेखित करता है, जिससे मानक SFT और RL दृष्टिकोणों की तुलना में प्रदर्शन स्केलिंग में महत्वपूर्ण सुधार होता है।

मूल लेखक: Adam Ousherovitch, Ambuj Tewari

प्रकाशित 2026-04-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Adam Ousherovitch, Ambuj Tewari

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को एक बहुत ही विशिष्ट प्रकार की अंतिम परीक्षा के लिए प्रशिक्षित कर रहे हैं।

पुराना तरीका (मानक प्रशिक्षण):
परंपरागत रूप से, जब हम AI मॉडल (जैसे वे जो निबंध लिखते हैं या गणित की समस्याओं को हल करते हैं) को सिखाते हैं, तो हम एक सख्त शिक्षक की तरह व्यवहार करते हैं जो होमवर्क के हर असाइनमेंट को व्यक्तिगत रूप से ग्रेड करता है। यदि छात्र एक प्रश्न का सही उत्तर देता है, तो हम कहते हैं "बहुत अच्छा!" और यदि वह गलत होता है, तो हम कहते हैं "फिर से प्रयास करें।" हम चाहते हैं कि छात्र पहली बार में ही एकदम सही उत्तर देने में पूर्ण (perfect) हो जाए।

समस्या यह है कि यह उन्हें वास्तविक परीक्षा के लिए तैयार नहीं करता है। वास्तविक दुनिया में, हम मॉडल से केवल एक उत्तर नहीं मांगते। हम उससे कई अलग-अलग उत्तर बनाने के लिए कहते हैं (जैसे कि एक छात्र को निबंध के 10 अलग-अलग ड्राफ्ट लिखने के लिए कहना) और फिर हम सबसे अच्छे को चुनते हैं, या सबसे आम उत्तर पर वोट देते हैं।

यदि आप एक छात्र को पहले ड्राफ्ट में पूर्ण होने के लिए प्रशिक्षित करते हैं, तो वे बहुत अधिक आत्मविश्वासी हो सकते हैं और नए विचारों को तलाशना बंद कर सकते हैं। वे सोचने के एक "सुरक्षित" तरीके में फंस सकते हैं। जब आप बाद में उनसे 10 ड्राफ्ट बनाने के लिए कहते हैं, तो वे शायद एक ही "सुरक्षित" उत्तर के 10 थोड़े अलग संस्करण ही लिख देंगे, और उनमें से कोई भी वह शानदार, रचनात्मक समाधान नहीं होगा जिसकी आपको आवश्यकता थी।

नया तरीका (कंप्यूट अलाइन्ड ट्रेनिंग - CAT):
लेखक इस नए प्रशिक्षण तरीके का प्रस्ताव करते हैं जिसे 'कंप्यूट अलाइन्ड ट्रेनिंग' (CAT) कहा जाता है। एक एकल होमवर्क असाइनमेंट पर छात्र को ग्रेड देने के बजाय, वे छात्र को इस आधार पर ग्रेड देते हैं कि वह वास्तविक परीक्षा के प्रारूप में कैसा प्रदर्शन करेगा।

यह कैसे काम करता है, इसके कुछ उदाहरण यहाँ दिए गए हैं:

1. "Pass@N" का उदाहरण (लॉटरी टिकट)

कल्पना कीजिए कि परीक्षा आपको एक प्रश्न के लिए N लॉटरी टिकट (मान लीजिए 64 टिकट) खरीदने की अनुमति देती है। आप तब जीतते हैं जब आपके 64 टिकटों में से कोई भी एक जीतने वाला नंबर हो।

मानक प्रशिक्षण: यदि छात्र के पास एक टिकट के साथ जीतने की 50% संभावना है, तो शिक्षक उसे 90% या 99% तक पहुँचने के लिए प्रेरित करता रहता है। लेकिन 64-टिकट वाली लॉटरी में, एक बार जब आपके पास 50% संभावना होती है, तो अधिक टिकट खरीदना जीत की गारंटी देता है। शिक्षक एक आसान प्रश्न पर एक "अच्छे" छात्र को "पूर्ण" बनाने में अपनी ऊर्जा बर्बाद करता है, जबकि वे उन कठिन प्रश्नों की अनदेखी करते हैं जहाँ छात्र के पास केवल 1% संभावना है।
CAT प्रशिक्षण: शिक्षक महसूस करता है, "अरे, इस छात्र के पास 64 टिकटों के साथ जीतने की संभावना पहले से ही अधिक है। मैं इस आसान प्रश्न के लिए इतनी कड़ी ग्रेडिंग करना बंद कर दूँगा।" इसके बजाय, वे अपना सारा ध्यान उन कठिन प्रश्नों पर केंद्रित करते हैं जहाँ छात्र वर्तमान में विफल हो रहा है। वे छात्र को अपने अवसरों को फैलाने के लिए सिखाते हैं, यह सुनिश्चित करने के लिए कि कम से कम एक में से 64 टिकट विजेता हो, न कि किसी एक विशिष्ट टिकट को पूर्ण बनाने के लिए।

2. "मेजोरिटी वोट" का उदाहरण (चुनाव)

कल्पना कीजिए कि परीक्षा मॉडल से 10 उत्तर उत्पन्न करने के लिए कहती है, और कक्षा सबसे लोकप्रिय उत्तर पर वोट करती है।

मानक प्रशिक्षण: शिक्षक छात्र के पहले उत्तर को पूर्णतः सबसे लोकप्रिय बनाने की कोशिश करता है, भले ही वह पहले से ही भारी बहुमत से जीत रहा हो। यह उस उम्मीदवार की तरह है जो पहले से ही 90% वोट जीत रहा है; शिक्षक उसे और अधिक प्रचार करने के लिए कहता रहता है, जो समय की बर्बादी है।
CAT ट्रेनिंग: शिक्षक "टिपिंग पॉइंट" (निर्णायक बिंदु) को देखता है। यदि छात्र का उत्तर वर्तमान में एक छोटे अंतर से हार रहा है, तो शिक्षक उसे फिनिश लाइन पार करने में मदद करने के लिए एक बड़ा बढ़ावा देता है। यदि छात्र आसानी से जीत रहा है, तो शिक्षक उसे अतिरिक्त अंक देना बंद कर देता है। यह मॉडल को "बैटलग्राउंड" (लड़ाई के मैदान) वाले प्रश्नों पर ध्यान केंद्रित करने के लिए मजबूर करता है जहाँ थोड़ा सा अतिरिक्त प्रयास भी वोट को पलट सकता है।

3. "Best-of-N" का उदाहरण (टैलेंट शो)

कल्पना कीजिए कि मॉडल 10 गाने बनाता है, और आप केवल एक सबसे अच्छे को रखते हैं।

मानक प्रशिक्षण: शिक्षक कोशिश करता है कि औसत गाना अच्छा लगे। इससे सुरक्षित, उबाऊ, "मध्यम-स्तर" का संगीत पैदा होता है जो कभी बुरा नहीं होता, लेकिन कभी अद्भुत भी नहीं होता।
CAT प्रशिक्षण: शिक्षक मॉडल को कहता है, "यह ठीक है अगर आपके 9 गाने बेकार हैं, जब तक कि 10वाँ गाना एक मास्टरपीस (उत्कृष्ट कृति) हो।" यह मॉडल को जोखिम लेने और अजीब, उच्च-विचलन (high-variance) वाले विचार आज़माने के लिए प्रोत्साहित करता है। यह मॉडल को विविध आउटपुट उत्पन्न करने के लिए प्रशिक्षित करता है, यह जानते हुए कि "खोज" (search) प्रक्रिया विफलताओं को फ़िल्टर करेगी और विजेता को रखेगी।

उन्होंने वास्तव में क्या किया?

शोधकर्ताओं ने इस विचार का तीन विशिष्ट तरीकों से परीक्षण किया:

गणित की समस्याएँ: उन्होंने AI मॉडल को गणित की समस्याओं को हल करने के लिए प्रशिक्षित किया। जब उन्होंने "Pass@N" (कई उत्तर उत्पन्न करना और सही को चुनना) के लिए तैयारी करने हेतु CAT का उपयोग किया, तो मॉडल मानक पद्धति की तुलना में कठिन समस्याओं को हल करने में काफी बेहतर रहे।
वोटिंग: उन्होंने मॉडलों को "मेजोरिटी वोट" के लिए उत्तर उत्पन्न करने के लिए प्रशिक्षित किया। फिर से, जब वोटिंग रणनीति लागू की गई, तो CAT मॉडल बेहतर प्रदर्शन करते रहे।
प्रोटीन डिज़ाइन: उन्होंने इसका परीक्षण एक पूरी तरह से अलग प्रकार के AI पर भी किया जो प्रोटीन (जीवन के निर्माण खंड) डिजाइन करता है। एक ऐसे परिदृश्य में जहाँ AI को कई खराब प्रोटीनों के बीच एक दुर्लभ, उच्च-गुणवत्ता वाले प्रोटीन संरचना को खोजना था, CAT-प्रशिक्षित मॉडल मानक मॉडलों की तुलना में "जैकपॉट" प्रोटीन खोजने में बहुत बेहतर थे।

मुख्य निष्कर्ष

यह पेपर तर्क देता है कि आप मॉडल को कैसे प्रशिक्षित करते हैं, यह इस बात पर निर्भर होना चाहिए कि आप उसका उपयोग कैसे करते हैं।

यदि आप मॉडल का उपयोग कई विकल्प उत्पन्न करने और सबसे अच्छे को चुनने के लिए करने की योजना बना रहे हैं, तो आपको इसे पहली कोशिश में पूर्ण होने के लिए प्रशिक्षित नहीं करना चाहिए। आपको इसे विकल्पों का एक ऐसा पूल (pool) बनाने में अच्छा होने के लिए प्रशिक्षित करना चाहिए जहाँ सबसे अच्छा विकल्प मिलने की संभावना अधिक हो।

वे इसे "कंप्यूट अलाइन्ड ट्रेनिंग" कहते हैं क्योंकि यह प्रशिक्षण प्रक्रिया को टेस्ट के समय उपयोग किए जाने वाले "कंप्यूट" (अतिरिक्त सोचने की शक्ति) के साथ संरेखित (align) करता है। यह बिना अधिक शक्तिशाली कंप्यूटरों या अधिक प्रशिक्षण समय की आवश्यकता के बेहतर परिणाम प्राप्त करने का एक तरीका है; आप बस खेल के नियमों को इस वास्तविकता के अनुरूप बदलते हैं कि मॉडल का उपयोग कैसे किया जाएगा।

यहाँ ओउशेरोविच और टेवारी के शोध पत्र "कंप्यूट अलाइन्ड ट्रेनिंग: ऑप्टिमाइजिंग फॉर टेस्ट टाइम इंफरेंस" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: प्रशिक्षण-अनुमान विसंगति (The Training-Inference Misalignment)

यह शोध पत्र आधुनिक लार्ज लैंग्वेज मॉडल (LLM) विकास में एक मौलिक विच्छेद को संबोधित करता है: प्रशिक्षण उद्देश्य एकल-नमूना प्रदर्शन (single-sample performance) के लिए अनुकूलित होते हैं, जबकि परिनियोजन (deployment) तेजी से टेस्ट-टाइम कंप्यूट रणनीतियों (खोज/search) पर निर्भर होता है।

वर्तमान स्थिति (The Status Quo): मानक पोस्ट-ट्रेनिंग विधियाँ जैसे सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और रीइन्फोर्समेंट लर्निंग (RL), एकल सही आउटपुट की संभावना (जैसे, क्रॉस-एन्ट्रॉपी को कम करना या एक नमूने के अपेक्षित रिवॉर्ड को अधिकतम करना) के लिए अनुकूलित होती हैं।
संघर्ष (The Conflict): आधुनिक अनुमान रणनीतियाँ (जैसे, Pass@N, मैजोरी वोट, Best-of-N) कई संभावित समाधान उत्पन्न करती हैं और सर्वश्रेष्ठ उत्तर खोजने के लिए उन्हें एकत्रित करती हैं।
- उदाहरण (Pass@N): यदि किसी मॉडल के पास सही होने की 50% संभावना है, तो इसे 90% तक बढ़ाने से Pass@100 मेट्रिक के लिए घटते प्रतिफल (diminishing returns) मिलते हैं (जहाँ सफलता पहले से ही लगभग निश्चित है)। हालाँकि, मानक प्रशिक्षण 100% संभावना के लिए प्रयास करना जारी रखता है, जिससे "आसान" नमूनों पर क्षमता बर्बाद होती है।
- उदाहरण (मैजोरी वोट): एक मॉडल को प्रतिद्वंद्वियों के विरुद्ध जीतने के लिए केवल बहुलता (जैसे, 35% प्रायिकता) की आवश्यकता होती है। मानक प्रशिक्षण $p \to 1.0$ के लिए दबाव डालता है, जो "लैंडस्लाइड" विजयों को प्रोत्साहित करता है न कि मजबूत सहमति (consensus) को, जो कि मॉडल के एक एन्सेम्बल (ensemble) के रूप में कार्य करने पर प्रदर्शन को खराब कर सकता है।
परिणाम: यह विसंगति पॉलिसी कोलैप्स (विविधता में कमी) का कारण बनती है और मॉडलों को बढ़े हुए टेस्ट-टाइम कंप्यूट बजट का प्रभावी ढंग से उपयोग करने से रोकती है।

2. कार्यप्रणाली: कंप्यूट अलाइन्ड ट्रेनिंग (CAT)

लेखक कंप्यूट अलाइन्ड ट्रेनिंग (CAT) प्रस्तावित करते हैं, जो प्रशिक्षण उद्देश्यों को टेस्ट-टाइम पर उपयोग की जाने वाली विशिष्ट अनुमान रणनीति के साथ संरेखित (align) करता है।

मुख्य अवधारणा (Core Conceptualization)

लेखक अनुमान रणनीतियों को केवल पोस्ट-हॉक ह्यूरिस्टिक्स के रूप में नहीं, बल्कि डिफरेंशिएबल ऑपरेटर्स ( $T$ ) के रूप में देखते हैं जो बेस पॉलिसी $\pi_\theta$ को एक प्रभावी टेस्ट-टाइम डिस्ट्रीब्यूशन $\tilde{\pi}_\theta$ में बदल देते हैं:
$\tilde{\pi}_\theta(y|x) = T(\pi_\theta(\cdot|x), \phi)$
जहाँ $\phi$ हाइपरपैरामीटर्स (जैसे, सैंपल बजट $N$ ) को दर्शाता है।

एकीकृत लॉस फंक्शन (The Unified Loss Function)

बेस पॉलिसी ( $\pi_\theta$ ) के तहत ग्राउंड ट्रुथ के नेगेटिव लॉग-लाइक्लीहुड को कम करने के बजाय, CAT प्रभावी सिस्टम-लेवल पॉलिसी ( $\tilde{\pi}_\theta$ ) के तहत लॉस को कम करता है:
$L_{CAT}(\theta) = -\mathbb{E}_{(x, y^*)} [\log \tilde{\pi}_\theta(y^*|x)]$

ग्रेडिएंट स्केलिंग मैकेनिज्म (Gradient Scaling Mechanism)

पूरे आउटपुट स्पेस को सैंपल किए बिना इसे कम्प्यूटेशनल रूप से व्यवहार्य बनाने के लिए, लेखक एक डायगोनल ग्रेडिएंट एप्रोक्सिमेशन व्युत्पन्न करते हैं। वे दिखाते हैं कि CAT ऑब्जेक्टिव के ग्रेडिएंट को एक वेट फैक्टर $w(p, \phi)$ द्वारा स्केल करके मानक ग्रेडिएंट द्वारा अनुमानित किया जा सकता है:
$\nabla_\theta L_{CAT} \approx w(p, \phi) \cdot \nabla_\theta L_{CE}$
यहाँ, $p$ सही उत्तर की बेस प्रोबेबिलिटी है, और $w$ टेस्ट-टाइम रणनीति के संबंध में $p$ को बढ़ाने का सीमांत उपयोगिता (marginal utility) को दर्शाता है।

व्युत्पन्न मुख्य स्केलिंग कारक:

Pass@N (SFT और RL):
- $w(p, N) = \frac{N p (1-p)^{N-1}}{1 - (1-p)^N}$
- व्यवहार: उन आसान नम들이 (उच्च $p$ ) के लिए ग्रेडिएंट को दबा देता है जहाँ सफलता पहले से ही गारंटीकृत है, और सीखने को उन कठिन नमूनों पर केंद्रित करता है जहाँ सीमांत लाभ कवरेज में सुधार करते हैं।
मैजोरी वोट (SFT और RL):
- $w(p, N, k) \approx \frac{k \binom{N}{k} p^k (1-p)^{N-k}}{\sum_{i=k}^N \binom{N}{i} p^i (1-p)^{N-i}}$
- व्यवहार: ग्रेडिएंट मास को सहमति थ्रेशोल्ड ( $p \approx k/N$ ) के पास केंद्रित करता है। यह उन नमूनों को अनदेखा करता है जो या तो पहले से ही जीत रहे हैं या पूरी तरह से हार चुके हैं, और केवल "टिपिंग पॉइंट" पर ध्यान केंद्रित करता है।
Best-of-N (RL):
- $w \propto N (P_{<y})^{N-1}$
- व्यवहार: "विजेता-ले-ऑल" (winner-take-all) डायनेमिक्स बनाता है। ग्रेडिएंट केवल एक बैच में उच्चतम-रिवॉर्ड वाले नमूनों को सुदृढ़ करता है, जिससे मॉडल को सुरक्षित औसत (safe mean) की ओर ढहने के बजाय डिस्ट्रीब्यूशन के हाई-वैरिएंस, हाई-रिवॉर्ड टेल्स (tails) को एक्सप्लोर करने के लिए प्रोत्साहित किया जाता है।

सैद्धांतिक गारंटी (Theoretical Guarantees)

पेपर सिद्ध करता है कि प्रतिस्पर्धी रणनीतियों (जहाँ प्रतिद्वंद्वी की प्रोबेबिलिटी बढ़ाने से सफलता कम होती है) के लिए, डायगोनल एप्रोक्सिमेशन वास्तविक ग्रेडिएंट का एक कंजर्वेटिव अंडरएस्टिमेट है। यह सुनिश्चित करता है कि ऑप्टिमाइज़र कभी भी गलत दिशा में कदम न रखे, जो पॉलिसी कोलैप्स के विरुद्ध एक प्राकृतिक स्टेबलाइज़र के रूप में कार्य करता है।

3. प्रमुख योगदान

एकीकृत ऑपरेटर फ्रेमवर्क: टेस्ट-टाइम रणनीतियों को डिफरेंशिएबल ऑपरेटर्स के रूप में औपचारिक रूप देता है, जो SFT और RL दोनों के लिए प्रशिक्षण को अनुमान रणनीतियों के साथ संरेखित करने के लिए एक सामान्य तंत्र व्युत्पन्न करता है।
Pass@N से परे विस्तार: पिछले कार्यों (जैसे, डायरेक्ट कवरेज ऑप्टिमाइजेशन) को मैजोरी वोट और Best-of-N तक विस्तारित करता है, जो SFT और RL दोनों प्रतिमानों को कवर करता है।
मोडालिटी एग्नोस्टिक (Modality Agnosticism): LLMs से परे प्रोटीन लैंग्वेज मॉडल्स (PLMs) पर इसकी प्रयोज्यता को प्रदर्शित करता है, जो जटिल, मल्टी-मोडल रिवॉर्ड लैंडस्केप में बेहतर प्रदर्शन दिखाता है।
वैरिएंस विश्लेषण: ग्रेडिएंट वैरिएंस इन्फ्लेशन का सैद्धांतिक और अनुभवजन्य विश्लेषण प्रदान करता है, और प्रशिक्षण को स्थिर करने के लिए नॉर्मलाइजेशन तकनीकें (जैसे, लॉग-वेटेड एस्टीमेटर्स) प्रस्तावित करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने MATH बेंचमार्क (Mistral-7B का उपयोग करके) और प्रोटीन जनरेशन (ProtGPT2 का उपयोग करके) पर CAT का मूल्यांकन किया।

A. लैंग्वेज मॉडल्स (MATH बेंचमार्क)

Pass@N (SFT): CAT के साथ प्रशिक्षित मॉडलों ने $N=64$ के लिए एकल-नमूना सटीकता (Pass@1 में ~2.3% की गिरावट) का त्याग किया, लेकिन मानक SFT की तुलना में 7.8% एब्सोल्यूट इम्प्रूवमेंट के साथ Pass@64 कवरेज प्राप्त किया।
मैजोरी वोट (SFT): CAT मॉडल सभी अनुमान बजटों में बेसलाइन से लगातार बेहतर रहे। $N=16$ पर एक "स्वीट स्पॉट" देखा गया, जहाँ मॉडल ने बायस और वेरिएंस को इष्टतम रूप से संतुलित किया।
रीइन्फोर्समेंट लर्निंग (GRPO): मानक RL पॉलिसी कोलैप्स से ग्रस्त था, जो जल्दी ही संतृप्त हो गया (Pass@32 $\approx$ 35.8%)। CAT-प्रशिक्षित मॉडलों ने सर्च के लिए आवश्यक वैरिएंस को बनाए रखा, जिससे Pass@32 पर 40.0% प्राप्त हुआ।
वार्मअप प्रभाव: SFT वार्मअप चरण के लिए CAT का उपयोग करने से बाद के RL प्रदर्शन में काफी सुधार हुआ, यहाँ तक कि इसने रीजनिंग पाथ्स को समृद्ध करके सिंगल-शॉट (Pass@1) सटीकता को भी बढ़ाया।

B. प्रोटीन जनरेशन (प्रोटीन लैंग्वेज मॉडल्स)

अनकंडीशनल (वैली ऑफ डेथ): एक मल्टी-मोडल रिवॉर्ड लैंडस्केप में (लोकल ऑप्टिमम $h \approx 0.35$ पर, ग्लोबल ऑप्टिमम $h \approx 0.75$ पर, जो एग्रीगेशन के "वैली" द्वारा अलग किया गया है), मानक RL स्थानीय ऑप्टिमम में फंस गया। Best-of-N CAT उच्च डिस्ट्रीब्यूशनल वैरिएंस बनाए रखकर इस वैली को सफलतापूर्वक पार करने और ग्लोबल मैक्सिमम खोजने में सफल रहा।
कंडीशनल जनरेशन: CAT मॉडलों ने इनपुट के विपरीत हाइड्रोफोबिसिटी वाली सीक्वेंस उत्पन्न करना सीखा, जो मानक RL की तुलना में रिलेशनल टास्क के साथ बेहतर स्केलिंग और अलाइनमेंट प्रदर्शित करता है।

5. महत्व और निहितार्थ

पैराडाइम शिफ्ट: पेपर तर्क देता है कि प्रशिक्षण उद्देश्यों को डाउनस्ट्रीम अनुमान प्रक्रिया को ध्यान में रखते हुए डिजाइन किया जाना चाहिए। जैसे-जैसे टेस्ट-टाइम कंप्यूट मॉडल क्षमता को स्केल करने के लिए प्राथमिक लीवर बनता जा रहा है, प्रशिक्षण को एकल नमूने के बजाय एग्रीगेटेड परिणाम के लिए अनुकूलित होना चाहिए।
दक्षता: CAT इन लाभों को प्रशिक्षण कंप्यूट लागत बढ़ाए बिना प्राप्त करता है। यह केवल मौजूदा ग्रेडिएंट्स को टेस्ट-टाइम रणनीति के लिए नमूने की सीमांत उपयोगिता के आधार पर री-वेट करता है।
स्थिरता बनाम अन्वेषण (Stability vs. Exploration): यह फ्रेमवर्क एकल-नमूना परिशुद्धता (precision) के लिए डिस्ट्रीब्यूशनल विविधता (diversity) के बीच व्यापार करने का एक सिद्धांतपूर्ण तरीका प्रदान करता है, जिससे मॉडल को मोड-सीकिंग व्यवहार में ढले बिना Best-of-N और Majority Vote जैसी खोज प्रक्रियाओं का प्रभावी ढंग से उपयोग करने में सक्षम बनाया जा सकता है।
सामान्यीकरण: LLMs और Protein LMs दोनों में प्रभावकारिता को सिद्ध करके, यह पेपर सुझाव देता है कि "कंप्यूट अलाइन्ड ट्रेनिंग" किसी भी जेनेरेटिव मॉडल के लिए एक सार्वभौमिक सिद्धांत है जो टेस्ट-टाइम सर्च का उपयोग करता है।

निष्कर्षतः, कंप्यूट अलाइन्ड ट्रेनिंग लर्निंग और सर्च के बीच के अंतर को पाटता है, यह सुनिश्चित करता है कि मॉडल न केवल एक उत्तर उत्पन्न करने में "स्मार्ट" हों, बल्कि उन्हें खोज के लिए कम्प्यूटेशनल बजट दिए जाने पर सर्वश्रेष्ठ उत्तर खोजने के लिए भी अनुकूलित किया गया हो।