🤖 machine learning
Ideas in Inference-time Scaling can Benefit Generative Pre-training Algorithms
यह शोध पत्र तर्क देता है कि ऑटोरेग्रेसिव (autoregressive) और डिफ्यूजन (diffusion) मॉडलों के बीच का पारंपरिक द्वैत भ्रामक है, और इसके बजाय यह प्रस्तावित करता है कि जनरेटिव प्री-ट्रेनिंग को मौलिक एल्गोरिद्मिक सीमाओं को दूर करने के लिए प्रशिक्षण उद्देश्यों का चयन करने से पहले अनुक्रम विस्तार (sequence expansion) और अवस्था परिष्करण (state refinement) के लिए कुशल अनुमान प्रक्रियाओं को डिजाइन करने को प्राथमिकता देनी चाहिए।