DISA: Offline Importance Sampling for Distribution-Matching LLM-RL
DISA (Decoupled Importance-Sampled Anchoring) एक नवीन ऑफलाइन डिस्ट्रीब्यूशन-मैचिंग RL पद्धति है जो कैलिब्रेशन त्रुटियों को समाप्त करने के लिए इम्पोर्टेंस सैंपलिंग के माध्यम से पार्टीशन फंक्शन अनुमानों को प्री-कंप्यूट और फ्रीज करती है, जिससे यह LLMs को विविध समाधान रणनीतियों को सीखने में सक्षम बनाती है जो रिवॉर्ड-मैक्सिमाइजेशन बेसलाइन और ऑनलाइन-कपल्ड डिस्ट्रीब्यूशन-मैचिंग दृष्टिकोणों दोनों से बेहतर प्रदर्शन करते हैं।