Domain-Aware Scaling Laws Uncover Data Synergy
यह शोध पत्र विविध ओपन-वेट (open-weight) एलएलएम (LLM) के अवलोकन संबंधी डेटा का लाभ उठाकर, यह अनुमान लगाने के लिए कि विभिन्न डोमेन संयोजन कैसे परस्पर क्रिया करते हैं, भाषा मॉडल प्रीट्रेनिंग में "डेटा सिनर्जी" (data synergy) को औपचारिक रूप देता है और परिमाणित करता है, जो यह प्रदर्शित करता है कि उनका प्रस्तावित ढांचा डोमेन-अज्ञेयवादी स्केलिंग लॉज़ (domain-agnostic scaling laws) से बेहतर प्रदर्शन करता है और इष्टतम बनाम प्रति-इष्टतम (optimal versus anti-optimal) डेटा मिश्रण के आधार पर मॉडल प्रदर्शन रैंकिंग की सटीक भविष्यवाणी करता है।