Towards Engineering Scaling Laws with Pretraining Data Composition
यह शोध पत्र यह प्रदर्शित करता है कि कण भौतिकी (पार्टिकल फिजिक्स) में, जहाँ उच्च-सटीकता वाले सिम्युलेटर सस्ते सिंथेटिक डेटा जनरेशन को सक्षम बनाते हैं, हैड्रोनिक जेट वर्गीकरण मॉडल के स्केलिंग व्यवहार को प्रीट्रेनिंग डेटासेट को रणनीतिक रूप से क्यूरेट करके, मॉडल के आकार के बजाय डेटा विविधता और संरेखण को प्राथमिकता देने के लिए इंजीनियर किया जा सकता है।