Generalizable Foundation Models for Calorimetry via Mixtures-of-Experts and Parameter Efficient Fine Tuning
यह शोध पत्र कैलोरीमेट्री के लिए एक सामान्यीकरण योग्य फाउंडेशन मॉडल प्रस्तुत करता है जो विविध सामग्रियों और डिटेक्टर कॉन्फ़िगरेशन में पार्टिकल शॉवर्स के मॉड्यूलर, स्केलेबल और गणनात्मक रूप से कुशल सिमुलेशन को सक्षम करने के लिए नेक्स्ट-टोकन ट्रांसफॉर्मर आर्किटेक्चर को मिक्सचर-ऑफ-एक्सपर्ट्स प्री-ट्रेनिंग और पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग के साथ जोड़ता है ताकि कैटास्ट्रोफिक फॉरगेटिंग (विस्मृति) से बचा जा सके।