Polynomial, trigonometric, and tropical activations
यह शोध पत्र ऑर्थोनॉर्मल आधारों (orthonormal bases) से व्युत्पन्न बहुपद (polynomial), त्रिकोणमितीय (trigonometric) और ट्रॉपिकल (tropical) सक्रियण फलनों (activation functions) के एक परिवार को प्रस्तुत करता है जो, वेरिएंस-प्रिजर्विंग इनिशियलाइजेशन (variance-preserving initialization) के साथ मिलकर, ग्रेडिएंट अस्थिरता को कम करते हुए, बहुपद व्याख्यात्मकता (polynomial interpretability) प्रदान करते हुए और हर्मिट इंटरपोलेशन (Hermite interpolation) के माध्यम से फाइन-ट्यूनिंग को सुगम बनाते हुए, GPT-2 और ConvNeXt जैसे गहरे मॉडलों के सफल प्रशिक्षण को सक्षम करते हैं।