🤖 machine learning
What Is the Minimum Architecture for Prolepsis? Early Irrevocable Commitment Across Tasks in Small Transformers
यह शोध पत्र "प्रोलेप्सिस" (prolepsis) को प्रस्तुत करता है, जो छोटे ट्रांसफॉर्मर में एक वास्तुशिल्प तंत्र है जहाँ विशिष्ट अटेंशन हेड्स (attention heads) कार्य-विशिष्ट प्रारंभिक और अपरिवर्तनीय प्रतिबद्धताएँ करते हैं जो बिना किसी सुधार के बनी रहती हैं, एक ऐसी घटना जो विभिन्न मॉडलों और कार्यों में दोहराई जाती है जबकि मानक व्याख्यात्मकता विधियों (interpretability methods) के लिए अदृश्य बनी रहती है।