SLASH the Sink: Sharpening Structural Attention Inside LLMs
यह शोधपत्र "Slash" का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त विधि है जो "अटेंशन सिंक" (attention sink) का मुकाबला करने के लिए अटेंशन को पुनर्वितरित करके और मॉडल की ग्राफ टोपोलॉजी को पुनर्गठित करने की अंतर्निहित क्षमता को बढ़ाकर लार्ज लैंग्वेज मॉडल्स में ग्राफ तर्क (graph reasoning) को बेहतर बनाता है, जिससे भाषा प्रसंस्करण पूर्वाग्रहों और संरचनात्मक समझ के बीच के संघर्ष को दूर किया जा सके।