Induction Meets Biology: Mechanisms of Repeat Detection in Protein Language Models
यह शोध पत्र स्पष्ट करता है कि कैसे प्रोटीन लैंग्वेज मॉडल्स सामान्य पोजीशनल अटेंशन को अमीनो-एसिड समानता एनकोडिंग जैसे जैविक रूप से विशिष्ट घटकों के साथ जोड़कर सटीक और अनुमानित अनुक्रम दोहराव (sequence repeats) का पता लगाते हैं, ताकि ऐसे फीचर रिप्रेजेंटेशन बनाए जा सकें जिनका उपयोग इंडक्शन हेड्स सटीक मास्क्ड-टोकन भविष्यवाणी के लिए करते हैं।