Head Pursuit: Probing Attention Specialization in Multimodal Transformers
यह शोध पत्र मल्टीमॉडल ट्रांसफॉर्मर में विशिष्ट अटेंशन हेड्स की पहचान करने और उन्हें रैंक करने के लिए एक सिग्नल प्रोसेसिंग-आधारित प्रोबिंग विधि प्रस्तुत करता है, जो यह प्रदर्शित करता है कि इन हेड्स में से केवल 1% को संपादित करना भी मॉडल आउटपुट में विशिष्ट अर्थ संबंधी या दृश्य अवधारणाओं को प्रभावी ढंग से नियंत्रित कर सकता है।