Fine-Grained Analysis of Shared Syntactic Mechanisms in Language Models
यह अध्ययन कारण संबंधी व्याख्यात्मकता (causal interpretability) विधियों का उपयोग करके यह प्रदर्शित करता है कि भाषा मॉडल विभिन्न संरचनाओं में फिलर-गैप डिपेंडेंसीज़ (filler-gap dependencies) के लिए एक साझा, स्थानीयकृत तंत्र (localized neural mechanism) का उपयोग करते हैं, जबकि एनपीआई लाइसेंसिंग (NPI licensing) ऐसा नहीं करता है, और साथ ही यह भी दिखाता है कि एक्टिवेशन पैचिंग (activation patching), सुपरवाइज्ड एलाइनमेंट सर्च (supervised alignment search) की तुलना में आउट-ऑफ-डिस्ट्रीब्यूशन डेटा पर बेहतर सामान्यीकरण करता है।