💬 NLP
A Gauge Theory of Superposition: Toward a Sheaf-Theoretic Atlas of Neural Representations
यह शोध पत्र वैश्विक शब्दकोशों (global dictionaries) के स्थान पर स्थानीय अर्थ संबंधी चार्टों (local semantic charts) का उपयोग करके, बड़े भाषा मॉडलों (large language models) में सुपरपोजिशन की व्याख्या करने के लिए एक शीफ-सैद्धांतिक गेज फ्रेमवर्क (sheaf-theoretic gauge framework) प्रस्तावित करता है, जिससे व्याख्यात्मकता (interpretability) की तीन विशिष्ट बाधाओं—लोकल जैमिंग (local jamming), प्रॉक्सी शीयरिंग (proxy shearing), और नॉनट्रिवियल होलोनोमी (nontrivial holonomy)—को परिमाणित किया जाता है और Llama-3.2-3B पर अनुभवजन्य प्रयोगों के माध्यम से इन सैद्धांतिक सीमाओं को मान्य किया जाता है।