Mixing Times of Glauber Dynamics on Masked Language Models
यह शोध पत्र पुनरावृत्ति टोकन रीसैंपलिंग (iterative token resampling) को ग्लौबर डायनेमिक्स मार्कोव चेन (Glauber dynamics Markov chain) के रूप में मॉडल करके मास्क किए गए भाषा मॉडलों (Masked Language Models) के वैश्विक वितरण व्यवहार की जांच करता है, जो यह प्रकट करता है कि जहाँ उच्च-तापमान शासन (high-temperature regimes) तीव्र मिश्रण प्रदान करते हैं, वहीं निम्न-तापमान स्थितियाँ मॉडलों के स्थानीय कंडीशन्स (local conditionals) में अंतर्निहित असंगति के कारण मेटास्टेबिलिटी और धीमी अभिसरण (slow convergence) उत्पन्न करती हैं।