SFT Overtraining Predicts Rank Inversion via Entropy Collapse Under RLVR
यह शोध पत्र यह प्रदर्शित करता है कि अत्यधिक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) रोलआउट वितरण को संकुचित कर सकती है, जिससे एंट्रॉपी कोलैप्स (entropy collapse) होता है जो ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) प्रशिक्षण में रैंक इनवर्जन और प्रदर्शन में गिरावट का कारण बनता है, एक ऐसा विफलता मोड जिसे प्री-आरएल (pre-RL) एंट्रॉपी और प्रारंभिक GRPO डायनेमिक्स की निगरानी करके अनुमानित और कम किया जा सकता है।