The Stepwise Informativeness Assumption: Why are Entropy Dynamics and Reasoning Correlated in LLMs?
تقترح هذه الورقة البحثية وتثبت تجريبياً "فرضية المعلوماتية التدريجية"، التي تفسر الارتباط بين ديناميكيات الإنتروبيا الداخلية وصحة الاستدلال في النماذج اللغوية الكبيرة من خلال إثبات أن مسارات الاستدلال الصحيحة تراكم المعلومات ذات الصلة بالإجابة في التوقع عبر تدريب الاحتمال الأقصى والتعلم المعزز.