Solver-Hard Is Not Model-Hard: A Hardness-Controlled Diagnostic for LLM Constraint Reasoning
यह शोध पत्र यह प्रदर्शित करता है कि बड़े भाषा मॉडलों का बाधा तर्क (constraint reasoning) कार्यों पर प्रदर्शन समस्या के उदाहरणों की अंतर्निहित सॉल्वर जटिलता (solver hardness) द्वारा निर्धारित नहीं होता है, जैसा कि सावधानीपूर्वक नियंत्रित, घनत्व-मिलान वाले बेंचमार्क में प्रूफ़-कठोरता प्रॉक्सी (proof-hardness proxies) और मॉडल सटीकता या टोकन व्यय के बीच सहसंबंध की कमी से सिद्ध होता है।