LLMs and their Limited Theory of Mind: Evaluating Mental State Annotations in Situated Dialogue
यह शोध पत्र टीम के संवादों में साझा मानसिक मॉडलों (shared mental models) को एनोटेट करने और विसंगतियों का पता लगाने के लिए लार्ज लैंग्वेज मॉडल्स का उपयोग करने वाले एक दो-चरणीय ढांचे (two-step framework) को प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि LLMs सरल कार्यों पर अच्छा प्रदर्शन करते हैं, वे स्थानिक तर्क (spatial reasoning) या स्वर-लहरी संबंधी अस्पष्टता (prosodic disambiguation) की आवश्यकता वाले परिदृश्यों में व्यवस्थित रूप से विफल हो जाते हैं।