Flying Pigs, FaR and Beyond: Evaluating LLM Reasoning in Counterfactual Worlds
यह शोध पत्र काउंटरलॉजिक (CounterLogic) बेंचमार्क प्रस्तुत करता है ताकि यह उजागर किया जा सके कि पैरामीट्रिक ज्ञान के साथ संघर्षों के कारण लार्ज लैंग्वेज मॉडल्स (Large Language Models) काउंटरफैक्चुअल रीजनिंग (counterfactual reasoning) में संघर्ष करते हैं, और यह इस प्रदर्शन अंतराल को महत्वपूर्ण रूप से कम करने के लिए "फ्लैग एंड रीजन" (Flag & Reason - FaR) मेटाकॉग्निटिव हस्तक्षेप का प्रस्ताव करता है।