RELIC: Evaluating Complex Reasoning via the Recognition of Languages In-Context
यह शोध पत्र RELIC को पेश करता है, जो बड़े भाषा मॉडलों (LLMs) की जटिल तर्क क्षमता का मूल्यांकन करने के लिए एक ढांचा है, जो इन-कॉन्टेक्स्ट (in-context) संदर्भ-मुक्त भाषाओं (context-free languages) को पहचानने की उनकी क्षमता का परीक्षण करता है, जिससे यह पता चलता है कि उन्नत मॉडल भी कार्य की कठिनाई के साथ इन्फरेंस कंप्यूट (inference compute) को स्केल करने में विफल रहते हैं और अक्सर जटिलता बढ़ने के साथ एल्गोरिद्मिक तर्क (algorithmic reasoning) से अनुमान लगाने (guessing) की ओर स्थानांतरित हो जाते हैं।