Polar probe linearly decodes semantic structures from LLMs
यह शोध पत्र प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स (Large Language Models) एक सरल ज्यामितीय सिद्धांत के माध्यम से एंटिटी रिप्रेजेंटेशन्स को बांधकर जटिल सिमेंटिक संरचनाओं को एनकोड करते हैं, जहाँ संबंध प्रकार और अस्तित्व को एम्बेडिंग स्पेस में दूरी और दिशा के माध्यम से रैखिक रूप से डिकोड किया जा सकता है, और यह क्षमता मध्य परतों में उभरती है, नए अवधारणाओं में सामान्य होती है, और मॉडल के प्रदर्शन के साथ सह-संबंधित होती है।