Nothing from Something: Can a Language Model Discover 0?
यह शोध पत्र इस बात की जांच करता है कि क्या भाषा मॉडल शून्य की अवधारणा को स्वतंत्र रूप से खोज सकते हैं, जिसमें यह पाया गया है कि जबकि GPT-2 आकार के मॉडल केवल मानक अंकगणित से इस अवधारणा को सामान्य बनाने में विफल रहते हैं, वे न्यूनतम उदाहरणों के साथ इसे सीख सकते हैं, एक ऐसी प्रक्रिया जो पूर्व भाषा प्रीट्रेनिंग द्वारा काफी तेज हो जाती है।