HalleluBERT: Let Every Token That Has Meaning Bear Its Weight
यह शोध पत्र HalleluBERT को प्रस्तुत करता है, जो एक RoBERTa-आधारित एनकोडर परिवार है जिसे एक बड़े हिब्रू कॉर्पस पर स्क्रैच से प्रशिक्षित किया गया है और जो प्रमुख हिब्रू एनएलपी बेंचमार्क पर मौजूदा मोनोलिंगुअल और मल्टीलिंगुअल बेसलाइन से बेहतर प्रदर्शन करता है, जिसके इसके वेट्स (weights) और टोकेनाइज़र को पुनरुत्पादक अनुसंधान को आगे बढ़ाने के लिए MIT लाइसेंस के तहत जारी किया गया है।