Towards Pretraining Text Encoders for TabPFN
यह शोध पत्र TabPFN टेक्स्ट अडैप्टर को प्रस्तुत करता है, जो एक हल्का, फ्रोजन-कंपोनेंट समाधान है जो पारंपरिक PCA-आधारित पाइपलाइनों की सूचना बाधा (इन्फॉर्मेशन बॉटलनैक) को समाप्त करने और मॉडल की प्रीट्रेनिंग शक्तियों से समझौता किए बिना उच्च-कार्डिनैलिटी वाले टेक्स्ट फीचर्स को कुशलतापूर्वक संभालने में सक्षम बनाने के लिए टेक्स्ट एम्बेडिंग्स को सीधे TabPFN के टोकन स्पेस में मैप करता है।