DatedGPT: Preventing Lookahead Bias in Large Language Models with Time-Aware Pretraining
यह शोध पत्र DatedGPT को प्रस्तुत करता है, जो बारह 1.3B-पैरामीटर वाले भाषा मॉडलों का एक परिवार है, जिन्हें वित्तीय पूर्वानुमान में लुकअहेड बायस (lookahead bias) को समाप्त करने के लिए 2013 से 2024 तक सख्त वार्षिक कटऑफ के साथ टेम्पोरली पार्टिशन किए गए (temporally partitioned) डेटा पर प्रशिक्षित किया गया है, जबकि प्रतिस्पर्धी प्रदर्शन को भी बनाए रखा गया है।