Are you going to finish that? A Practical Study of the Partial Token Problem
यह शोध पत्र "पार्शियल टोकन समस्या" (partial token problem) की जांच करता है, जो यह प्रदर्शित करता है कि वास्तविक प्रॉम्प्ट्स का टोकन के बीच में समाप्त होना—विशेष रूप से बिना व्हाइटस्पेस वाली भाषाओं, कंपाउंडिंग भाषाओं और कोड में—लार्ज लैंग्वेज मॉडल्स में गंभीर संभाव्यता विरूपण (probability distortions) का कारण बनता है जो स्केल के साथ भी सुधरते नहीं हैं, जबकि सटीक इन्फरेंस-टाइम समाधानों की प्रभावशीलता को भी मान्य करता है।