When are likely answers right? On Sequence Probability and Correctness in LLMs
यह शोध पत्र बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) में अनुक्रम प्रायिकता (सीक्वेंस प्रोबेबिलिटी) और शुद्धता के बीच संबंध की जांच करता है, जिसमें यह पाया गया है कि हालांकि एक निश्चित डेटासेट के भीतर उच्च प्रायिकता अक्सर शुद्धता का पूर्वानुमान लगाती है, लेकिन यह डिकोडिंग पद्धति के परिवर्तनों के माध्यम से सटीकता में सुधार करने या एक ही प्रॉम्प्ट के लिए सही प्रतिक्रियाओं के बीच अंतर करने के लिए एक विश्वसनीय संकेतक नहीं है।