🤖 machine learning
Calibrating Overconfidence Without Sacrificing Confidence: Probe-Conditioned Head Intervention for LLMs
यह शोध पत्र प्रोब-कंडीशन्ड हेड इंटरवेंशन (PCHI) को प्रस्तुत करता है, जो एक इन्फरेंस-टाइम विधि है जो एक फ्रोजन प्रोब का उपयोग करके अटेंशन-हेड आउटपुट्स को सशर्त रूप से रीस्केल करती है, जिससे बड़े भाषा मॉडलों में मौखिक अति-आत्मविश्वास को चुनिष्ट रूप से कम किया जाता है, और इस प्रकार सही उत्तरों में आत्मविश्वास बनाए रखते हुए अपेक्षित अंशांकन त्रुटि (expected calibration error) को काफी कम किया जाता है।