HelpBench: Assessing the Ability of LLMs to Provide Privacy, Safety, and Security Advice
यह शोधपत्र HelpBench को प्रस्तुत करता है, जो 450 प्रामाणिक प्रश्नों और मूल्यांकन रूब्रिक्स (rubrics) से बना एक बेंचमार्क है जो यह प्रकट करता है कि हालांकि अत्याधुनिक LLMs आमतौर पर डिजिटल गोपनीयता, सुरक्षा और सुरक्षा पर उच्च गुणवत्ता वाली सलाह प्रदान करते हैं, फिर भी उनके प्रतिक्रियाओं का एक महत्वपूर्ण हिस्सा अभी भी गलत या संभावित रूप से हानिकारक जानकारी युक्त होता है।