Less is More: Lightweight Prompt Compression for Question Answering Applications on Edge Devices
यह शोध पत्र CORE को प्रस्तुत करता है, जो एक हल्का, दो-चरणीय प्रॉम्प्ट संपीड़न (compression) तरीका है जो सहायक छोटे भाषा मॉडलों की आवश्यकता को समाप्त करता है ताकि संसाधन-सीमित एज उपकरणों पर रिट्रीवल-ऑगमेंटेड क्वेश्चन आंसरिंग के लिए सटीकता में उल्लेखनीय सुधार, मेमोरी उपयोग में कमी और इन्फरेंस की गति बढ़ाई जा सके।