Less Is More: Engineering Challenges of On-Device Small Language Model Integration in a Mobile Application
यह शोध पत्र एक प्रोडक्शन एंड्रॉइड ऐप में ऑन-डिवाइस स्मॉल लैंग्वेज मॉडल्स को एकीकृत करने के एक अनुदैर्ध्य केस स्टडी (longitudinal case study) को प्रस्तुत करता है, जो यह प्रकट करता है कि हालांकि यह व्यवहार्य है, सफल एकीकरण के लिए एक व्यावहारिक वास्तुशिल्प परिवर्तन की आवश्यकता होती है जहाँ LLM की जिम्मेदारियों को न्यूनतम किया जाता है और आउटपुट उल्लंघन और लेटेंसी जैसी विशिष्ट इंजीनियरिंग चुनौतियों से निपटने के लिए मजबूत रक्षात्मक रणनीतियों को नियोजित किया जाता है।