SwiftEmbed: Ultra-Fast Text Embeddings via Static Token Lookup for Real-Time Applications
SwiftEmbed एक उत्पादन-उन्मुख, Rust-आधारित सर्विंग सिस्टम है जो डिस्टिल्ड Potion-base-8M मॉडल पर स्टैटिक टोकन लुकअप और मीन पूलिंग का उपयोग करके रियल-टाइम अनुप्रयोगों के लिए अल्ट्रा-लो लेटेंसी (1.12 ms p50) और उच्च थ्रूपुट (50,000 RPS) प्राप्त करता है, जो फुल ट्रांसफार्मर इन्फरेंस की तुलना में जटिल वर्गीकरण और रिट्रीवल वर्कलोड पर सटीकता से समझौता करते हुए डुप्लिकेट डिटेक्शन और सिमेंटिक सिमिलैरिटी कार्यों के लिए मजबूत प्रदर्शन प्रदान करता है।