ContinuityBench: A Benchmark and Systems Study of Stateful Failover in Multi-Provider LLM Routing
यह शोध पत्र ContinuityBench प्रस्तुत करता है, जो एक बेंचमार्क और स्टेटफुल प्रॉक्सी आर्किटेक्चर है जो मल्टी-प्रोवाइडर LLM फेलओवर घटनाओं के दौरान लगभग पूर्ण संवादात्मक निरंतरता प्राप्त करने के लिए हिस्ट्री-फॉरवर्डिंग रणनीति का उपयोग करता है, जो उन स्टेटलेस सिस्टम की महत्वपूर्ण सीमा को संबोधित करता है जो बातचीत के इतिहास को हटा देते हैं।