Concordia: JIT-Compiled Persistent-Kernel Checkpointing for Fault-Tolerant LLM Inference
कॉनकॉर्डिया (Concordia) लंबे समय तक चलने वाले LLM इन्फरेंस के लिए एक फॉल्ट-टॉलरेंट रनटाइम है जो डिवाइस-रेसिडेंट पर्सिस्टेंट कर्नेल का उपयोग करता है, जिसमें बिना सर्विंग स्टैक को बाधित किए, GPU-रेसिडेंट स्टेट के लो-ओवरहेड, CPU-बायपासिंग चेकपॉइंटिंग और रिकवरी को निष्पादित करने के लिए JIT-कंपाइल्ड, PTX/SASS-स्तर के इंस्ट्रुमेंटेशन का उपयोग किया जाता है।