TriRoute: Unified Learned Routing for Joint Adaptive Attention, Experts, and KV-Cache Allocation
TriRoute एक एकीकृत सीखे हुए रूटिंग फ्रेमवर्क (unified learned routing framework) को पेश करता है जो एक एकल हल्के नियंत्रक (lightweight controller) के माध्यम से प्रत्येक टोकन के लिए अटेंशन रेजोल्यूशन (attention resolution), एक्सपर्ट सिलेक्शन (expert selection) और KV-कैश बिट-विड्थ (KV-cache bit-width) को संयुक्त रूप से अनुकूलित करता है, जिससे अलग-थलग कंडीशनल कंप्यूटेशन विधियों की तुलना में बेहतर पारेटो दक्षता (Pareto efficiency) और मजबूती प्राप्त होती है।