TokenButler: Token Importance is Predictable
يُعد TokenButler متنبئاً خفيف الوزن وواعياً بالاستعلام، يقوم بتحديد الرموز (tokens) الحرجة ديناميكياً لإدارة ذاكرة التخزين المؤقت لـ KV بكفاءة عبر تقطير توزيعات الانتباه السببي المقنع، محققاً دقة استرجاع تقارب الدقة المثالية (near-oracle) وخفضاً كبيراً في زمن الاستجابة دون طرد الرموز بشكل دائم.