SpecAgent: A Speculative Retrieval and Forecasting Agent for Code Completion
SpecAgent एक नवीन एजेंट है जो इंडेक्सिंग के दौरान एसिंक्रोनस (asynchronous), स्पेक्युलेटिव कॉन्टेक्स्ट कंस्ट्रक्शन करके लार्ज लैंग्वेज मॉडल्स में कोड कंप्लीशन को बेहतर बनाता है ताकि जनरेशन की गुणवत्ता और इन्फरेंस लेटेंसी (inference latency) दोनों को एक साथ सुधारा जा सके, साथ ही यह अधिक यथार्थवादी मूल्यांकन के लिए एक लीकेज-मुक्त बेंचमार्क भी पेश करता है।