Not All Thoughts Need HBM: Semantics-Aware Memory Hierarchy for LLM Reasoning
यह शोध पत्र एक सिमेंटिक्स-अवेयर मेमोरी पदानुक्रम प्रस्तुत करता है जो शून्य-अनुमान त्रुटि के साथ कम-महत्व वाले रीजनिंग टोकन को सीपीयू मेमोरी में ऑफलोड करता है, यह प्रदर्शित करते हुए कि रीजनिंग सटीकता केवल स्थायी निष्कासन अनुपात (परमानेंट इविक्शन रेशियो) पर निर्भर करती न कि एचबीएम अधिभोग (एचबीएम ऑक्यूपेंसी) पर, जिससे न्यूनतम प्रदर्शन गिरावट के साथ महत्वपूर्ण मेमोरी बचत संभव हो पाती है।