Efficient Long-Context Reasoning in Large Language Models: Hierarchical Token Compression with Sparse Attention and Dynamic Memory Management

이 논문은 계층적 토큰 압축, 희소 어텐션 오케스트레이션, 그리고 동적 메모리 관리를 결합하여 대규모 언어 모델의 효율적인 긴 문맥 추론을 가능하게 하는 통합 프레임워크인 CLEAR를 소개하며, 이를 통해 긴 문맥 벤치마크에서 높은 정확도를 유지하면서도 계산 복잡도와 메모리 사용량을 크게 줄이는 성과를 달성하였다.

원저자: Babasaheb Satpute, Chaya Jadhav, Rajesh Bharati, Deepak Kshirsagar