RMAAT: Astrocyte-Inspired Memory Compression and Replay for Efficient Long-Context Transformers
Il documento presenta RMAAT, un'architettura Transformer ispirata alle funzioni degli astrociti che combina compressione della memoria adattiva e ricorsione segmentata per superare la complessità quadratica dell'attenzione e abilitare l'elaborazione efficiente di contesti lunghi.