SR-TTT: Surprisal-Aware Residual Test-Time Training
Het artikel introduceert SR-TTT, een verbeterde Test-Time Training-architectuur die het probleem van vergeten cruciale informatie oplost door een verlies-gedreven, sparsere geheugenmechanisme toe te passen dat alleen onverwachte tokens naar een traditionele cache routeert, waardoor de O(1)-geheugenvoordeel behouden blijft terwijl de nauwkeurigheid bij exacte herinneringstaken wordt hersteld.