Representation Finetuning for Continual Learning
Die Arbeit stellt CoRe vor, ein neuartiges Framework für das kontinuierliche Lernen, das das Feinabstimmungsparadigma vom Gewichtsraum in den Repräsentationsraum verlagert, indem es taskspezifische Eingriffe in einem niedrigrangigen linearen Unterraum versteckter Repräsentationen vornimmt, um Stabilität und Plastizität bei hoher Parameter-Effizienz zu gewährleisten.