EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation
Het paper introduceert EoRA, een nieuwe, fine-tuning-vrije methode die de nauwkeurigheid van gecomprimeerde grote taalmodellen verbetert door laag-rang matrices toe te voegen, waardoor een betere balans tussen prestaties en rekentijd wordt bereikt zonder de beperkingen van compressieformaten.