Beyond the Unit Hypersphere: Embedding Magnitude in Contrastive Learning
Dit onderzoek toont aan dat het leren van embedding-magnitudes, in plaats van deze als ruis te beschouwen, de prestaties van zoekopdrachten en Retrieval-Augmented Generation aanzienlijk verbetert door de normalisatie specifiek toe te passen op de document- of query-zijde, afhankelijk van de taak en de Fisher Information Matrix.