Beyond the Unit Hypersphere: Embedding Magnitude in Contrastive Learning
Die Studie zeigt, dass das gezielte Lernen von Embedding-Magnituden durch getrennte Normalisierung von Abfragen und Dokumenten die Leistung von Retrieval- und RAG-Systemen, insbesondere bei der Out-of-Domain-Generalisierung, signifikant verbessert, während dies für Aufgaben mit austauschbaren Eingaben wie STS oder CLIP weniger relevant ist.