Beyond the Unit Hypersphere: Embedding Magnitude in Contrastive Learning
O artigo demonstra que, ao contrário da similaridade de cosseno tradicional que trata a magnitude dos embeddings como ruído, aprender e controlar seletivamente a magnitude de consultas e documentos melhora significativamente a recuperação e a geração aumentada por recuperação (RAG), especialmente em cenários de generalização fora de domínio, ao identificar que normalizar apenas um lado é mais eficaz e que a magnitude da consulta modula os gradientes enquanto a do documento escala as pontuações de inferência.