Aligning the True Semantics: Constrained Decoupling and Distribution Sampling for Cross-Modal Alignment
Dit artikel introduceert CDDS, een nieuw algoritme voor kruismodale uitlijning dat embeddings via een dubbel-pad UNet ontdoet van niet-semantische informatie en een modale kloof overbrugt door middel van distributiestalen, wat leidt tot een significante verbetering van de prestaties ten opzichte van de huidige beste methoden.