Curvature-Information Duality Driven Geometrically Optimal Compression of Deep Models
Cet article introduit le cadre Curvature-aware Information Bottleneck (CurvIB), une technique de compression de modèle théoriquement fondée basée sur la géométrie de l'information et le théorème de dualité courbure-information, qui unifie l'élagage adaptatif sensible à la courbure, la quantification optimale sensible à Wasserstein et la récupération de précision basée sur le transport optimal pour améliorer significativement les performances des modèles d'apprentissage profond sous des contraintes de ressources extrêmes.