Curvature-Information Duality Driven Geometrically Optimal Compression of Deep Models
Este artículo presenta el marco de trabajo Curvature-aware Information Bottleneck (CurvIB), una técnica de compresión de modelos teóricamente fundamentada basada en la geometría de la información y el teorema de la dualidad curvatura-información, la cual unifica la poda adaptativa sensible a la curvatura, la cuantización óptima consciente de Wasserstein y la recuperación de precisión basada en el transporte óptimo para mejorar significativamente el rendimiento de los modelos de aprendizaje profundo bajo restricciones extremas de recursos.