Geometry as a Missing Axis of Representation Quality: The Variational Geometric Information Bottleneck under Data Scarcity

Declaración del Problema

El aprendizaje supervisado moderno se ve frecuentemente constreñido por la escasez de etiquetas, lo que motiva la investigación en aprendizaje de pocos disparos (few-shot learning), meta-aprendizaje y aprendizaje de representaciones. Si bien el principio de Cuello de Botella de Información (IB) ofrece un marco estándar —preservando la información relevante para la tarea mientras se comprime la variación irrelevante—, deja un vacío estructural: dos representaciones pueden retener información similar relevante para la tarea y, sin embargo, inducir geometrías latentes vastamente diferentes. En regímenes de pocas etiquetas, estas diferencias geométricas pueden alterar la complejidad efectiva del problema de aprendizaje posterior, afectando así la generalización. Los enfoques actuales suelen tratar la geometría como un diagnóstico post-hoc o un supuesto sobre los datos de entrada, en lugar de un componente explícito y controlable de la propia calidad de la representación.

Metodología

El artículo propone un marco teórico y un algoritmo práctico, el Cuello de Botella de Información Geométrico Variacional (V-GIB), para abordar esta brecha.

1. Marco Teórico:
Los autores definen una puntuación de población consciente de la geometría, $Q_{\beta,\gamma}(\phi)$, para un codificador $\phi$:
$$Q_{\beta,\gamma}(\phi) = I(\phi(X); Y) - \beta C(\phi) - \gamma d_{int}(\phi)$$

• $I(\phi(X); Y)$: Información relevante para la tarea.
• $C(\phi)$: Un proxy de curvatura que mide la variación local del Jacobiano del codificador ($\mathbb{E}[\|\nabla^2\phi(x)\|_F^2]$).
• $d_{int}(\phi)$: La dimensión intrínseca de la representación latente.
• $\beta, \gamma$: Pesos de regularización.

2. Supuestos Teóricos y Mecanismo:
Bajo supuestos de soporte de variedad suave (smooth-manifold support), transferencia de clase de pérdida y concentración de estimadores, el artículo deriva un mecanismo que vincula la geometría del codificador con la generalización:
$$\text{geometría del codificador} \implies \text{números de cobertura latentes} \implies \text{entropía de la clase de pérdida} \implies \text{generalización}$$
Esta cadena produce límites de generalización no asintóticos para etiquetas escasas donde la complejidad de la muestra depende explícitamente de la dimensión intrínseca latente y la constante de cobertura latente. El artículo también caracteriza una frontera de información-geometría, demostrando que el parámetro de regularización $\beta$ representa el costo marginal de información al aumentar la complejidad geométrica.

3. El Algoritmo V-GIB:
Para operacionalizar la teoría, los autores proponen V-GIB, que aumenta el entrenamiento estándar del cuello de botella variacional con proxies estocásticos de curvatura y dimensión intrínseca.

• Proxy de Curvatura: Un proxy estocástico de la norma del Jacobiano que mide la sensibilidad de la media latente a las perturbaciones de la entrada.
• Proxy de Dimensión Intrínseca: La razón de participación de la matriz de covarianza latente.
• Objetivo de Entrenamiento: El modelo minimiza una función de pérdida que comprende la entropía cruzada, un término de divergencia KL (VIB estándar) y las penalizaciones geométricas por curvatura y dimensión.

Contribuciones Clave

El artículo realiza cuatro contribaciones específicas:

1. Formalización de la Geometría: Identifica la geometría latente como un eje explícito y medible de la calidad de la representación bajo escasez de datos, formalizado a través de una puntuación de población que combina información, curvatura y dimensión intrínseca.
2. Límites de Generalización: Deriva límites de generalización no asintóticos para configuraciones de pocas etiquetas que dependen explícitamente de la dimensión intrínseca latente y la complejidad de cobertura, caracterizando la frontera de información-geometría asociada.
3. Pruebas de Consistencia: Demuestra la consistencia del sustituto empírico utilizado por V-GIB bajo supuestos explícitos de concentración para los estimadores de información, curvatura y dimensión intrínseca.
4. Validación Empírica: Propone y evalúa V-GIB en benchmarks reales de pocas etiquetas, probando si las cantidades geométricas rastrean el comportamiento de pocas etiquetas y si el entrenamiento consciente de la geometría mejora el compromiso empírico.

Resultados Experimentales

Los autores evaluaron V-GIB frente a la Minimización del Riesgo Empírico (ERM), el Cuello de Botella de Información Variacional (VIB) y variantes abladas (eliminando la penalización de curvatura o de dimensión) en Breast Cancer, FashionMNIST, CIFAR-10 y CovType a través de fracciones de etiquetas del 1% al 20%.

• Breast Cancer: Las variantes conscientes de la geometría mejoraron el rendimiento sobre ERM una vez que el conjunto etiquetado fue lo suficientemente grande (5% y más) para estabilizar el entrenamiento. Sin embargo, el V-GIB completo no fue uniformemente el mejor; en algunos casos, la ablación sin curvatura funcionó mejor, lo que respalda la teoría de un compromiso (trade-off) en lugar de una dominancia universal.
• FashionMNIST: La familia V-GIB mejoró consistentemente el rendimiento predictivo sobre ERM en todas las fracciones de etiquetas. Notablemente, el modelo V-GIB completo y la ablación "sin dimensión" lograron una curvatura latente significativamente menor que ERM y VIB, manteniendo una alta precisión.
• CIFAR-10: Este fue el benchmark más desafiante. El modelo V-GIB completo mejoró la precisión de prueba sobre tanto ERM como VIB en cada fracción de etiquetas, observándose las mayores ganancias en el 1%, 10% y 20%. El término de curvatura resultó particularmente útil a medida que la fracción de etiquetas aumentaba, sugiriendo que moldea la representación de manera efectiva una vez que la señal predictiva no es abrumadora.
• CovType: Utilizado como una verificación de optimización, los resultados mostraron que los términos geométricos imponen un costo de optimización real (mayor pérdida de entrenamiento que ERM), confirmando que las ganancias predictivas no son consecuencias triviales de un entrenamiento más fácil.

Significado y Reivindicaciones

El artículo concluye con una reivindicación precisa y modesta: La geometría latente es un eje medible y controlable de la calidad de la representación bajo escasez de etiquetas, pero no es una garantía universal de dominancia por parte de un regularizador fijo.

La evidencia respalda que:

1. La geometría no es meramente un diagnóstico post-hoc; puede integrarse en el criterio de aprendizaje para mejorar el compromiso observado de información-geometría en regímenes de escasez de datos.
2. Los beneficios del entrenamiento consciente de la geometría dependen del conjunto de datos y de la fracción de etiquetas. Por ejemplo, eliminar la penalización de dimensión ayudó en el FashionMNIST de muy pocas etiquetas, mientras que el modelo completo destacó en CIFAR-10.
3. V-GIB sirve como una alternativa seria y consciente de la geometría al ERM estándar y al entrenamiento de cuello de botella variacional, ofreciendo un mecanismo para reducir la complejidad geométrica latente (curvatura) mientras se preserva o mejora el rendimiento predictivo, particularmente cuando las etiquetas son escasas.

Los autores declaran explícitamente que no pretenden que el entrenamiento consciente de la geometría sea uniformemente el mejor en cada conjunto de datos o en cada fracción de etiquetas. En su lugar, afirman que, bajo los supuestos establecidos, la geometría es una variable estadísticamente significativa que, cuando se tiene en cuenta, puede mejorar los resultados de aprendizaje en entornos de pocas etiquetas.