Which Spaces can be Embedded in $L_p$-type Reproducing Kernel Banach Space? A Characterization via Metric Entropy

Resumen Técnico: "¿Qué espacios pueden incrustarse en un Espacio de Núcleo Reproductor de tipo $\mathcal{L}_p$? Una caracterización mediante la entropía métrica"

Planteamiento del Problema
El artículo aborda una pregunta fundamental en los fundamentos teóricos del aprendizaje automático: determinar el alcance y las limitaciones de los Espacios de Núcleo Reproductor de Banach (RKBS, por sus siglas en inglés), específicamente los RKBS de tipo $\mathcal{L}_p$, como marco de modelado para clases de funciones aprendibles. Si bien los RKBS ofrecen un marco flexible para caracterizar estimadores complejos (como las redes neuronales) y ofrecen ventajas sobre los espacios de Hilbert (por ejemplo, la dispersión mediante normas $\ell_p$), sigue sin estar claro si los RKBS de tipo $\mathcal{L}_p$ son lo suficientemente generales como para incrustar arbitrarias clases de funciones que sean eficientemente aprendibles.

La literatura existente establece que la incrustación de un espacio de funciones en un Espacio de Núcleo Reproductor de Hilbert (RKHS) implica un límite específico en el crecimiento de su entropía métrica. Sin embargo, el inverso —si un límite en el crecimiento de la entropía métrica implica la incrustabilidad en un tipo específico de espacio de Banach— no ha sido completamente caracterizado para el $p$ general. Los autores buscan responder: ¿Puede toda clase de funciones aprendible con un número polinomial de puntos de datos (con respecto al exceso de riesgo) ser incrustada en un RKBS de tipo $\mathcal{L}_p$?

Metodología
Los autores establecen una conexión novedosa entre la entropía métrica y la incrustabilidad de los espacios de funciones en RKBS de tipo $\mathcal{L}_p$. La metodología procede a través de los siguientes pasos lógicos:

1. De Entropía Métrica a Complejidad de Rademacher: Los autores generalizan los resultados clásicos (el Lema de Massart y el Teorema de Encadenamiento de Dudley) a espacios de Banach abstractos. Demuestran que si la entropía métrica de una bola unitaria en un espacio de Banach $E$ (medida en un espacio objetivo $F = \ell_\infty(\Omega)$) crece polinomialmente como $\mathcal{E}_E^F(\delta) \leq \delta^{-p}$ para $p \geq 2$, entonces la complejidad de Rademacher del espacio decae a un ritmo de $n^{-1/p}$.
2. De Complejidad de Rademacher a Tipo de Espacio de Banach: Una contribución técnica clave es un nuevo lema que muestra que un límite en la norma de Rademacher implica el Tipo del espacio de Banach. Específicamente, si la complejidad de Rademacher decae como $n^{-1/p'}$, el espacio (equipado con la norma objetivo) es de Tipo $s'$ para cualquier $s' < p'$.
3. De Tipo a Incrustación de tipo $\mathcal{L}_p$: Aprovechando el Teorema 3 (una consecuencia del Teorema de Dominación de Pietsch y el Teorema de Maurey-Pisier), los autores utilizan la propiedad de Tipo establecida para construir una incrustación isomórfica del espacio de hipótesis en un subespacio cerrado de $\mathcal{L}_{s'}(\mu)$.
4. Construcción del RKBS: Utilizando el teorema de extensión de Hahn-Banach y la dualidad entre $\mathcal{L}_{s'}$ y $\mathcal{L}_s$ (donde $1/s + 1/s' = 1$), construyen un mapa de características $\Phi: \Omega \to \mathcal{L}_s(\mu)$. Este mapa de características induce un RKBS de tipo $\mathcal{L}_s$, tal que el espacio $E$ original se incrusta en $\mathcal{B}_s$, el cual, a su vez, se incrusta en el espacio de funciones acotadas $\ell_\infty(\Omega)$.

Contribuciones Clave

• Caracterización Inversa: El artículo prueba un inverso a los resultados clásicos de RKHS. Mientras que la incrustación en un RKHS implica un límite en la entropía métrica, los autores prueban que un límite polinomial en el crecimiento de la entropía métrica ($\delta^{-p}$) es suficiente para garantizar la incrustación en un RKBS de tipo $\mathcal{L}_s$ para algún $s > p$.
• Marco Unificado vía Entropía Métrica: A diferencia de enfoques anteriores que dependen de propiedades geométricas específicas (como las comprobaciones de Tipo-2) que varían entre espacios de funciones, este trabajo proporciona un enfoque unificado basado en la entropía métrica para determinar la incrustabilidad.
• Vinculación de la Aprendibilidad con la Geometría: Los autores conectan el concepto de "aprendibilidad polinomial" (aprender con un conjunto de datos polinomialmente grande en relación con el error) directamente con la estructura geométrica de los RKBS de tipo $\mathcal{L}_p$. Demuestran que cualquier clase de funciones aprendible en este régimen posee los límites de entropía métrica necesarios para ser incrustada en tales espacios.

Resultados Principales

• Teorema 4: Dado un dominio acotado $\Omega \subset \mathbb{R}^d$ y un RKBS $E$ que se incrusta de forma compacta en $F = \ell_\infty(\Omega)$, si el crecimiento de la entropía métrica está limitado por $\mathcal{E}_E^F(\delta) \leq \delta^{-p}$ para $p \geq 2$, entonces para cualquier $s > p$, existe un RKBS de tipo $\mathcal{L}_s$ tal que $E \hookrightarrow \mathcal{B}_s \hookrightarrow F$.
• Implicación para la Aprendibilidad: Dado que la aprendibilidad polinomial implica límites polinomiales en la entropía métrica, el resultado confirma que los RKBS de tipo $\mathcal{L}_p$ constituyen una clase de modelos poderosa y expresiva capaz de representar cualquier clase de funciones eficientemente aprendible.
• Límites Técnicos: El artículo proporciona límites explícitos que relacionan el exponente de entropía $p$ con el parámetro $s$ requerido del RKBS, mostrando que $s$ puede elegirse arbitrariamente cerca de $p$ (específicamente $s > p$).

Significancia y Reivindicaciones
Los autores afirman que sus resultados arrojan nueva luz sobre el poder y las limitaciones de los métodos de núcleo para aprender clases de funciones complejas. Al establecer que los RKBS de tipo $\mathcal{L}_p$ son lo suficientemente generales como para modelar cualquier clase de funciones con una entropía métrica controlada (polinomial), el artículo valida el uso de estos espacios como un amplio marco teórico para el aprendizaje automático.

La significancia reside en la practicidad de la caracterización: estimar la entropía métrica es a menudo más sencillo en la práctica (por ejemplo, para los espacios clásicos de Sobolev y Besov) que encontrar incrustaciones explícitas. Por lo tanto, este trabajo proporciona una condición verificable para determinar si un espacio de funciones específico puede ser modelado efectivamente utilizando RKBS de tipo $\mathcal{L}_p$. Los autores enfatizan que este enfoque unifica el estudio de las propiedades de los espacios de funciones, la teoría del aprendizaje y las incrustaciones en entornos no de Hilbert, ofreciendo un marco más versátil que las caracterizaciones previas basadas en el Tipo-2.