🤖 machine learning

Bound to Disagree: Generalization Bounds via Certifiable Surrogates

Este artículo introduce un marco novedoso para derivar cotas de generalización no vacuas para modelos de aprendizaje profundo mediante el aprovechamiento de sustitutos de desacuerdo certificables entrenados a través de compresión de muestras, compresión de modelos o la teoría PAC-Bayes, todo ello sin modificar el modelo objetivo ni su procedimiento de entrenamiento.

Autores originales: Mathieu Bazinet, Valentina Zantedeschi, Pascal Germain

Publicado 2026-07-09

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mathieu Bazinet, Valentina Zantedeschi, Pascal Germain

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que has construido un cerebro de robot gigante y súper inteligente (una red neuronal profunda) para resolver un rompecabezas. Es increíble resolviendo el rompecabezas, pero nadie sabe exactamente qué tan bien lo hará ante un rompecabezas nuevo que nunca ha visto. De hecho, la mayor parte de las matemáticas que solemos usar para adivinar su rendimiento futuro son o totalmente inútiles (como decir "podría tener un 100% de acierto o un 0% de acierto") o requieren cambiar el cerebro del robot para ajustarlo a las matemáticas, lo que arruina al robot.

Este artículo, titulado "Bound to Disagree", ofrece una nueva y astuta forma de comprobar el rendimiento futuro de ese robot sin tocar su cerebro ni usar matemáticas inútiles.

La Gran Idea: El "Surrogate" y el "Desacuerdo"

Piensa en tu cerebro de robot gigante como un Modelo Objetivo (Target Model). Es complejo, potente y difícil de medir. Los autores dicen: "Construyamos un cerebro de robot diminuto y simple llamado Modelo Sustituto (Surrogate Model)".

Este sustituto es lo suficientemente pequeño como para que podamos demostrar fácilmente qué tan bueno es resolviendo rompecabezas. Pero aquí está el truco: el sustituto tiene que actuar casi exactamente como el robot gigante.

El ingrediente secreto de los autores es medir el Desacuerdo (Disagreement). Toman un pequeño montón de imágenes no etiquetadas (datos que el robot aún no ha visto) y les piden tanto al robot gigante como al robot diminuto que adivinen la respuesta.

Si están de acuerdo en casi todo, la trayectoria demostrada del robot diminuto es una gran suposición para el rendimiento futuro del robot gigante.
Si discrepan mucho, el robot gigante podría estar en problemas.

El artículo demuestra que la brecha entre el verdadero rendimiento del robot gigante y el rendimiento demostrado del robot diminuto está directamente relacionada con qué tan seguido discrepan en estas imágenes no etiquetadas.

Lo que Descartaron (La lista de "No te molestes")

Los autores son muy claros sobre lo que no funciona para este objetivo específico, y no quieren que pierdas el tiempo con esos métodos:

No intentes cambiar el robot gigante: No necesitas reentrenar el modelo objetivo ni retocar su arquitectura. El método funciona con el modelo exactamente como fue entrenado.
No dependas de los límites basados en la norma ("Norm-based bounds"): Estos son trucos matemáticos de la vieja escuela que observan el tamaño de los pesos del robot. El artículo muestra que suelen ser "vacuos" (es decir, dan respuestas tan amplias que son inútiles, como decir "el error está entre 0 y mil millones por ciento").
No dependas de los límites basados en la partición ("Partition-based bounds"): Estos intentan dividir los datos en trozos. Los autores encontraron que a menudo son triviales, estimando el rendimiento como si el robot estuviera simplemente adivinando al azar (alrededor de un 90% de error en algunas tareas).
No exijas datos etiquetados para la comprobación: A diferencia de muchos otros métodos que necesitan un gran montón de datos etiquetados (donde los humanos ya han escrito las respuestas) para verificar el modelo, este método solo necesita un pequeño montón de datos no etiquetados (imágenes sin respuestas). Esto es mucho más barato y rápido de obtener.

Cómo lo Probaron (Los resultados del "Laboratorio")

Los autores no solo imaginaron esto; lo construyeron y lo probaron en rompecabezas del mundo real. Utilizaron tres formas diferentes para construir sus sustitutos de "robot diminuto":

Compresión de Muestras (Sample Compression): Elegir un subconjunto diminuto y perfecto de los datos de entrenamiento para representar al todo.
Compresión de Modelo (Model Compression): Envolver el modelo de forma ajustada (como convertir una foto de alta resolución en una miniatura diminuta) sin perder demasiada calidad.
PAC-Bayes: Utilizar un marco estadístico que trata al modelo como una distribución de posibilidades en lugar de un cerebro único y fijo.

Los probaron en:

MNIST: Reconocer dígitos escritos a mano.
CIFAR10: Identificar objetos como aviones o gatos en imágenes pequeñas.
Amazon Polarity: Leer reseñas de películas para decidir si son positivas o negativas (usando modelos de lenguaje grandes como DistilBERT y GPT2).

Los Resultados:
En estos experimentos, sus límites de "desacuerdo" fueron ajustados y computables.

Para los dígitos escritos a mano de MNIST, su método encontró un límite de generalización (un límite de seguridad sobre el error) de aproximadamente 3.45% usando compresión de modelo, mientras que los antiguos métodos basados en la norma dieron números tan enormes que carecían de sentido (como $3.14 \times 10^8$ por ciento).
Para CIFAR10, obtuvieron un límite del 35.06% con compresión de modelo, mientras que los métodos antiguos eran inútiles o estimaban el rendimiento como si el modelo fuera un simple adivinador al azar (alrededor del 90%).
Incluso demostraron que si reducen un modelo a 4 bits (haciéndolo diminuto y rápido), el límite de desacuerdo garantiza que el modelo reducido funcionará casi tan bien como el grande, con una brecha de desacuerdo de solo alrededor del 2%.

¿Qué tan seguros estamos?

El artículo proporciona pruebas matemáticas (teoremas) que demuestran que estos límites se mantienen con una alta probabilidad (específicamente, con una confianza de 99%, o $1-\delta = 0.99$ ).

La idea central —que la brecha de error está limitada por el desacuerdo— está probada matemáticamente para la pérdida de cero-uno (respuestas simples de correcto/incorrecto) y para las pérdidas Lipschitz (errores continuos y suaves).
Los números específicos (como los límites de 3.45% o 35.06%) son resultados medidos de sus experimentos en conjuntos de datos específicos. No son simulaciones; son cálculos reales sobre modelos entrenados.
Los autores admiten una limitación: la calidad del límite final depende enteramente de qué tan bueno sea el "robot diminuto" (sustituto). Si no puedes encontrar un sustituto bueno que esté de acuerdo con el robot gigante, el límite no será muy ajustado.

La Conclusión

Este artículo sugiere una nueva forma práctica de confiar en tu IA. En lugar de intentar forzar un modelo complejo en una caja que no le queda, o usar matemáticas que dan respuestas inútiles, puedes construir un gemelo diminuto y certificable, comprobar con qué frecuencia discrepan en algunos ejemplos no etiquetados, y usar eso para garantizar qué tan bien funcionará el modelo grande en el mundo real. Es una forma "certificable" de saber que tu robot no te fallará, sin tener que reconstruirlo.

Resumen Técnico: Bound to Disagree: Generalization Bounds via Certifiable Surrogates

Planteamiento del Problema

Los modelos de aprendizaje profundo, particularmente las redes neuronales sobreparametrizadas, han demostrado un éxito empírico que contradice la teoría clásica del aprendizaje estadístico, la cual a menudo predice el sobreajuste (overfitting). A pesar de la extensa investigación en límites de generalización basados en la dimensión VC, la complejidad de Rademacher, la teoría de la información y la teoría PAC-Bayes, los límites existentes para redes neuronales profundas sufren de tres limitaciones principales:

Vacuidad: Muchos límites producen valores mayores a 1 (o límites superiores triviales) cuando se aplican a redes de tamaño medio o grande.
No computabilidad: Algunos límites dependen de constantes universales que no se pueden computar o requieren suposiciones intratables sobre el espacio de entrada.
Restrictividad: Muchos límites válidos se aplican solo a versiones modificadas del modelo (por ejemplo, podadas o cuantizadas) en lugar del predictor original, o requieren restricciones arquitectónicas específicas (por ejemplo, activaciones con compuerta/gated).

El artículo aborda la necesidad de límites de generalización que sean computables, no vacuos y aplicables a cualquier predictor sin modificar el modelo objetivo ni su procedimiento de entrenamiento.

Metodología

Los autores proponen un marco que desacopla la certificación de un modelo objetivo complejo de la derivación del límite en sí mismo. La estrategia central consiste en:

Modelado de Sustituto (Surrogate Modeling): Entrenar un modelo "sustituto" más simple que goce de garantías de generalización ajustadas y computables. Este sustituto está diseñado para imitar el comportamiento del modelo objetivo.
Acotación del Desacuerdo (Disagreement Bounding): Medir la brecha entre el riesgo real del modelo objetivo ( $f$ ) y el modelo sustituto ( $h$ ) utilizando una métrica de "desacuerdo" evaluada en un conjunto de datos pequeño y no etiquetado ( $U$ ) que no fue utilizado durante el entrenamiento.
Agregación de Riesgo: Combinar el límite de generalización ajustado del sustituto con el límite de desacuerdo para acotar superiormente el riesgo real del modelo objetivo.

Contribuciones Teóricas

El artículo formaliza tres límites específicos basados en el desacuerdo dependiendo de la función de pérdida:

Pérdida de Cero-Uno (Teorema 5): Para la pérdida de cero-uno, el desacuerdo se define como la frecuencia empírica de predicciones diferentes entre $f$ y $h$ en el conjunto no etiquetado. El límite utiliza la inversión de la cola binomial (Langford, 2005) para acotar superiormente la brecha del riesgo real.
$R_D(f) \leq R_D(h) + \text{Bin}(m \cdot d_U^{0-1}(f, h), m, \delta)$
Pérdidas Lipschitz-Continuas (Teorema 6): Para pérdidas como Huber o la pérdida logística (que son Lipschitz con respecto a la salida softmax), el desacuerdo se mide mediante la distancia $L_1$ entre las distribuciones softmax de los dos modelos. Este límite emplea la cota de Chernoff para variables en el intervalo unitario.
$L_D(f) \leq \mathbb{E}_{h \sim Q}[L_D(h)] + 2K_\ell \cdot kl^{-1}\left(\frac{\mathbb{E}_{h \sim Q}[d_U^{K_\ell}(f, h)]}{2}, \frac{\log(1/\delta)}{m}\right)$
Pérdidas No-Lipschitz (Teorema 7): Para pérdidas como la entropía cruzada (que pueden no ser Lipschitz sin restricciones), los autores proponen utilizar un pequeño conjunto de datos etiquetados mantenido aparte para medir la diferencia absoluta en los valores de pérdida entre los modelos.
$L_D(f) \leq \mathbb{E}_{h \sim Q}[L_D(h)] + \lambda_\ell \cdot kl^{-1}\left(\frac{\mathbb{E}_{h \sim Q}[d_L(f, h)]}{\lambda_\ell}, \frac{\log(1/\delta)}{m}\right)$

Integración del Marco de Trabajo

La metodología es agnóstica al marco específico utilizado para certificar el sustituto. Los autores demuestran la versatilidad integrando sus límites de desacuerdo con tres marcos teóricos distintos:

Compresión de Muestras (Sample Compression): Utilizar algoritmos como Pick-To-Learn o selección de Coreset (por ejemplo, Random Coreset, k-Center Greedy) para definir un sustituto basado en un subconjunto de los datos de entrenamiento.
Compresión de Modelo (Model Compression): Utilizar técnicas como SubLoRA (Subspace Low-Rank Adaptation) y cuantización para reducir la longitud de descripción del sustituto.
Teoría PAC-Bayes: Entrenar redes neuronales estocásticas donde el sustituto es una distribución sobre hipótesis, acotada mediante la divergencia KL de un prior.

Resultados Clave

Los autores evaluaron empíricamente su marco en MNIST, CIFAR10 y el conjunto de datos Amazon Polarity (usando DistilBERT y GPT2).

Ajuste (Tightness): Los límites propuestos basados en el desacuerdo son significativamente más ajustados que los límites computables existentes. Por ejemplo, en CIFAR10, los límites basados en normas fueron vacuos (valores $> 10^{21}$ ), y los límites basados en particiones fueron triviales (aproximadamente 90% de error). En contraste, los nuevos límites lograron resultados no vacuos (por ejemplo, 28.13% para sustitutos PAC-Bayes en CIFAR10).
Versatilidad: El enfoque certificó con éxito objetivos a través de diferentes arquitecturas (CNN, ResNet, Transformers) y funciones de pérdida (cero-uno, entropía cruzada, Huber).
Selección del Sustituto: Los experimentos revelaron que el enfoque de Random Coreset a menudo producía los límites más ajustados para la compresión de muestras, mientras que SubLoRA fue efectivo para la compresión de modelos. Curiosamente, minimizar el desacuerdo en el conjunto no etiquetado no siempre produjo el límite final más ajustado; en algunos casos, los sustitutos con los límites de generalización intrínsecos más ajustados (incluso con un mayor desacuerdo) funcionaron mejor.
Casos de Uso:
- Certificación: Proporcionar límites no vacuos para modelos deterministas estándar.
- Destilación: Certificar el riesgo de un modelo destilado minimizando el desacuerdo.
- Cuantización: Acotar la brecha de rendimiento entre un modelo objetivo y su versión cuantizada, asegurando que la compresión no provoque caídas significativas en el rendimiento.

Significado y Reivindicaciones

El artículo afirma proporcionar un marco de límites de generalización totalmente computable, no vacuo y libre de supuestos. Su principal importancia radica en:

Desacoplamiento de la Complejidad: Permite la certificación de modelos complejos y arbitrarios al desplazar la carga de las garantías teóricas hacia un sustituto más simple y certificable.
Requisitos Mínimos de Datos: El enfoque requiere solo un pequeño conjunto de datos no etiquetados (que es más barato y fácil de obtener que los datos etiquetados) para evaluar el desacuerdo, lo que lo hace práctico para aplicaciones a gran escala.
Sin Necesidad de Modificación: A diferencia de trabajos previos que requieren poda, cuantización o cambios arquitectónicos en el modelo objetivo para derivar límites, este método aplica al modelo "tal cual".
Amplia Aplicabilidad: El marco no está restringido a funciones de pérdida o clases de modelos específicos, acomodando pérdidas de cero-uno, Lipschitz y no-Lipschitz, así como predictores deterministas y estocásticos.

Los autores reconocen las limitaciones, señalando que la estrechez del límite final depende inherentemente de la calidad de la propia garantía de generalización del sustituto. Además, encontrar un sustituto que sea tanto certificable como suficientemente cercano a un modelo altamente complejo sigue siendo un desafío. Sin embargo, este trabajo establece un nuevo paradigma donde las garantías de generalización se logran a través del "desacuerdo" en lugar del análisis directo de la complejidad del modelo objetivo.