🤖 machine learning

Certification of Machine Learning Models via Directional Sharpness

Este artículo introduce la "nitidez direccional" (directional sharpness), una métrica computacionalmente eficiente y fiable que supera a las medidas existentes al certificar la generalización de los modelos de aprendizaje automático, incluso cuando los procesos de entrenamiento se ven perturbados o la privacidad de los datos debe preservarse mediante pruebas de conocimiento cero.

Autores originales: Gefei Tan, Adria Gascon, Sarah Meiklejohn, Mariana Raykova

Publicado 2026-06-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Gefei Tan, Adria Gascon, Sarah Meiklejohn, Mariana Raykova

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que contratas a un chef para cocinar un banquete masivo. Quieres estar seguro de que la comida sepa bien no solo para las pocas personas que probaron la muestra, sino para todos los que comerán después. En el mundo del aprendizaje automático, esto se llama generalización: la capacidad de un modelo informático para funcionar bien con datos nuevos y no vistos.

El problema es: ¿cómo compruebas si el chef es realmente talentoso o si simplemente se memorizó los platos específicos que le diste para la prueba de sabor?

Este artículo presenta una nueva forma de comprobar las "habilidades culinarias" de un modelo llamada Nitidez Direccional (Directional Sharpness). Aquí está el desglose utilizando analogías sencas.

El Problema: La Trampa de lo "Plano"

En el aprendizaje automático, a menudo observamos el "paisaje de pérdida" (loss landscape) de un modelo. Imagina esto como un terreno montañoso donde el fondo de un valle representa un modelo perfecto.

El Objetivo: Queremos que el modelo se sitúe en un valle ancho y plano. Si el valle es ancho, el modelo es estable. Incluso si lo empujas ligeramente (como con un nuevo dato), se mantiene en el valle y sigue funcionando bien.
La Trampa: A veces, un modelo se sitúa en un pico estrecho y afilado que parece un valle desde la distancia. Se ve perfecto con los datos con los que fue entrenado, pero si lo empujas aunque sea un poquito, se cae del pico y colapsa. Esto es "sobreajuste" (overfitting) o una "puerta trasera" (backdoor) (un fallo oculto).

La Forma Antigua: Tomar una Instantánea Única

Anteriormente, los expertos intentaban medir qué tan "plano" era un valle tomando una foto estática y única. Observaban el modelo, le daban un pequeño empujón y veían cuánto aumentaba el error.

El Defecto: Esto es como mirar la cima de una montaña desde un ángulo. Podrías pasar por alto el hecho de que la cima es en realidad una aguja delgada que colapsará si la miras desde un ángulo diferente. Si un modelo está "haciendo trampa" (por ejemplo, tiene una puerta trasera oculta o memorizó los datos), una sola instantánea podría seguir pareciendo plana, engañando al inspector.

La Nueva Solución: Nitidez Direccional

Los autores proponen la Nitidez Direccional. En lugar de tomar una foto, imagina que estás rodando una pelota a través del valle mientras sacudes el suelo ligeramente.

La Prueba Dinámica: No solo observas el modelo una vez. Aplicas una serie de pequeños empujones aleatorios (como un terremoto suave) y observas cómo reacciona el modelo a lo largo del tiempo.
El Modelo Estable: Si el modelo es realmente bueno (está en un valle ancho y plano), se tambaleará un poco pero se mantendrá tranquilo. La puntuación de "nitidez" se mantendrá baja y constante.
El Modelo que Hace Trampa: Si un modelo está sentado sobre un pico estrecho o tiene fallos ocultos, esos pequeños empujones eventualmente lo harán perder el equilibrio. La puntuación de "nitidez" comenzará a dispararse y a fluctuar salvajemente.

La Analogía:

Método Antiguo: Comprobar si un equilibrista está en equilibrio pidiéndole que se quede quieto durante un segundo.
Nuevo Método (Nitidez Direccional): Pedirle al equilibrista que camine por la cuerda mientras una máquina de viento sopla aleatoriamente hacia él. Si se tambalea y se cae, sabes que no está listo, incluso si se mantuvo perfectamente quieto durante ese segundo.

Por Qué Esto Importa

El artículo afirma que este nuevo método es mejor por tres razones:

Es un Mejor Predictor: Correlaciona mucho más fuertemente con si un modelo funcionará realmente con nuevos datos que los antiguos métodos de "instantánea". Detecta modelos que parecen buenos pero que en realidad son frágiles.
Atrapa a los Tramposos: Es muy bueno detectando modelos que han sido "envenenados" (entrenados con datos malos) o que tienen "puertas traseras" (disparadores ocultos). Estos modelos suelen parecer perfectos en una prueba estándar, pero fallan en la prueba de "sacudida".
Es Rápido y Privado:
- Velocidad: Es mucho más rápido de calcular que los métodos antiguos (hasta 4 veces más rápido que simplemente comprobar la precisión de la prueba en algunos casos).
- Privacidad: Puedes usar un truco criptográfico llamado "Prueba de Conocimiento Cero" (Zero-Knowledge Proof) para demostrar que el modelo pasó esta prueba sin que el verificador vea jamás los datos de entrenamiento secretos. Es como demostrar que tienes un boleto de lotería ganador sin mostrar el boleto a nadie.

La Conclusión

El artículo argumenta que para confiar verdaderamente en una IA, no debemos preguntar simplemente: "¿Obtuviste la respuesta correcta en el examen de práctica?". Debemos preguntar: "¿Puedes mantener el equilibrio cuando el suelo empieza a sacudirse?".

La Nitidez Direccional es la herramienta que sacude el suelo y nos dice si el modelo es realmente estable o si solo está fingiendo. Esto ayuda a los auditores y a las empresas a asegurar que los modelos de IA sean seguros, fiables y no escondan sorpresas desagradables.

Resumen Técnico: Certificación de Modelos de Aprendizaje Automático mediante la Agudeza Direccional

Planteamiento del Problema

La certificación de modelos tiene como objetivo proporcionar seguridad respecto a la confiabilidad y calidad de los modelos de aprendizaje automático, específicamente su capacidad para generalizar a datos no vistos. Medir la generalización directamente es imposible porque depende de distribaciones de datos desconocidas. Los proxies existentes, como la precisión en el conjunto de prueba (test accuracy), son poco fiables ya que pueden ser engañosos debido a errores en el conjunto de datos, sobreajuste o cambios en la distribución. Además, los límites teóricos de generalización suelen ser demasiado laxos o vacuos para las redes modernas sobreparametrizadas.

Si bien la "agudeza" (sharpness — la sensibilidad de la pérdida ante perturbaciones de los parámetros) ha surgido como un proxy empírico prometedor para la generalización, las métricas de agudeza existentes enfrentan dos barreras críticas en contextos de certificación:

Fiabilidad bajo Desviación: Las métricas actuales se validan principalmente en modelos entrenados honestamente. No está claro si pueden detectar una mala generalización cuando el entrenamiento se desvía de los procedimientos prescritos (por ejemplo, debido a puertas traseras [backdoors], sobreajuste o ruido en las etiquetas).
Eficiencia Computacional: Las métricas existentes son computacionalmente costosas, lo que las hace poco prácticas para la auditoría de modelos (donde un verificador tiene acceso a los datos de entrenamiento) e inviables para la certificación de modelos (donde un verificador debe comprobar una prueba criptográfica sin acceso a los datos de entrenamiento).

Metodología: Agudeza Direccional

Los autores proponen la Agudeza Direccional (Directional Sharpness), una métrica diseñada para medir la estabilidad dinámica de un modelo en lugar de sus propiedades geométricas estáticas.

Concepto Central

A diferencia de la agudeza estática, que evalúa el paisaje de la pérdida en un solo punto (a menudo promediando sobre el conjunto de datos completo), la agudeza direccional evalúa cómo se comporta un modelo bajo una secuencia de perturbaciones continuas y estocásticas. La intuición es que un modelo en un cuenco (basin) genuinamente plano y ancho permanecerá estable bajo estas perturbaciones, mientras que un modelo en un bolsillo estrecho e inestable (o con una geometría incoherente) será empujado hacia regiones agudas, exhibiendo fluctuaciones detectables.

Algoritmo

El cálculo de la Agudeza Direccional (Algoritmo 1) implica:

Inicialización: Comenzar con un modelo entrenado $w_0$ .
Trayectoria de Sondeo: Aplicar $T$ $T$ pasos de actualizaciones de tipo Minimización de Agudeza Consciente (SAM-style). En cada paso $t$ $t$ :
- Muestrear un mini-batch $\xi_t$ de los datos de entrenamiento.
- Calcular la agudeza por paso $s_t$ (por ejemplo, agudeza ASAM) sobre el mini-batch.
- Actualizar los parámetros del modelo $w_{t+1}$ utilizando el operador de actualización SAM.
Estadístico de Fluctuación: Registrar la secuencia de valores de agudeza $\{s_0, \dots, s_{T-1}\}$ . La métrica final es un estadístico de fluctuación (específicamente, la desviación estándar del logaritmo de la razón de los cuadrados de la agudeza respecto a la pérdida) de esta secuencia.

Fundamentación Teórica

El artículo proporciona un análisis teórico que vincula la agudeza direccional con la estabilidad SAM:

Límite de Estabilidad: Si un modelo reside en un mínimo estable de SAM, se espera que la agudeza al cuadrado bajo perturbación continua esté acotada uniformemente por una constante multiplicada por la pérdida de entrenamiento inicial.
Detección de Inestabilidad: Por el contrario, si la agudeza al cuadrado esperada crece exponencialmente, el modelo reside en una región inestable.
Coherencia de Gradiente: Los autores formalizan una clase de desviaciones de entrenamiento caracterizadas por una baja coherencia de gradiente (donde los gradientes por ejemplo se cancelan en el promedio de lote completo pero siguen siendo grandes individualmente). Demuestran que, mientras la agudeza estática de lote completo puede parecer baja (enmascarando la desviación), la agudeza de raíz media cuadrática (RMS) del mini-batch permanece alta. La agudeza direccional, al agregar señales de mini-batch a lo largo del tiempo, amplifica esta brecha, haciéndola sensible a tales desviaciones.

Contribuciones Clave

Nueva Métrica (Agudeza Direccional): Una métrica de generalización que cambia de la medición geométrica estática a la medición de la estabilidad dinámica.
Correlación Superior: Evidencia empírica que muestra que la agudeza direccional se correlaciona significativamente más fuerte con la brecha de generalización que las métricas estáticas existentes (por ejemplo, Agudeza de Peor Caso, ASAM).
Robustez ante Desviaciones: Capacidad demostrada para identificar modelos con mala generalización causada por desviaciones de entrenamiento (ruido de etiquetas, sobreajuste a características espurias, puertas traseras) donde la precisión de prueba y la agudeza estática fallan.
Eficiencia para la Certificación:
- Auditoría: El cómputo es hasta $4\times$ más rápido que calcular la precisión de prueba y órdenes de magnitud más rápido que la agudeza estática.
- Certificación (Conocimiento Cero): Los autores demuestran cómo generar Pruebas de Conocimiento Cero (ZKP) para la agudeza direccional. Muestran que probar la agudeza direccional es hasta 80,000 $\times$ más rápido que probar todo el proceso de entrenamiento (zkPoT) para modelos como VGG-11.

Resultados Experimentales

Correlación con la Generalización

En un experimento a gran escala entrenando 1,152 modelos en CIFAR-10/100 con diversas arquitecturas e hiperparámetros:

La agudeza direccional logró una correlación de Spearman ( $\rho$ ) de 0.902 con la brecha de generalización.
Esto superó significativamente a los mejores baselines estáticos, como ASAM con lote completo ( $\rho \approx 0.64$ ) y la Agudeza de Peor Caso ( $\rho \approx 0.60$ ).

Fiabilidad bajo Desviaciones de Entrenamiento

Los autores realizaron experimentos de distinguibilidad emparejando modelos benignos con modelos defectuosos que tenían una precisión de prueba observada casi idéntica. La agudeza direccional separó con éxito los modelos en todos los escenarios, mientras que las métricas estáticas y la precisión de prueba fallaron:

Etiquetas Ruidosas: Ratio Benigno/Defectuoso de 0.177 (Direccional) vs. 0.991 (Estática).
Sobreajuste a Características Espurias: Ratio de 0.084 (Direccional) vs. 0.963 (Estática).
Puertas Traseras (Backdoors): Ratio de 0.061 (Direccional) vs. 0.587 (Estática).
Cuantización y Conjuntos de Prueba Pequeños: La agudeza direccional proporcionó consistentemente márgenes de separación más fuertes.

Eficiencia y ZKP

Tiempo de Ejecución: Calcular la agudeza direccional en un lote pequeño tomó 0.21 segundos, comparado con 0.92 segundos para la precisión de prueba y 210.32 segundos para la Agudeza de Peor Caso estática.
Costo de ZKP: Para un modelo VGG-11 entrenado durante 150 épocas, un ZKP de agudeza direccional tomó 88.87 minutos, mientras que un ZKP de todo el proceso de entrenamiento (baseline LATE-SAM) se estimó en 118,671 horas (aprox. 13.5 años).

Significancia y Reivindicaciones

El artículo afirma que la agudeza direccional proporciona una métrica eficiente y robusta para evaluar la generalización de los modelos. Su importancia radica en permitir la certificación práctica de modelos en dos entornos:

Auditoría: Donde un verificador de confianza con acceso a los datos de entrenamiento puede detectar eficientemente la mala generalización y las desviaciones de entrenamiento.
Certificación: Donde un verificador externo puede verificar criptográficamente la calidad del modelo mediante ZKPs, superando los costos computacionales prohibitivos de las pruebas de entrenamiento existentes.

Los autores sostienen que, al medir la estabilidad dinámica, la agudeza direccional ofrece una señal más fiable de la calidad del modelo que las propiedades geométricas estáticas, particularmente en escenarios de entrenamiento adversos o no ideales. Concluyen que esta métrica es un ingrediente adecuado para mitigar ataques en el aprendizaje automático adversarial y mejorar la transparencia en los sistemas de ML.