🤖 machine learning

Coverage You Can Steer: Online Conformal Calibration for RL-Driven Hardware-Aware NAS

Este artículo propone un marco de calibración conforme en línea utilizando control de retroalimentación adaptativo para restaurar las garantías de cobertura libres de distribución en la búsqueda de arquitecturas neuronales conscientes del hardware impulsada por aprendizaje por refuerzo, permitiendo la poda eficiente del 25–50% de las arquitecturas candidatas sin sacrificar la precisión ni violar la tasa de error objetivo a pesar de la naturaleza no intercambiable del proceso de búsqueda.

Autores originales: Pedro Brandimarte, Nerea Aranjuelo, Marcos Nieto, Oihana Otaegui

Publicado 2026-10-05✓ Author reviewed ⓘ

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pedro Brandimarte, Nerea Aranjuelo, Marcos Nieto, Oihana Otaegui

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las diminutas computadoras dentro de tu reloj inteligente, el sistema de frenado de tu coche o un sensor médico pudieran ejecutar la misma inteligencia artificial potente que actualmente vive solo en enormes centros de datos. Esta es la promesa de la IA en el borde (edge AI): sistemas inteligentes que funcionan localmente, de forma instantánea y sin necesidad de enviar datos privados de vuelta a la nube. Pero hay un inconveniente. Estos dispositivos de borde tienen límites severos en cuanto a cuánta memoria poseen y con qué rapidez pueden procesar la información. Diseñar una red neuronal —un tipo de programa informático que aprende de los datos— para que quepa en estas estrictas restricciones es como intentar construir un rascacielos que también debe caber dentro de un zapato. El número de diseños posibles es tan vasto, involucrando millones de combinaciones de capas, conexiones y ajustes, que un diseñador humano no puede probarlos todos.

Para resolver esto, los investigadores utilizan un método llamado búsqueda de arquitectura neuronal, donde un programa informático prueba automáticamente diferentes diseños para encontrar el mejor. Sin embargo, probar un solo diseño es increíblemente costoso y lento; requiere entrenar el modelo con datos para ver qué tan bien funciona. Si una computadora tiene que entrenar miles de diseños solo para encontrar uno bueno, el proceso se vuelve demasiado costoso para ser práctico. El desafío, entonces, es determinar qué diseños merecen el tiempo y el dinero para ser entrenados, y cuáles deberían descartarse inmediatamente, sin siquiera realizar la prueba completa.

Un equipo de investigadores de Vicomtech en España ha desarrollado una nueva forma de hacer que este proceso de filtrado sea fiable. Abordaron un problema que había estado socavando silenciosamente los intentos anteriores: el propio proceso de aprendizaje de la computadora estaba cambiando las reglas del juego mientras jugaba. En estos sistemas de búsqueda, un "controlador" sugiere nuevos diseños basados en lo que ha aprendido hasta ahora. A medida que el controlador se vuelve más inteligente, los diseños que sugiere cambian. Los métodos antiguos para filtrar diseños malos asumían que los diseños sugeridos al principio de la búsqueda eran estadísticamente similares a los sugeridos al final. Pero debido a que el controlador está aprendiendo y mejorando, esta suposición es falsa. Los diseños siguen cambiando, y los filtros antiguos, que estaban calibrados para los primeros diseños, comenzaron a fallar. O bien desperdiciaban tiempo entrenando diseños terribles o, peor aún, descartaban accidentalmente el mejor diseño antes de que pudiera ser probado adecuadamente.

Los investigadores reemplazaron este filtro estático y de un solo uso con un sistema que aprende y se ajusta en tiempo real. En lugar de establecer una regla una vez y esperar que se mantenga, su nuevo método utiliza un bucle de retroalimentación para verificar constantemente su propio rendimiento. Después de que se prueba cada diseño, el sistema se pregunta: "¿Predije correctamente que este diseño sería bueno o malo?". Si el sistema cometió un error, ajusta ligeramente su umbral interno de lo que cuenta como un diseño "bueno". Este ajuste ocurre continuamente, permitiendo que el sistema rastree la naturaleza cambiante de la búsqueda. El resultado es un filtro que puede calibrarse a un nivel específico de seguridad. Si un investigador pide una garantía del 90% de que no se perderá ningún buen diseño, el sistema entrega exactamente eso, sin importar cómo evolucione la búsqueda. Si piden un 95%, entrega eso en su lugar. Este control es preciso, reproducible y funciona incluso cuando los diseños que se sugieren están cambiando rápidamente.

El equipo probó este enfoque en tres tipos diferentes de arquitecturas de red y en varios conjuntos de datos, simulando la búsqueda de modelos que pudieran ejecutarse en microcontroladores con memoria muy limitada. Encontraron que su sistema adaptativo podía descartar de forma segura entre el 25% y el 50% de los diseños propuestos sin siquiera entrenarlos, ahorrando una cantidad masiva de tiempo de computación. Crucialmente, esta poda no perjudicó la calidad final de la solución. De hecho, en un caso de prueba específico donde el mejor diseño era un pico raro e aislado en un vasto paisaje de opciones mediocres, los métodos antiguos fallaron repetidamente, descartando el mejor diseño. El nuevo método adaptativo lo encontró cada vez.

Los investigadores también descubrieron que el controlador "inteligente" que se suele utilizar para generar estos diseños no era en realidad la forma más eficiente de encontrar la mejor arquitectura. Cuando compararon un sofisticado controlador de aprendizaje contra una simple búsqueda aleatoria, la búsqueda aleatoria funcionó igual de bien, si no mejor, en muchos casos. El controlador era bueno para encontrar diseños promedio, pero tendía a quedarse atrapado en áreas locales y perdía los más raros y perfectos. El verdadero valor del nuevo método, descubrieron, no residía en el controlador en sí, sino en el filtro calibrado que gestionaba el presupuesto. Al utilizar el filtro adaptativo como una guía de hacia dónde mirar a continuación, en lugar de solo como un guardián, pudieron dirigir la búsqueda directamente hacia las mejores soluciones. Esta "optimismo calibrado" permitió al sistema explorar diseños prometedores pero no probados con un nivel de riesgo conocido, superando a la suposición aleatoria e incluso a algoritmos de planificación más complejos en entornos restringidos.

El estudio también analizó cómo se comportan estos filtros cuando la búsqueda construye un diseño capa por capa, en lugar de todo a la vez. Encontraron que una única regla global para el filtrado a menudo no lograba dar cuenta de las dificultades específicas de las diferentes etapas de la construcción. Por ejemplo, una regla que funcionaba bien para las partes iniciales y superficiales de una red podía ser demasiado laxa o demasiado estricta para las partes profundas y complejas. Al aplicar su método adaptativo por separado a cada etapa de la construcción, pudieron asegurar que la garantía de seguridad se mantuviera verdadera en cada paso, independientemente de qué tan profunda hubiera crecido la red. Este control granular evitó que el sistema cometiera errores sistemáticos que habrían pasado desapercibidos con un enfoque de talla única.

En última instancia, este trabajo demuestra que en el juego de alto riesgo de diseñar inteligencia artificial para dispositivos limitados, la herramienta más importante no es necesariamente un predictor más inteligente, sino uno más honesto. Los métodos antiguos dependían de suposiciones sobre cómo se comportarían los datos, suposiciones que se rompían por el propio acto de aprender. El nuevo método abandona esas suposiciones. En su lugar, se basa en una verificación continua y libre de distribución contra la realidad, ajustando su nivel de confianza momento a momento. Demuestra que se puede tener un proceso de búsqueda que sea tanto eficiente como seguro, uno que sepa exactamente cuánto riesgo está tomando y que pueda sintonizarse para tomar más o menos, simplemente girando un dial. Este cambio de las reglas estáticas al control dinámico y autocorrectivo ofrece un camino robusto hacia la construcción de la próxima generación de dispositivos inteligentes con recursos limitados.

Resumen Técnico: Cobertura que puedes dirigir: Calibración Conformal en Línea para NAS Consciente del Hardware Impulsado por RL

Planteamiento del Problema
La Búsqueda de Arquitectura Neuronal Consciente del Hardware (HW-NAS) está limitada por el alto coste de la evaluación de candidatos, donde cada arquitectura propuesta requiere entrenamiento para determinar su recompensa. Para mitigar esto, trabajos previos (p. ej., MARCO) utilizan filtros de predicción conformal para podar candidatos poco prometedores antes del entrenamiento. Estos filtros dependen de un predictor sustituto y un desfase (offset) conformal para establecer un límite superior sobre la recompensa real, garantizando que los candidatos con límites por debajo de un umbral sean descartados con una probabilidad de error controlada ( $\delta$ ).

Sin embargo, la predicción conformal estándar asume intercambiabilidad entre el conjunto de calibración y los candidatos de prueba. En el NAS impulsado por Aprendizaje por Refuerzo (RL), esta suposición se viola por construcción:

Deriva de la Política (Policy Drift): A medida que el controlador de RL aprende, la distribución de las arquitecturas propuestas se desplaza de la distribución inicial de calentamiento utilizada para la calibración.
Desplazamiento dentro del Episodio (Within-Episode Shift): En la búsqueda secuencial, capa por capa, la distribución de las redes parciales cambia rápidamente dentro de un mismo episodio a medida que aumenta la profundidad.

Consecuentemente, los filtros conformales estáticos sufren una "degradación silenciosa": su cobertura realizada se desvincula de la cobertura objetivo solicitada ( $1-\delta$ ), lo que provoca tanto evaluaciones desperdiciadas (sobrecobertura) como el descarte falso de arquitecturas óptimas (subcobertura). La recalibración periódica mitiga la varianza, pero no logra restaurar el control ni corregir los sesgos dependientes de la profundidad.

Metodología
El artículo propone reemplazar la estimación de cuantiles estática con Inferencia Conformal Adaptativa (ACI) y extenderla con varias variantes para manejar la naturaleza no estacionaria de la búsqueda por RL.

Inferencia Conformal Adaptativa (ACI): En lugar de un desfase fijo, el método emplea un control de retroalimentación en línea. Después de cada evaluación real, el desfase conformal ( $\alpha_t$ ) se actualiza mediante un paso de subgradiente basado en el indicador de falta de cobertura:
$\alpha_{t+1} = \alpha_t + \gamma (\mathbb{I}\{r_t > g(x_t) + \alpha_t\} - \delta)$
Esto asegura que la cobertura a largo plazo converja al objetivo $1-\delta$ para secuencias arbitrarias de candidatos, independientemente de los cambios de distribución o la falta de intercambiabilidad.
AgACI (Libre de Ajuste): Para eliminar la necesidad de ajustar manualmente el tamaño del paso ( $\gamma$ ), los autores agregan múltiples expertos ACI (cada uno con un $\gamma$ diferente) utilizando el algoritmo exponencial de ponderación (algoritmo Hedge), creando un filtro robusto y libre de parámetros.
Conformal Normalizado (Localmente Adaptativo): Para permitir la exploración (adquisición), el método normaliza las puntuaciones de no conformidad mediante una estimación de dificultad por candidato ( $u(x)$ ) derivada de un sustituto secundario. Esto produce anchos de intervalo $U(x) = g(x) + q \cdot u(x)$ , permitiendo que el límite clasifique a los candidatos por incertidumbre, no solo por la recompensa predicha.
Conformal Mondrian (Condicional por Grupos): Para abordar los desplazamientos de profundidad dentro del episodio, el método mantiene desfases ACI separados para diferentes grupos (p. ej., profundidad de capa). Esto proporciona garantías de cobertura condicionales a la profundidad específica de construcción, corrigiendo desequilibrios sistemáticos donde los desfases globales fallan.
Adquisición Conformal: El límite optimista calibrado se reutiliza como una función de adquisición. Los autores implementan:
- Adquisición Codiciosa (Greedy): Selección del candidato con el límite optimista más alto de un conjunto muestreado.
- MCTS Conformal-Optimista: Uso del límite calibrado para valorar los nodos hoja en una Búsqueda en Árbol de Monte Carlo (MCTS), permitiendo una planificación extensa sin costes de entrenamiento reales.

Contribuciones Clave

Filtrado Adaptativo bajo Deriva de la Política: El artículo demuestra que ACI restaura la "cobertura dirigible" en el NAS impulsado por RL. A diferencia de las líneas base estáticas, el filtro adaptativo rastrea los niveles de cobertura solicitados ( $1-\delta$ ) con una precisión de $\sim 10^{-3}$ en tres familias de arquitecturas (LeNet, ResNet, MobileNet) y en formulaciones de búsqueda tanto de un solo paso como secuenciales. Poda entre el 25% y el 50% de las evaluaciones sin pérdida medible en la calidad de la solución.
Extensiones Condicionales para Búsqueda Estructurada: Los autores muestran que la calibración marginal puede ocultar errores sistemáticos (p. ej., subcobertura en capas profundas). La construcción de Mondrian corrige esto, logrando una cobertura condicional al grupo allí donde la búsqueda visita una profundidad con la frecuencia suficiente para calibrarla.
De la Poda a la Búsqueda: El límite optimista se utiliza con éxito como un mecanismo de búsqueda directa. La adquisición codiciosa optimista supera a la búsqueda aleatoria y al propio controlador de RL en un banco de pruebas restringido, dado que la calibración en línea proporciona una reducción significativa de la varianza en comparación con el optimismo fijo.
Análisis Independiente del Controlador: El estudio revela que el controlador de RL (reproducido fielmente de MARCO) no supera a la búsqueda aleatoria en estos espacios porque optimiza la recompensa esperada en lugar del argmax. El valor del método propuesto reside en el límite calibrado en sí mismo, que gestiona el presupuesto de evaluación de manera efectiva independientemente del mecanismo de propuesta.

Resultados Experimentales

Calibración y Dirigibilidad: A través de tres conjuntos de datos (MNIST, CIFAR-10, CIFAR-100), los filtros adaptativos y AgACI logran una cobertura monotónica y reproducible. En contraste, las líneas base de split-conformal estáticas no son dirigibles (la cobertura no se mueve con $\delta$ ) y exhiben una alta varianza entre semillas. Una línea base de Procesos Gaussianos (GP) está confiadamente mal calibrada, con una cobertura realizada fijada cerca de 0.99 independientemente del nivel solicitado.
Calidad de la Solución: En paisajes con óptimos aislados (tipo ResNet), los filtros estáticos descartan falsamente la mejor arquitectura en cada semilla debido a la mala calibración. Los filtros adaptativos preservan la mejor solución mientras podan entre el 25% y el 50% de los candidatos.
Cobertura Condicional por Profundidad: En la búsqueda secuencial, el ACI global presenta subcobertura en profundidades extremas (superficiales o profundas, dependiendo de la familia). La adaptación de Mondrian restaura la cobertura al objetivo para todas las profundidades bien muestreadas.
Eficiencia de Búsqueda: En un banco de pruebas restringido (presupuesto de memoria de 256 kB), la adquisición conforme codiciosa supera a la búsqueda aleatoria y al controlador de RL en todos los presupuestos de evaluación hasta 1,000. La ganancia es impulsada principalmente por el optimismo del límite, siendo la calibración en línea la que añade una ventaja final y reduce la varianza en aproximadamente $\times 6$ .

Significación y Reivindicaciones
El artículo argumenta que, dentro de los bucles de aprendizaje, la incertidumbre debe ser verificada contra los resultados en lugar de asumida de un modelo. La contribución principal es una maquinaria de calibración libre de distribución y controlada por retroalimentación que sobrevive a la no estacionariedad de la búsqueda por RL.

Los autores afirman que:

Se restaura la dirigibilidad: Los profesionales pueden ajustar un nivel de riesgo objetivo ( $\delta$ ) y recibirlo de forma monótona y reproducible, una capacidad perdida en los filtros estáticos.
El controlador no es el cuello de botella: El valor de los métodos de HW-NAS en estos espacios no reside en la política aprendida (que a menudo falla en superar a la búsqueda aleatoria), sino en la gestión eficiente y segura del presupuesto de evaluación mediante límites calibrados.
La adquisición es viable: El mismo mecanismo calibrado que controla las evaluaciones puede dirigirlas, ofreciendo un análogo libre de distribución a GP-UCB que no sufre de mala calibración basada en modelos bajo la deriva.

El artículo mantiene la modestia respecto a sus limitaciones, señalando que el modelo de coste de hardware es analítico (no calibrado para el dispositivo), los resultados dependen de proxies de entrenamiento parcial, y las garantías condicionales por profundidad se degradan cuando grupos específicos (p. ej., capas muy profundas) carecen de suficientes datos. La evidencia para la búsqueda dirigida está actualmente limitada a un único banco de pruebas restringido.

Más como este