Neural Architecture Search on Large Kernel Convolution Search Space for Computer Vision Tasks
Este artículo presenta LarKNAS, un nuevo método de Búsqueda de Arquitectura Neuronal que cuenta con un espacio de búsqueda de convolución de núcleo grande y una estrategia de estimación de gradiente eficiente que descubre modelos convolucionales de gran escala con un rendimiento comparable al de las arquitecturas diseñadas a mano, reduciendo significativamente los costos de búsqueda.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo de la visión artificial, las máquinas aprenden a ver procesando imágenes a través de capas de filtros matemáticos, de forma muy similar a como un ojo humano hace pasar la luz a través de una lente para enfocar una escena. Durante años, los diseños más exitosos para estos ojos digitales dependieron de filtros pequeños y repetitivos que examinaban diminutos fragmentos de una imagen a la vez. Si bien estos filtros pequeños funcionaban bien para tareas básicas, los investigadores empezaron a sospechar que estaban alcanzando un techo al intentar construir modelos lo suficientemente grandes como para comprender escenas complejas, como una calle concurrida o un paisaje vasto. La sabiduría predominante sugería que, para hacer estos sistemas más inteligentes, simplemente era necesario hacerlos más grandes o más profundos, apilando más capas de estos filtros pequeños. Sin embargo, este enfoque a menudo conducía a rendimientos decrecientes, donde añadir más potencia de cálculo solo producía mejoras ínfimas en la precisión. Surgió la pregunta: quizás el problema no era el tamaño de la máquina, sino el tamaño de las herramientas que utilizaba para mirar al mundo.
Un equipo de investigadores de la Universidad de Ingeniería de la Información de la PLA se propuso desafiar esta suposición diseñando un nuevo método para descubrir automáticamente mejores formas de ver para las computadoras. Se centraron en un tipo específico de filtro conocido como núcleo convolucional (convolutional kernel), que es la herramienta matemática que escanea una imagen para detectar características como bordes o texturas. Mientras que los diseños modernos se habían asentado mayoritariamente en el uso de núcleos muy pequeños, los investigadores hipotetizaron que el uso de núcleos mucho más grandes podría permitir que la máquina viera un contexto más amplio de un solo vistazo, de forma similar a cómo un humano podría dar un paso atrás para ver el cuadro completo en lugar de centrarse en un solo ladrillo. Para probar esto, desarrollaron un sistema llamado LarKNAS, que significa Búsqueda de Espacio de Núcleos de Convolución de Gran Tamaño en la Búsqueda de Arquitectura Neuronal (Neural Architecture Search on Large Kernel Convolution Search Space). Este sistema no depende de la intuición humana para elegir el mejor diseño; en su lugar, actúa como un arquitecto automatizado, probando miles de combinaciones diferentes de estos filtros grandes para encontrar la estructura más eficiente y poderosa.
Los investigadores se enfrentaron a un obstáculo significativo: buscar el mejor diseño entre una gama tan vasta de posibilidades es increíblemente costoso en términos de tiempo y potencia de cálculo. Los métodos tradicionales a menudo requieren probar cada diseño uno por uno, un proceso que puede tomar miles de días de tiempo de computación. Para resolver esto, el equipo creó una nueva estrategia de búsqueda que estima el potencial de un diseño sin tener que entrenarlo completamente primero. Observaron cómo cambiaban las señales matemáticas dentro de la red mientras aprendía, utilizando la fuerza promedio y la consistencia de estas señales para predecir qué diseños funcionarían mejor. Esto les permitió navegar por el espacio de búsqueda mucho más rápido que los métodos anteriores, filtrando eficazmente los diseños deficientes de forma temprana y concentrando los recursos en los candidatos más prometedores.
El espacio de búsqueda que construyeron no se trataba solo de hacer los filtros más grandes; se trataba de organizarlos inteligentemente. Diseñaron una estructura donde diferentes partes de la red utilizaban diferentes tamaños de filtros. Las capas iniciales, que manejan detalles simples como los bordes, utilizaron filtros pequeños, mientras que las capas intermedias, responsables de comprender formas y relaciones complejas, utilizaron filtros muy grandes, algunos de hasta cincuenta y un píxeles de ancho. También introdujeron una forma de hacer que estos filtros grandes fueran más eficientes mediante la creación de filtros "dispersos" (sparse), lo que significa que solo procesaban una selección de los puntos de datos en lugar de cada uno de ellos, ahorrando energía mientras mantenían la capacidad de ver largas distancias a través de la imagen. Este enfoque dio como resultado una familia de modelos que podían escalarse hacia arriba o hacia abajo según la tarea, desde versiones ligeras para dispositivos móviles hasta versiones masivas para servidores de alto rendimiento.
Cuando los investigadores probaron su mejor modelo encontrado, conocido como LarKNASNet-L, los resultados fueron impactantes. En el conjunto de datos ImageNet, un estándar de referencia para el reconocimiento de imágenes, el modelo alcanzó una precisión del 86,6 por ciento. Este rendimiento es comparable, y en algunos casos superior, a los mejores modelos diseñados a mano por expertos humanos, incluyendo aquellos basados en las arquitecturas de transformadores (transformers) más recientes que han dominado el campo recientemente. El modelo también destacó en otras tareas de visión, como la detección de objetos en imágenes y su segmentación en partes distintas, logrando puntuaciones máximas en los benchmarks de COCO y ADE20K. Quizás lo más importante es que el equipo logró estos resultados con un costo de búsqueda de solo 96 días de tiempo de computación en procesadores gráficos especializados. Esto es una fracción del costo requerido por otros métodos de búsqueda a gran escala, que a menudo consumen cientos de días para encontrar un modelo de tamaño similar.
El estudio descartó explícitamente la idea de que simplemente añadir más capas de filtros pequeños fuera el mejor camino a seguir para los modelos a gran escala. Al comparar sus resultados con otros métodos que dependían de técnicas de re-parametrización o núcleos grandes densos, los investigadores encontraron que su enfoque de usar núcleos grandes y dispersos dentro de una arquitectura por fases era superior. Demostraron que intentar usar métodos de re-parametrización, que combinan múltiples ramas de filtros, a menudo conducía a problemas de memoria que hacían imposible el proceso de búsqueda en hardware estándar. Sus hallazgos sugieren que la clave para desbloquear la próxima generación de modelos de visión artificial no reside solo en aumentar el número de parámetros, sino en repensar la geometría fundamental de cómo estos modelos procesan la información visual.
Las implicaciones de este trabajo se extienden más allá de las cifras de mayor precisión. Los investigadores demostraron que sus modelos desarrollaron una mejor comprensión de las formas de los objetos, en lugar de depender únicamente de la textura, un rasgo que se alinea más estrechamente con la visión humana. Esto sugiere que, al permitir que las máquinas miren porciones más grandes de una imagen a la vez, pueden formar una comprensión más robusta y humana del mundo visual. El éxito de LarKNAS indica que el campo de la visión artificial puede estar entrando en una nueva era donde el diseño del propio espacio de búsqueda —las reglas y herramientas utilizadas para encontrar el mejor modelo— es tan importante como el modelo que produce. Al demostrar que los núcleos grandes pueden buscarse de manera eficiente y efectiva, el equipo ha abierto una nueva puerta para la creación de sistemas visuales potentes, eficientes e inteligentes sin los costos prohibitivos que anteriormente habían limitado tal exploración.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.