Benign interpolation and Occam's razor
Este artículo sostiene que los intentos recientes por explicar el éxito de la generalización de los modelos de aprendizaje profundo de interpolación mediante una apelación a la navaja de Occam crean una brecha explicativa al confundir propiedades no probadas de modelos individuales con la conexión rigurosa y respaldada por teoremas entre la simplicidad de la clase de modelos y la generalización hallada en la teoría del aprendizaje clásica.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás intentando enseñarle a un robot a reconocer fotos de gatos y perros. Le muestras miles de fotos y aprende a distinguir la diferencia. En los viejos tiempos de la informática, existía una regla de oro llamada "la Navaja de Occam". Básicamente decía: "Mantén las cosas simples". Si dos teorías explican los datos, elige la más sencilla. ¿Por qué? Porque si un modelo se vuelve demasiado complejo, empieza a memorizar las fotos de entrenamiento como un loro en lugar de aprender realmente cómo es un gato. Esto se llama "sobreajuste" (overfitting), y es un desastre. Si el robot ve una foto nueva, falla porque estaba demasiado ocupado memorizando las anteriores.
Durante décadas, los científicos usaron esta regla para construir una IA segura y fiable. Creían que para hacer un robot inteligente, tenías que limitar su capacidad cerebral para que no se confundiera. Pero luego, algo extraño sucedió. La IA moderna, específicamente el "aprendizaje profundo" (deep learning), empezó a romper todas las reglas. Estos nuevos robots tienen cerebros tan enormes que pueden memorizar cada una de las fotos de entrenamiento perfectamente, incluso si se mezclan las etiquetas y se les dice que un gato es una tostadora. Según todas las reglas antiguas, deberían ser terribles adivinando fotos nuevas. Sin embargo, son increíbles en ello. Ajustan los datos desordenados a la perfección pero siguen prediciendo el futuro correctamente. Este extraño fenómeno se llama "interpolación benigna", y ha dejado a los científicos rascándose la cabeza, preguntándose cómo un robot puede ser un memorizador perfecto y un predictor brillante al mismo tiempo.
Este artículo, escrito por Tom F. Sterkenburg, Daniel A. Herrmann y Jan-Willem Romeijn, se sumerge en este misterio para ver si las nuevas explicaciones de este milagro se sostienen. Los autores actúan esencialmente como detectives, investigando una nueva teoría popular que ha surgido para explicar por qué estos modelos de IA gigantes funcionan tan bien.
La nueva teoría sugiere que, aunque estos modelos de IA son enormes y complejos, la forma en que aprenden (usando un método llamado "descenso de gradiente estocástico") los empuja secretamente hacia la solución más "simple" entre todos los ajustes perfectos. Es como un excursionista que tiene un millón de caminos para elegir para llegar a una cima; la teoría afirma que las botas del excursionista lo guían naturalmente por el sendero más suave y directo, ignorando los senderos escarpados y rocosos. Los defensores de esta idea llaman a esto un "sesgo de simplicidad" y dicen que es una versión moderna de la Navaja de Occam salvando el día. Argumentan que la IA elige el modelo más simple que se ajuste a los datos, razón por la cual generaliza tan bien.
Sin embargo, los autores de este artículo argumentan que esta explicación tiene un enorme vacío. Señalan que la antigua "Navaja de Occam" era una regla matemáticamente probada sobre grupos de modelos (clases de modelos). Demostraba que si eliges un grupo de modelos pequeño y simple, tienes garantizado un buen resultado. Pero la nueva teoría habla de modelos individuales. Dice: "Este modelo específico es simple porque tiene una 'norma' baja (una medida matemática de tamaño) o es 'suave'".
El problema, explican los autores, es que no existe una prueba matemática que conecte la simplicidad de un modelo individual con su capacidad para predecir el futuro. En los viejos tiempos, las matemáticas garantizaban que los grupos simples funcionaban. En la nueva historia, los autores afirman que los científicos simplemente están llamando a estos modelos específicos "simples" y esperando que el nombre "Navaja de Occam" haga el trabajo pesado por ellos. Es como decir: "Esta roca es una piedra mágica porque yo la llamé piedra mágica", sin ninguna prueba de que las piedras mágicas realmente existan.
El artículo sugiere que, si bien estas nuevas ideas son interesantes, dejan un vacío. No han demostrado realmente por qué elegir un modelo individual "simple" conduce a buenas predicciones. Los autores argumentan que la nueva teoría es esencialmente una suposición grande y no probada: que el mundo está lleno de patrones simples que estos modelos de IA encuentran por casualidad. No dicen que esta suposición sea errónea, pero insisten en que las explicaciones actuales son solo conjeturas. Están usando el nombre de un principio famoso (la Navaja de Occam) para hacer que una gran suposición parezca un hecho científico sólido.
Entonces, ¿cuál es el veredicto? El artículo no dice que la nueva IA esté rota; dice que aún no entendemos completamente por qué funciona. Los autores sugieren que tal vez la respuesta no sea una regla universal sobre la simplicidad, sino algo más específico de los datos que recolectamos o de las tareas específicas que le pedimos a la IA. Hasta que alguien pueda demostrar la conexión entre "modelos individuales simples" y "buenas predicciones", el misterio de la interpolación benigna seguirá siendo eso: un misterio. La nueva teoría es una pista prometedora, pero no es la respuesta definitiva.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.