Statistical learning theory and Occam's razor: Regularization

El dilema del detective: Por qué menos es a menudo más

Imagina que eres un detective intentando resolver un misterio, pero en lugar de pistas, tienes una montaña de datos. En el mundo de la ciencia y las computadoras, esto se llama aprendizaje automático (machine learning). El objetivo es enseñar a una computadora a encontrar patrones en los datos para que pueda hacer conjeturas inteligentes sobre cosas nuevas que no ha visto antes. Piensa en ello como enseñar a un perro a reconocer una "pelota" mostrándole mil pelotas diferentes. Si el perro aprende de forma demasiado estricta, podría pensar que solo esa pelota específica roja es una pelota, y perderse la azul. Si aprende de forma demasiado laxa, podría pensar que una galleta redonda es una pelota. Este acto de equilibrio es el corazón del problema.

Durante décadas, los científicos han debatido sobre una regla llamada la Navaja de Occam. Es una vieja idea que dice que cuando tienes dos explicaciones que se ajustan a los hechos con la misma eficacia, debes elegir la más simple. Pero, ¿por qué? ¿Es el universo naturalmente simple? ¿O es simplemente que las cosas simples son más fáciles de manejar? Esta ha sido una pregunta complicada tanto para filósofos como para científicos de la computación. Han intentado demostrar que los modelos simples son mejores, pero a menudo la prueba se sentía circular: asumir que el mundo es simple solo para demostrar que los modelos simples funcionan.

La gran idea del artículo: Cambiar el ajuste por una red de seguridad

Este artículo, escrito por Tom F. Sterkenburg, se sumerge en las matemáticas detrás del aprendizaje automático para encontrar una razón sólida y no circular para usar la Navaja de Occam. El autor no solo dice que "la simplicidad es buena"; utiliza un marco llamado Teoría del Aprendizaje Estadístico para mostrar que cambiar un poco de "ajuste perfecto" por mucha "simplicidad" es, en realidad, una estrategia de supervivencia inteligente para las computadoras.

Aquí está la historia de lo que encontró:

1. La trampa del ajuste perfecto
Imagina que estás intentando trazar una línea a través de una dispersión de puntos en un gráfico. Si tienes una regla muy flexible (un modelo complejo), puedes ondularla tan perfectamente que toque cada uno de los puntos. Se ajusta a los datos perfectamente. Pero aquí está el truco: si mañana recibes un nuevo conjunto de puntos, esa línea ondulada probablemente fallará en todos ellos. Memorizó el ruido (los garabatos aleatorios) en lugar del patrón. En el lenguaje del artículo, esto se llama sobreajuste (overfitting).

El artículo explica que si intentas usar el modelo más complejo posible (uno que puede ajustarse a cualquier cosa), pierdes la capacidad de confiar en tus resultados. Obtienes una garantía que dice: "Si tienes datos infinitos, podrías tener razón", pero en el mundo real, con datos limitados, esa garantía es inútil.

2. La promesa de "lo que ves es lo que obtienes"
El autor introduce un concepto llamado Convergencia Uniforme. Piensa en esto como una etiqueta de "veracidad publicitaria" para tu modelo. Promete que si tu modelo se ve bien con los datos que tienes (el conjunto de entrenamiento), es probable que se vea bien con datos nuevos (el conjunto de prueba).

Sin embargo, el artículo demuestra una regla estricta: solo puedes obtener esta promesa de "veracidad publicitaria" si limitas qué tan complejo se permite que sea tu modelo. Si tu modelo es demasiado flexible (demasiado complejo), la promesa se rompe. No puedes confiar en que lo que ves es lo que obtienes. Por lo tanto, la primera lección es: Mantén tu modelo lo suficientemente simple para que puedas confiar en tus resultados.

3. La verdadera magia: Minimización del Riesgo Estructural (SRM)
Pero espera, ¿y si la verdad es complicada? ¿Qué pasa si el patrón es realmente una línea ondulada y una línea recta (un modelo simple) simplemente no dará la talla? Si nos limitamos solo a modelos simples, podríamos perder la respuesta por completo. Este es el "intercambio entre sesgo y complejidad".

El descubrimiento principal del artículo es un método llamado Minimación del Riesgo Estructural (SRM). Esta es la forma en que la computadora juega de manera inteligente. En lugar de elegir un solo modelo y quedarse con él, el SRM observa toda una familia de modelos, que van desde muy simples hasta muy complejos.

Aquí está el truco ingenioso: el SRM no solo busca el modelo que mejor se ajusta a los datos. Busca el modelo que se ajusta a los datos lo suficientemente bien mientras se mantiene lo más simple posible. Añade una "penalización" por complejidad.

• Si un modelo complejo se ajusta ligeramente mejor que uno simple, pero la penalización por complejidad es enorme, el SRM dice: "No, gracias, quédate con el simple".
• Si un modelo complejo se ajusta mucho mejor, la penalización vale la pena, y el SRM dice: "Está bien, seamos complejos".

4. Por qué esto no es solo una suposición
El artículo argumenta que esto no es solo una suposición de suerte o un presentimiento filosófico. Es una justificación metodológica. El autor muestra que, incluso si no sabemos si el mundo es simple o complejo, usar esta estrategia de "intercambio" es la forma más inteligente de aprender.

Utiliza un concepto llamado "Suerte" (Luckiness). Imagina que estás apostando en una carrera de caballos.

• Si apuestas por un caballo simple y la carrera es realmente simple, ganas mucho.
• Si apuestas por un caballo simple y la carrera es compleja, pierdes, pero no mucho más de lo que habrías perdido si hubieras apostado ciegamente por un caballo complejo.
• Pero si apuestas por un caballo complejo y la carrera es simple, pierdes mucho porque sobrecomplicaste las cosas.

Al usar el SRM (el intercambio), te proteges contra el peor de los escenarios. Ganas mucho si tienes "suerte" (la verdad es simple), y no pierdes mucho si tienes "mala suerte" (la verdad es compleja).

5. Lo que el artículo dice que NO es
El autor es muy cuidadoso al decir lo que esto no es.

• No es una prueba de que el universo sea simple. No necesitamos creer que el mundo es simple para que esto funcione.
• No es solo una regla pragmática (como "las cosas simples son más fáciles de escribir"). Se trata de obtener una mejor precisión.
• No es una solución mágica para cada técnica moderna. El artículo admite que en el campo más reciente del "aprendizaje profundo" (deep learning), las cosas se vuelven extrañas (a veces modelos supercomplejos funcionan sorprendentemente bien), y esta matemática específica aún no explica completamente esos nuevos fenómenos.

La conclusión
Entonces, ¿por qué preferimos la simplicidad en el aprendizaje automático? Según este artículo, no es porque el universo sea simple. Es porque la simplicidad es una red de seguridad. Al cambiar un poco de "ajuste perfecto" por mucha "simplicidad", obtenemos una garantía matemática de que las conjeturas de nuestra computadora realmente funcionarán con datos nuevos. Es la diferencia entre memorizar un guion y comprender la historia. El artículo demuestra que este intercambio es la forma más confiable de aprender, ya sea que la verdad sea simple o complicada.