How Complexity Contributes to Learning Opacity in Machine Learning

Resumen Técnico: Cómo la complejidad contribuye a la opacidad del aprendizaje en el aprendizaje automático

Declaración del problema
El aprendizaje automático (ML), particularmente las redes neuronales (NN), se caracteriza por su "opacidad". Mientras que se ha prestado una atención significativa a la opacidad de la predicción (la incapacidad de comprender por qué se realizó una predicción específica), la opacidad del aprendizaje sigue siendo un tema poco explorado. La opacidad del aprendizaje se define aquí como la falta de comprensión de los fenómenos dinámicos de la evolución de los pesos de la NN durante el proceso de entrenamiento. Incluso los investigadores con acceso total al algoritmo de aprendizaje, al código fuente y a los datos de entrenamiento, a menudo no pueden explicar cómo se inducen configuraciones de pesos específicas o por qué ocurren ciertos fenómenos de entrenamiento (por ejemplo, el sobreajuste benigno, el grokking, la saturación). El artículo postula que esta opacidad no es simplemente un resultado de un acceso limitado o de limitaciones cognitivas, sino que surge de las propiedades intrínsecas del propio proceso de aprendizaje.

Metodología y marco conceptual
Los autores emplean un análisis conceptual utilizando la lente de los sistemas dinámicos complejos de las ciencias naturales. Argumentan que el aprendizaje de las NN es esencialmente un sistema complejo y que la opacidad del aprendizaje surge de la complejidad dinámica inherente al proceso de optimización.

La metodología consiste en:

1. Mapear el aprendizaje de las NN al sistema dinámico: Los autores establecen una analogía donde los valores de los pesos de la NN corresponden a microestados, el algoritmo de aprendizaje (por ejemplo, el descenso de gradiente) gobierna la evolución temporal, y los datos de entrenamiento representan el contexto externo.
2. Identificar tres propiedades clave: Basándose en la ciencia de la complejidad, el artículo aísla tres características fundamentales de la dinámica compleja que limitan la comprensión en las ciencias naturales e investiga su presencia en el entrenamiento de las NN:
   • Dependencia sensible de las condiciones iniciales (SI).
   • Retroalimentación (F).
   • Sensibilidad al contexto (CS).
3. Análisis epistemológico: Para cada propiedad, el artículo analiza cómo esta limita la "comprensión" en las ciencias naturales (a menudo mediante el modelado dinámico) y compara esto con los desafíos epistemológicos específicos que crea para los investigadores de ML.

Contribuciones clave y resultados

1. Dependencia sensible de las condiciones iniciales (SI)

• Contexto de las ciencias naturales: En los sistemas complejos, la SI (asociada a menudo con la no linealidad) significa que pequeños cambios en los estados iniciales conducen a resultados drásticamente diferentes. Esto impide la construcción de representaciones deterministas adecuadas, obligando a depender de la inferencia estadística y la observación empírica, lo que introduce incertidumbre.
• Aplicación al aprendizaje de las NN: El entrenamiento de las NN exhibe SI con respecto a la estrategidad de inicialización de pesos. Pequeños cambios en los parámetros de la distribución de probabilidad utilizada para inicializar los pesos (por ejemplo, la varianza en las distribuciones gaussianas) pueden conducir a diferencias significativas en la velocidad de convergencia, el rendimiento de la generalización, o incluso causar que la red no logre converger por completo.
• Contribución a la opacidad: A diferencia de las ciencias naturales donde la SI obliga a un cambio hacia el estudio empírico, los investigadores de ML ya tienen acceso total al sistema. Sin embargo, la SI limita la comprensión pragmática. Los investigadores no pueden anticipar cualitativamente las consecuencias de una estrategia de inicialización específica antes del entrenamiento. En consecuencia, la selección de la inicialización "correcta" suele depender de conjeturas en lugar de directrices fundamentadas, lo que dificulta la capacidad de controlar o predecir la trayectoria de aprendizaje.

2. Retroalimentación (F)

• Contexto de las ciencias naturales: La retroalimentación implica dependencias mutuas donde las propiedades de todo el sistema restringen la dinámica a microescala, las cuales a su vez influyen en dichas propiedades del sistema. Esto desdibuja el orden causal y a menudo impide la derivación de funciones analíticas de evolución temporal para los microestados, lo que requiere el uso de simulaciones computacionales. Estas simulaciones introducen una "opacidad epistémica" porque los agentes humanos no pueden rastrear cada paso computacional.
• Aplicación al aprendizaje de las NN: En la optimización basada en gradientes, existe un bucle de retroalimentación entre las actualizaciones de pesos a microescala y el gradiente de pérdida de todo el sistema. La actualización de un peso individual depende del gradiente, el cual se calcula basándose en la configuración de pesos actual de toda la red. Inversamente, cambiar un peso individual altera el gradiente global.
• Contribución a la opacidad: Esta retroalimentación impide una representación teórica tratable de la dinámica detallada de los pesos. Debido a que las soluciones analíticas suelen ser imposibles de derivar, la investigación en ML depende fuertemente de enfoques empíricos e inferencia estadística. El artículo argumenta que la opacidad aquí surge de los desafíos epistemológicos de esta perspectiva inductiva (por ejemplo, el sesgo experimental, los conceptos mal definidos y la dificultad de satisfacer los supuestos teóricos para las pruebas estadísticas), más que de la opacidad de la simulación en sí. Esto conduce a problemas de reproducibilidad y a una falta de conocimiento teórico profundo sobre el proceso de optimización.

3. Sensibilidad al contexto (CS)

• Contexto de las ciencias naturales: La CS se refiere a la dependencia de un sistema respecto a las condiciones ambientales externas. En sistemas altamente sensibles al contexto (como la biología), las generalizaciones son menos estables, lo que reduce el grado de unificación en las explicaciones científicas. Las explicaciones requieren patrones de argumentación más específicos para diferentes contextos, lo que disminuye el poder de las generalizaciones amplias.
• Aplicación al aprendizaje de las NN: La dinámica de aprendizaje de las NN es sensible a la distribución de los datos de entrenamiento y al orden en que se presentan los datos (por ejemplo, el aprendizaje por currículo). Pequeños cambios en el orden o la distribución de los datos pueden alterar la velocidad de convergencia y el rendimiento de la generalización.
• Contribución a la opacidad: La CS afecta la comprensión pragmática al dificultar la anticipación de los efectos cualitativos de las variaciones de los datos (por ejemplo, en el entrenamiento adversarial, perturbaciones imperceptibles pueden cambiar drásticamente los resultados del aprendizaje). Respecto a la unificación, el artículo señala que, si bien la CS probablemente reduce el grado de unificación en las explicaciones del aprendizaje de las NN, esto sigue siendo una cuestión abierta, ya que ningún estudio ha analado aún la robustez de los esquemas explicativos a través de diferentes distribuciones de datos de entrenamiento.

Significado y afirmaciones
El artículo concluye que la opacidad del aprendizaje es irreducible en el sentido de que es una característica estructural del proceso de aprendizaje. Las tres propiedades identificadas (SI, F y CS) son fundamentales para la forma en que aprenden los sistemas de ML; intentar mitigar o eliminar estas propiedades alteraría fundamentalmente la naturaleza del aprendizaje automático.

• Naturaleza de la opacidad: La opacidad no se debe a una falta de acceso al mecanismo (ya que los investigadores tienen total transparencia del código), sino que es intrínseca a la complejidad del sistema dinámico.
• Implicaciones para la XAI (IA Explicable): Los autores sugieren que construir algoritmos interpretables desde el inicio puede no resolver el problema si la dinámica de aprendizaje subyacente sigue siendo compleja.
• Direcciones futuras: El artículo propone que los marcos desarrollados para estudiar sistemas naturales complejos (por ejemplo, determinar niveles apropiados de granularidad gruesa o coarse-graining) pueden ofrecer enfoques valiosos para analizar los sistemas de ML. Sin embargo, establece modestamente que el pleno potencial de ver el aprendizaje de ML como un sistema complejo sigue siendo un campo abierto para la investigación futura.

En resumen, el artículo sostiene que la dificultad para comprender el aprendizaje de las redes neuronales es una consecuencia directa de las propiedades de los sistemas dinámicos complejos inherentes al proceso de optimización, creando barreras epistemológicas que son intrínsecas al campo en lugar de ser meros obstáculos técnicos.