How Complexity Contributes to Learning Opacity in Machine Learning

Résumé technique : Comment la complexité contribue à l'opacité de l'apprentissage dans le machine learning

Énoncé du problème
Le machine learning (ML), particulièrement les réseaux de neurones (RN), est caractérisé par une « opacité ». Bien qu'une attention considérable ait été portée à l'opacité de la prédiction (l'incapacité de comprendre pourquoi une prédiction spécifique a été faite), l'opacité de l'apprentissage reste sous-explorée. L'opacité de l'apprentissage est définie ici comme l'absence de compréhension des phénomènes dynamiques de l'évolution des poids d'un RN pendant le processus d'entraînement. Même les chercheurs ayant un accès total à l'algorithme d'apprentissage, au code source et aux données d'entraînement ne peuvent souvent pas expliquer comment des configurations de poids spécifiques sont induites ou pourquoi certains phénomènes d'entraînement (par exemple, le surapprentissage bénin, le grokking, la saturation) se produisent. Le document pose l'hypothèse que cette opacité n'est pas simplement le résultat d'un accès limité ou de limitations cognitives, mais qu'elle découle des propriétés intrinsèques du processus d'apprentissage lui-même.

Méthodologie et cadre conceptuel
Les auteurs utilisent une analyse conceptuelle à travers le prisme des systèmes dynamiques complexes issus des sciences naturelles. Ils soutiennent que l'apprentissage des RN est essentiellement un système complexe et que l'opacité de l'apprentissage provient de la complexité dynamique inhérente au processus d'optimisation.

La méthodologie comprend :

1. Une mise en correspondance de l'apprentissage des RN avec les systèmes dynamiques : Les auteurs établissent une analogie où les valeurs de poids des RN correspondent à des micro-états, l'algorithme d'apprentissage (par exemple, la descente de gradient) régit l'évolution temporelle, et les données d'entraînement représentent le contexte externe.
2. L'identification de trois propriétés clés : En s'appuyant sur la science de la complexité, le document isole trois caractéristiques de la dynamique complexe qui limitent la compréhension dans les sciences naturelles et examine leur présence dans l'entraînement des RN :
   • La dépendance sensible aux conditions initiales (SI).
   • La rétroaction (F).
   • La sensibilité au contexte (CS).
3. Une analyse épistémologique : Pour chaque propriété, le document analyse comment elle limite la « compréhension » dans les sciences naturelles (souvent via la modélisation dynamique) et compare cela aux défis épistémologiques spécifiques qu'elle crée pour les chercheurs en ML.

Contributions clés et résultats

1. Dépendance sensible aux conditions initiales (SI)

• Contexte des sciences naturelles : Dans les systèmes complexes, la SI (souvent associée à la non-linéarité) signifie que de petits changements dans les états initiaux mènent à des résultats radicalement différents. Cela empêche la construction de représentations déterministes adéquates, forçant le recours à l'inférence statistique et à l'observation empirique, ce qui introduit de l'incertitude.
• Application à l'apprentissage des RN : L'entraînement des RN présente une SI concernant la stratégie d'initialisation des poids. De petits changements dans les paramètres de la distribution de probabilité utilisés pour initialiser les poids (par exemple, la variance des distributions gaussiennes) peuvent entraîner des différences significatives dans la vitesse de convergence, la performance de généralisation, ou même causer l'échec de la convergence du réseau.
• Contribution à l'opacité : Contrairement aux sciences naturelles où la SI force un passage à l'étude empirique, les chercheurs en ML ont déjà un accès total au système. Cependant, la SI limite la compréhension pragmatique. Les chercheurs ne peuvent pas anticiper qualitativement les conséquences d'une stratégie d'initialisation spécifique avant l'entraînement. Par conséquent, la sélection de l'initialisation « correcte » repose souvent sur des conjectures plutôt que sur des directives fondées, entravant la capacité de contrôler ou de prédire la trajectoire d'apprentissage.

2. Rétroaction (F)

• Contexte des sciences naturelles : La rétroaction implique des dépendances mutuelles où les propriétés globales du système contraignent la dynamique au niveau micro, laquelle influence à son tour ces propriétés globales. Cela brouille l'ordre causal et empêche souvent la dérivation de fonctions d'évolution temporelle analytiques pour les micro-états, nécessitant l'usage de simulations informatiques. Ces simulations introduisent une « opacité épistémique » car les agents humains ne peuvent pas suivre chaque étape de calcul.
• Application à l'apprentissage des RN : Dans l'optimisation basée sur le gradient, une boucle de rétroaction existe entre les mises à jour de poids au niveau micro et le gradient de perte du système global. La mise à jour d'un poids individuel dépend du gradient, lequel est calculé sur la base de la configuration actuelle de l'ensemble du réseau. Inversement, modifier un poids individuel altère le gradient global.
• Contribution à l'opacité : Cette rétroaction empêche une représentation théorique traitable de la dynamique fine des poids. Comme les solutions analytiques sont souvent impossibles à dériver, la recherche en ML repose lourdement sur des approches empiriques et l'inférence statistique. Le document soutient que l'opacité ici provient des défis épistémologiques de cette perspective inductive (par exemple, le biais expérimental, les concepts mal définis et la difficulté de satisfaire les hypothèses théoriques pour les tests statistiques), plutôt que de l'opacité de la simulation elle-même. Cela mène à des problèmes de reproductibilité et à un manque de compréhension théorique profonde du processus d'optimisation.

3. Sensibilité au contexte (CS)

• Contexte des sciences naturelles : La CS fait référence à la dépendance d'un système vis-à-vis des conditions environnementales externes. Dans les systèmes hautement sensibles au contexte (comme la biologie), les généralisations sont moins stables, réduisant le degré d'unification des explications scientifiques. Les explications nécessitent des schémas d'argumentation plus spécifiques pour différents contextes, diminuant ainsi la puissance des généralisations larges.
• Application à l'apprentissage des RN : La dynamique d'apprentissage des RN est sensible à la distribution des données d'entraînement et à l'ordre dans lequel les données sont présentées (par exemple, l'apprentissage par curriculum). De petits changements dans l'ordre ou la distribution des données peuvent modifier la vitesse de convergence et la performance de généralisation.
• Contribution à l'opacité : La CS affecte la compréhension pragmatique en rendant difficile l'anticipation des effets qualitatifs des variations de données (par exemple, dans l'entraînement adversarial, des perturbations imperceptibles peuvent radicalement changer les résultats de l'apprentissage). Concernant l'unification, le document note que si la CS réduit probablement le degré d'unification des explications de l'apprentissage des RN, cela reste une question ouverte car aucune étude n'a encore analysé la robustesse des schémas explicatifs à travers différentes distributions de données d'entraînement.

Signification et revendications
Le document conclut que l'opacité de l'apprentissage est irréductible dans le sens où elle est une caractéristique structurelle du processus d'apprentissage. Les trois propriétés identifiées (SI, F et CS) sont fondamentales à la manière dont les systèmes de ML apprennent ; tenter d'atténuer ou d'éliminer ces propriétés modifierait fondamentalement la nature du ML.

• Nature de l'opacité : L'opacité n'est pas due à un manque d'accès au mécanisme (puisque les chercheurs ont une transparence totale du code) mais est intrinsèque à la complexité du système dynamique.
• Implications pour l'XAI (IA explicable) : Les auteurs suggèrent que construire simplement des algorithmes interprétables dès le départ peut ne pas résoudre le problème si les dynamiques d'apprentissage sous-jacentes restent complexes.
• Directions futures : Le document propose que les cadres développés pour étudier les systèmes naturels complexes (par exemple, déterminer les niveaux appropriés de grossissement/coarse-graining) puissent offrir des approches précieuses pour analyser les systèmes de ML. Cependant, il précise modestement que le plein potentiel de la vision du ML comme un système complexe reste un domaine ouvert pour la recherche future.

En résumé, le document soutient que la difficulté à comprendre l'apprentissage des RN est une conséquence directe des propriétés de dynamique complexe inhérentes au processus d'optimisation, créant des barrières épistémologiques qui sont intrinsèques au domaine plutôt que de simples obstacles techniques.