Statistical learning theory and Occam's razor: Regularization

Le dilemme du détective : Pourquoi moins est souvent plus

Imaginez que vous êtes un détective essayant de résoudre un mystère, mais qu'au lieu d'indices, vous avez une montagne de données. Dans le monde de la science et de l'informatique, c'est ce qu'on appelle l'apprentissage automatique (machine learning). Le but est d'apprendre à un ordinateur à trouver des motifs dans les données afin qu'il puisse faire des prédictions intelligentes sur de nouvelles choses qu'il n'a pas encore vues. Pensez à l'enseignement d'un chien pour qu'il reconnaisse une « balle » en lui montrant mille balles différentes. Si le chien apprend de manière trop stricte, il pourrait penser que seule cette balle rouge spécifique est une balle, et rater la bleue. S'il apprend de manière trop lâche, il pourrait penser qu'un biscuit rond est une balle. Cet équilibre est au cœur du problème.

Pendant des décennies, les scientifiques se sont disputés sur une règle appelée le Rasoir d'Ockham. C'est une vieille idée qui dit que lorsque vous avez deux explications qui s'ajustent aux faits de manière égale, vous devriez choisir la plus simple. Mais pourquoi ? L'univers est-il naturellement simple ? Ou est-ce simplement que les choses simples sont plus faciles à manipuler ? C'est une question complexe pour les philosophes comme pour les informaticiens. Ils ont essayé de prouver que les modèles simples sont meilleurs, mais souvent, la preuve semblait circulaire — supposant que le monde est simple juste pour prouver que les modèles simples fonctionnent.

La grande idée de l'article : Échanger la précision contre un filet de sécurité

Cet article, écrit par Tom F. Sterkenburg, plonge dans les mathématiques de l'apprentissage automatique pour trouver une raison solide et non circulaire d'utiliser le Rasoir d'Ockham. L'auteur ne se contente pas de dire que « la simplicité est bonne » ; il utilise un cadre appelé Théorie de l'apprentissage statistique pour montrer que troquer un peu de « correspondance parfaite » contre beaucoup de « simplicité » est en réalité une stratégie de survie intelligente pour les ordinateurs.

Voici l'histoire de ce qu'il a découvert :

1. Le piège de la perfection de l'ajustement
Imaginez que vous essayiez de tracer une ligne à travers un nuage de points sur un graphique. Si vous avez une règle très flexible (un modèle complexe), vous pouvez la faire onduler si parfaitement qu'elle touche chaque point. Elle s'ajuste parfaitement aux données. Mais voici le piège : si vous recevez un nouvel ensemble de points demain, cette ligne ondulée les manquera probablement tous. Elle a mémorisé le bruit (les oscillations aléatoires) au lieu du motif. Dans le langage de l'article, c'est ce qu'on appelle l'overfitting (surapprentissage).

L'article explique que si vous essayez d'utiliser le modèle le plus complexe possible (celui qui peut s'adapter à tout), vous perdez votre capacité à faire confiance à vos résultats. Vous obtenez une garantie qui dit : « Si vous avez des données infinies, vous pourriez avoir raison », mais dans le monde réel avec des données limitées, cette garantie est inutile.

2. La promesse du « Ce que vous voyez est ce que vous obtenez »
L'auteur introduit un concept appelé Convergence Uniforme. Voyez cela comme une étiquette de « vérité publicitaire » pour votre modèle. Elle promet que si votre modèle semble bon sur les données que vous avez (l'ensemble d'entraînement), il sera probablement bon sur de nouvelles données (l'ensemble de test).

Cependant, l'article prouve une règle stricte : vous ne pouvez obtenir cette promesse de « vérité publicitaire » que si vous limitez la complexité de votre modèle. Si votre modèle est trop flexible (trop complexe), la promesse se brise. Vous ne pouvez plus garantir que ce que vous voyez est ce que vous obtenez. La première leçon est donc : Gardez votre modèle suffisamment simple pour pouvoir faire confiance à vos résultats.

3. La vraie magie : La minimisation de l'risque structurel (SRM)
Mais attendez, et si la vérité est compliquée ? Et si le motif est réellement une ligne ondulée, et qu'une ligne droite (un modèle simple) ne suffit tout simplement pas ? Si nous nous contentons de modèles simples, nous pourrions passer à côté de la réponse. C'est le « compromis biais-complexité ».

La découverte principale de l'article est une méthode appelée Minimisation du Risque Structurel (SRM). C'est la façon pour l'ordinateur de jouer intelligemment. Au lieu de choisir un seul modèle et de s'y tenir, le SRM examine toute une famille de modèles, allant du très simple au très complexe.

Voici l'astuce ingénieuse : le SRM ne cherche pas seulement le modèle qui s'ajuste le mieux aux données. Il cherche le modèle qui s'ajuste assez bien tout en restant aussi simple que possible. Il ajoute une « pénalité » pour la complexité.

• Si un modèle complexe s'ajuste légèrement mieux qu'un modèle simple, mais que la pénalité de complexité est énorme, le SRM dit : « Non merci, restons sur le modèle simple. »
• Si un modèle complexe s'ajuste beaucoup mieux, la pénalité en vaut la peine, et le SRM dit : « D'accord, passons au complexe. »

4. Pourquoi ce n'est pas juste une supposition
L'article soutient qu'il ne s'agit pas d'une simple intuition ou d'une conjecture philosophique. C'est une justification méthodologique. L'auteur montre que même si nous ne savons pas si le monde est simple ou complexe, utiliser cette stratégie de « compromis » est la façon la plus intelligente d'apprendre.

Il utilise un concept appelé « Chance » (Luckiness). Imaginez que vous pariez sur une course de chevaux.

• Si vous pariez sur un cheval simple et que la course est en fait simple, vous gagnez gros.
• Si vous pariez sur un cheval simple et que la course est complexe, vous perdez, mais pas beaucoup plus que si vous aviez parié aveuglément sur un cheval complexe.
• Mais si vous pariez sur un cheval complexe et que la course est simple, vous perdez gros parce que vous avez trop compliqué les choses.

En utilisant le SRM (le compromis), vous vous protégez du pire scénario. Vous gagnez beaucoup si vous avez de la « chance » (la vérité est simple), et vous ne perdez pas beaucoup si vous n'avez pas de « chance » (la vérité est complexe).

5. Ce que l'article précise qu'il n'est PAS
L'auteur est très prudent sur ce que cela n'est pas.

• Ce n'est pas une preuve que l'univers est simple. Nous n'avons pas besoin de croire que le monde est simple pour que cela fonctionne.
• Ce n'est pas seulement une règle pragmatique (comme « les choses simples sont plus faciles à écrire »). Il s'agit d'obtenir une meilleure précision.
• Ce n'est pas une solution miracle pour toutes les techniques modernes. L'article admet que dans le domaine très récent du « deep learning » (apprentissage profond), les choses deviennent étranges (parfois, des modèles super complexes fonctionnent étonnamment bien), et ces mathématiques spécifiques n'expliquent pas encore pleinement ces nouveaux phénomènes.

L'essentiel
Alors, pourquoi préférons-nous la simplicité dans l'apprentissage automatique ? Selon cet article, ce n'est pas parce que l'univers est simple. C'est parce que la simplicité est un filet de sécurité. En échangeant un peu de « correspondance parfaite » contre beaucoup de « simplicité », nous obtenons une garantie mathématique que les prédictions de l'ordinateur fonctionneront réellement sur de nouvelles données. C'est la différence entre mémoriser un script et comprendre l'histoire. L'article prouve que ce compromis est la manière la plus fiable d'apprendre, que la vérité soit simple ou compliquée.