Résumé Technique : Une Théorie Mathématique de l'Équilibre entre Généralisation Relationnelle et Mémorisation

Énoncé du Problème

Les systèmes d'apprentissage, y compris les humains, les animaux et les modèles d'apprentissage automatique, doivent simultanément apprendre des règles générales pour permettre la généralisation relationnelle et mémoriser des exceptions spécifiques à ces règles. Bien qu'une littérature extensive existe sur la généralisation compositionnelle et la mémorisation prises isolément, il manque des paradigmes de tâches et des cadres théoriques pour comprendre comment les systèmes équilibrent ces exigences opposées lorsque les deux sont requises. Plus précisément, il reste flou la manière dont les systèmes d'apprentissage gèrent les relations ordonnées qui sont largement transitives mais contiennent des exceptions intransitives (par exemple, $A > B > C$, mais une exception $C > A$). Les paradigmes existants comme le Raisonnement Transitif (TI) testent la généralisation pure, tandis que le Motif Transversal (TP) teste la mémorisation pure de boucles intransitives, mais aucun ne capture la complexité des scénarios réels où règles et exceptions coexistent.

Méthodologie

Les auteurs introduisent un nouveau paradigme de tâche et un cadre théorique pour analyser cet équilibre :

1. Paradigme de Tâche : Raisonnement Transitif avec Exceptions (TIwE)

   • La tâche implique un ensemble d'éléments $I_1, \dots, I_n$ avec un classement transitif sous-jacent.
   • Une « exception » est introduite : une paire intransitive $I_p > I_q$ où $p > q$ (violant l'ordre global) et $|p-q| > 1$.
   • Cela crée deux sections transitives ($O^{(1)}$ et $O^{(2)}$) séparées par une section intransitive ($L$).
   • L'évaluation se concentre sur quatre métriques : la mémorisation des paires transitives, la mémorisation des paires intransitives, la généralisation au sein d'une section et la généralisation inter-sections (par exemple, inférer $I_1 > I_n$ malgré l'exception au milieu).

2. Modèle Théorique : Régression Ridge à Noyau

   • Les auteurs analysent un modèle à caractéristiques aléatoires $\phi(x) = \sigma(Wx)$ dans la limite de largeur infinie, qui converge vers la Régression Ridge à Noyau.
   • Ils supposent une représentation échangeable, où le noyau $K(x, x')$ dépend uniquement du chevauchement entre les éléments (paires identiques, se chevauchant ou distinctes), formalisé par les paramètres $\kappa_s, \kappa_o, \kappa_d$.
   • Le modèle est caractérisé par deux paramètres clés :
     • Facteur de conjonction ($\alpha$) : Mesure le degré d'intrication non linéaire entre les éléments dans la représentation ($\alpha=0$ est entièrement compositionnel/additif ; $\alpha=1$ est entièrement conjonctif).
     • Régularisation effective ($\tilde{c}$) : Échelle la force de la régularisation $L_2$.

3. Déduction Analytique

   • Les auteurs résolvent analytiquement le problème dual de la régression ridge pour dériver les prédictions du modèle.
   • Ils décomposent la solution en un système de classement émergent ($r_j$) et une réponse conjonctive ($t_{j,k}$) qui s'active uniquement sur les données d'entraînement.
   • Le système de classement est montré comme étant une perturbation du système de classement TI standard, modifié par la présence de l'exception.

Contributions et Résultats Clés

1. Caractérisation Théorique de l'Équilibre

L'article dérive une solution sous forme fermée (Théorème 1) montrant que les modèles à noyau équilibrent naturellement la généralisation et la mémorisation par un compromis entre le système de classement et la lecture conjonctive :

• Généralisation : Le modèle apprend un système de classement $r_j$ qui est décroissant de manière monotone au sein des sections transitives. Cependant, la présence d'une exception introduit une non-monotonie dans le système de classement autour de la boucle intransitive.
• Mémorisation : Le modèle utilise un terme conjonctif $t_{j,k}$ pour corriger les erreurs sur l'ensemble d'entraînement, mémorisant spécifiquement l'exception.
• Le Compromis : Une généralisation réussie (spécifiquement la généralisation inter-sections) et une mémorisation réussie sont en tension.
  • Géométrie Représentationnelle ($\alpha$) : Des représentations plus compositionnelles (faible $\alpha$) favorisent la généralisation mais peinent à mémoriser les exceptions. Des représentations plus conjonctives (fort $\alpha$) mémorisent facilement les exceptions mais peuvent échouer à généraliser entre les sections en raison de la non-monotonie du système de classement.
  • Régularisation ($\tilde{c}$) : Une régularisation plus forte (plus petit $\tilde{c}$) force le modèle à s'appuyer davantage sur le système de classement pour minimiser les normes de poids, conduisant à des erreurs systématiques dans la généralisation (prédire incorrectement $I_{q-1} < I_{p+1}$) et réduisant la mémorisation de l'exception. À l'inverse, une régularisation faible permet une meilleure mémorisation mais risque le surapprentissage.

2. Explication Mécaniste des Modes d'Échec

Les auteurs expliquent que la non-monotonie du système de classement émergent est la cause racine des erreurs systématiques.

• Pour minimiser la norme des poids (régularisation), le modèle doit composer entre un système de classement « plat » (bon pour la généralisation) et un système de classement « corrigé » (nécessaire pour ajuster l'exception).
• Ce compromis résulte en un système de classement déformé près de l'exception, propageant des erreurs vers les tâches de généralisation inter-sections.
• Crucialement, l'article note que la régularisation L2, généralement bénéfique pour la généralisation in-distribution, peut être contre-productive pour la généralisation out-of-distribution dans cette tâche spécifique, induisant des erreurs systématiques là où aucune ne se produirait dans le TI standard.

3. Validation Empirique dans les Modèles de Langage Pré-entraînés (PLM)

Les insights théoriques ont été validés en affinant des PLM (Llama3.2, Qwen3.5) sur des tâches TIwE en utilisant des hiérarchies d'équipes sportives et des classements de mains de poker.

• Généralisation : Les modèles ont généralisé avec succès au sein des sections mais ont montré des performances incohérentes sur la généralisation inter-sections, commettant souvent des erreurs systématiques prédites par la théorie (la précision chutant en dessous du hasard).
• Mémorisation : Les modèles pouvaient mémoriser l'exception, mais la performance était sensible à la régularisation. Une régularisation plus forte réduisait la précision sur les paires d'exceptions.
• Paramètres de Tâche : Augmenter la longueur des sections transitives rendait la généralisation inter-sections significativement plus difficile, tandis qu'augmenter la longueur de la boucle intransitive avait un effet plus faible, s'alignant sur les prédictions théoriques.
• Stratégies d'Affinage : L'affinage complet et le sondage linéaire ont généralement surpassé LoRA, et le comportement du sondage linéaire correspondait étroitement aux prédictions du modèle à noyau concernant les effets de la régularisation.

Signification et Revendications

L'article revendique fournir le premier cadre analytique pour comprendre comment les systèmes d'apprentissage équilibrent la généralisation relationnelle avec la mémorisation des exceptions. Sa signification réside dans :

1. Identification d'un Nouveau Mode d'Échec : Il démontre que les tâches nécessitant un équilibre entre règles et exceptions sont fondamentalement plus difficiles que les tâches d'apprentissage de règles pures, car elles introduisent un compromis entre géométrie représentationnelle et régularisation pouvant conduire à des erreurs systématiques et non aléatoires.
2. Réévaluation de la Régularisation : Il met en évidence que les techniques de régularisation standard (comme L2) peuvent entraver la généralisation out-of-distribution dans les tâches compositionnelles avec exceptions, contrairement à leur rôle habituel.
3. Étalonnage : Il propose le « Raisonnement Transitif avec Exceptions » comme un nouveau paradigme nécessaire pour sonder les limites de la généralisation compositionnelle dans les systèmes biologiques et artificiels.
4. Fondement Théorique : En montrant que de simples modèles à noyau peuvent capturer le comportement nuancé des grands modèles de langage sur ces tâches, il suggère que les limitations des PLM dans la gestion des exceptions peuvent découler de contraintes géométriques fondamentales dans leurs dynamiques d'apprentissage plutôt que de la complexité architecturale seule.

Les auteurs concluent que modéliser explicitement l'effet des exceptions est crucial pour développer des systèmes d'apprentissage capables d'un raisonnement robuste dans le monde réel, et que les travaux futurs devraient se concentrer sur des paradigmes de tâches capturant cette complexité.