Résumé technique : Évaluation causale de l'apprentissage des tâches de langage formel

Énoncé du problème

Les modèles de langage (LM) fonctionnent comme des apprenants multitâches, acquérant diverses capacités à partir d'un seul corpus d'entraînement. Une question fondamentale pour comprendre les capacités des LM consiste à déterminer la quantité de données spécifiques à une tâche requise pour apprendre ladite tâche. Dans les contextes de langage naturel, cette interrogation est complexifiée par la difficulté de délimiter des tâches spécifiques et par la présence de similitudes entre les tâches qui introduisent des facteurs de confusion. Les pratiques d'évaluation corrélationnelles standards — où l'on corrèle la fréquence d'une propriété dans un jeu de données avec la performance du modèle — produisent souvent des conclusions erronées car la fréquence d'une propriété est entrelacée avec d'autres caractéristiques structurelles de la distribution des données (par exemple, la longueur des chaînes, la complexité globale).

L'article soutient que pour étudier rigoureusement la relation entre la fréquence des données et l'apprenabilité, il faut isoler ces facteurs de confusion. L'utilisation de corpus de langage naturel à cette fin est intraçable en raison de l'impossibilité de contrôler la génération des données. Par conséquent, les auteurs proposent un cadre contrôlé utilisant des langages formels induits par des Automates à États Finis Probabilistes (PFA) pour servir de banc d'essai méthodologique.

Méthodologie

Cadre causal

Les auteurs formulent le pipeline expérimental sous la forme d'un Modèle Causal Graphique (GCM) impliquant quatre variables aléatoires :

1. A (PFA) : Le processus générateur (l'automate).
2. D (Dataset) : Le corpus échantillonné à partir de $A$.
3. L (Modèle appris) : Les paramètres du réseau de neurones résultant de l'entraînement sur $D$.
4. M (Performance) : La fidélité de $L$ par rapport à $A$.

La distinction fondamentale réside entre conditionnement et intervention :

• Corrélationnel (Conditionnement) : Évaluer $P(M | D \in P)$, où $P$ est une propriété (par exemple, "le jeu de données contient $N$ occurrences d'un symbole"). Cela introduit une dépendance entre $A$ et $D$, car les PFA naturellement enclins à générer de tels jeux de données sont surreprésentés.
• Causal (Intervention) : Évaluer $P(M | \text{do}(D \in P))$, où le processus de génération de données est modifié pour satisfaire $P$ tout en préservant la distribution marginale originale de $A$. Cela découple la propriété cible des autres caractéristiques structurelles du corpus.

Le semi-anneau de mise en bac (Binning Semiring)

Pour implémenter l'intervention causale efficacement, l'article introduit le semi-anneau de mise en bac, une structure algébrique qui permet de contrôler les comptes de propriétés cibles lors de l'échantillonnage.

• Définition : Pour un semi-anneau de base $K$ et un seuil $R$, le semi-anneau de mise en bac d'ordre $R$ consiste en des $R+1$-uplets $v = (v_0, v_1, \dots, v_R)$.
• Opération : L'addition est élément par élément. La multiplication est une convolution accumulant les dépassements ; le $n$-ième élément du produit représente le poids des chemins possédant exactement $n$ occurrences de la cible (pour $n < R$), tandis que l'élément $R$ agrège tous les comptes $\ge R$.
• Application : Un PFA est "élevé" en un Automate à Poids Fini (WFA) sur ce semi-anneau. En calculant les poids arrières sur cet automate élevé, les auteurs dérivent la distribution conditionnelle sur les corpus possédant un nombre spécifique de transitions cibles. Cela permet un échantillonnage contraint : tirer des jeux de données où une propriété spécifique (par exemple, une transition ou un symbole) se produit exactement $N$ fois, indépendamment du biais naturel du PFA sous-jacent.

Pipeline expérimental

1. Échantillonnage : Générer des PFA (soit des topologies fixes avec des poids res échantillonnés, soit des topologies aléatoires).
2. Intervention : Utiliser les algorithmes du semi-anneau de mise en bac pour échantillonner des corpus avec des comptes exacts d'une propriété cible (par exemple, des transitions quittant un état spécifique).
3. Entraînement : Entraîner des LSTM et des Transformers sur ces corpus.
4. Évaluation : Mesurer la performance à l'aide d'une divergence de Kullback–Leibler (KL) décomposée. Contrairement à la KL standard, qui moyenne sur tous les états, cette métrique isole la contribution d'erreur de transitions ou d'états spécifiques, permettant une évaluation localisée de l'apprenabilité.

Contributions clés

1. Semi-anneau de mise en bac : Un outil algébrique novateur qui permet un contrôle exact de la fréquence de caractéristiques spécifiques dans les corpus échantillonnés à partir de PFA, facilitant les interventions causales qui étaient auparavant informatiquement intraçables (comparativement au rééchantillonnage par rejet).
2. Cadre d'évaluation causale : Une formalisation des études d'apprenabilité des LM comme un problème d'inférence causale, distinguant les observations corrélationnelles des effets causaux de la fréquence des données.
3. Métriques KL décomposées : Une méthode pour localiser les métriques de performance à des sous-tâches spécifiques (états, transitions ou symboles) au sein du cadre de langage formel.
4. Preuve empirique de confusion : Démonstrations que les évaluations corrélationnelles standards peuvent mener à des conclusions erronées sur l'apprenabilité en raison de facteurs de confusion non contrôlés.

Résultats

Les auteurs ont mené des expériences à travers trois configurations :

1. PARITÉ + Automate sans étoile (Star-Free) : Une configuration contrôlée combinant un langage facile à apprendre (star-free, $aa^*$) et un langage PARITÉ difficile à apprendre.
   • Résultat : Dans l'analyse corrélationnelle, de faibles comptes de chaînes PARITÉ étaient associés à une erreur élevée, mais cette tendance était non monotone et confondue par les distributions de longueur de chaîne. L'intervention causale a révélé une relation monotone où l'augmentation des comptes de PARITÉ améliorait systématiquement l'apprenabilité, exposant la véritable difficulté de la tâche pour les Transformers par rapport aux LSTM.
2. Topologies aléatoires (50 états) : Échantillonnage de 952 PFA aléatoires.
   • Résultat : Les tendances corrélationnelles étaient souvent inversées par rapport aux tendances causales. Par exemple, à de faibles comptes d'occurrence, la divergence KL corrélationnelle était faible (suggérant un apprentissage facile) car les automates produisant naturellement peu d'instances cibles étaient structurellement plus simples. L'échantillonnage causal a éliminé ce biais, montrant que l'apprenabilité s'améliorait en fait avec la fréquence.
3. Topologie fixe, poids variables : Une topologie unique de 40 états avec 400 configurations de poids.
   • Résultat : Les effets de confusion variaient considérablement, même au sein d'une même topologie. Pour certains états, la courbe causale descendait brusquement avec l'augmentation de la fréquence, tandis que la courbe corrélationnelle restait plate ou montait, indiquant que la "difficulté" observée dans les études corrélationnelles était un artefact des configurations de poids spécifiques, et non de la tâche elle-même.

Dans toutes les configurations, les courbes causales (lignes pleines) divergeaient significativement des courbes corrélationnelles (lignes pointillées). Dans certains cas, la tendance corrélationnelle suggérait qu'une propriété était facile à apprendre alors qu'elle était en réalité difficile, ou inversement.

Signification et affirmations

L'article affirme que les méthodologies corrélationnelles standards pour évaluer l'apprenabilité des langages formels sont intrinsèquement défectueuses car elles ne parviennent pas à contrôler les facteurs de confusion inter-tâches. La relation observée entre la fréquence des données et la performance du modèle reflète souvent la procédure d'échantillonnage et les propriétés structurelles des automates qui co-varient avec la propriété cible, plutôt que l'apprenabilité intrinsèque de la tâche.

En introduisant l'intervention causale via le semi-anneau de mise en bac, les auteurs fournissent un outil pour démêler ces effets. Ils soutiennent que cette approche est nécessaire pour :

• Comparer précisément les biais inductifs de différentes architectures (ex: Transformers vs RNN).
• Caractériser les comportements de mise à l'échelle sans le bruit des caractéristiques structurelles confondantes.
• Attribuer la difficulté à des caractéristiques structurelles spécifiques plutôt qu'à des artefacts de la distribution des données.

Les auteurs positionnent ce travail comme une correction méthodologique pour le domaine, suggérant que les découvertes corrélationnelles antérieures concernant la manière dont les propriétés du langage affectent l'apprenabilité pourraient nécessiter un réexamen. Ils notent que bien que leur étude se concentre sur les PFA, le cadre s'étend naturellement à des automates plus riches (ex: automates à pile) et offre une alternative rigoureuse à l'évaluation "boîte noire" des modèles de langage neuronaux sur des tâches formelles.