Résumé Technique : La Grammaire des Transformers

Énoncé du Problème

Depuis l'observation de Gulordava et al. (2018) selon laquelle les modèles de langage (LM) acquièrent des connaissances syntaxiques non triviales malgré un entraînement basé uniquement sur la prédiction de tokens, un corpus croissant de recherches a cherché à caractériser la nature et l'étendue de ces connaissances. Cependant, le domaine a manqué d'une image générale et quantitative des connaissances syntaxiques dans les Modèles de Langage basés sur les Transformers (TLM). La littérature existante se compose largement de revues narratives (par exemple, Limisiewicz et Mareček, 2020 ; Linzen et Baroni, 2021 ; Kulmizev et Nivre, 2022) qui, bien que précieuses, sont interprétatives et manquent de la synthèse transparente et quantitative nécessaire pour cartographier le paysage des résultats à travers l'échelle rapidement croissante de la recherche récente. De plus, le domaine se caractérise par une hétérogénéité méthodologique et une forte concentration sur l'anglais et des architectures de modèles spécifiques (notamment BERT), limitant la robustesse et la généralisabilité des conclusions actuelles.

Méthodologie

Les auteurs ont mené une revue systématique suivant les directives PRISMA (Page et al., 2021), une méthodologie peu couramment appliquée en Linguistique Informatique (CL) et en TALN. Le processus a impliqué :

1. Collecte des données (été 2025) : Une approche à double stratégie a été utilisée pour identifier les candidats : une recherche par mots-clés sur Google Scholar combinant « structure/connaissance syntaxique » avec « LLM/LM/transformer », et une stratégie de boule de neige s'appuyant sur six revues antérieures. Cela a produit 636 articles initiaux.
2. Évaluation de l'éligibilité : Les articles ont été filtrés pour n'inclure que ceux se concentrant sur les architectures Transformer (excluant les RNN, les LSTM et les modèles de traduction automatique encodeur-décodeur), évaluant empiriquement les connaissances syntaxiques, et publiés dans des revues à comité de lecture ou des prépublications. Cela a abouti à un corpus final de 337 articles.
3. Annotation : Les auteurs ont défini 33 variables d'annotation réparties en cinq catégories :
   • Métadonnées : Détails de la publication et raisons d'inclusion/exclusion.
   • Liées au modèle : Noms des modèles, types (bidirectionnel vs causal), statut de l'affinement (fine-tuning) et couverture linguistique.
   • Conception expérimentale : Phénomènes syntaxiques (catégorisés en 11 étiquettes via une approche ascendante), langues testées et matériaux.
   • Techniques d'interprétabilité : Catégorisées comme comportementales, de sondage (probing) ou mécanistiques (suivant Milli`ere, 2024), avec une annotation supplémentaire sur la nature causale (observationnelle vs interventionnelle), la phase d'entraînement et la localité.
   • Résultats : Résumés en prose des compétences syntaxiques et des comparaisons de modèles.
   • Note : 28 catégories ont été annotées manuellement ; 5 ont été annotées semi-automatiquement à l'aide d'un flux de travail assisté par IA validé par rapport à un standard d'or manuel.

Contributions Clés

1. Une Synthèse Quantitative : L'article fournit la première revue systématique et quantitative des connaissances syntaxiques dans les TLM, agrégeant 3 074 points de données individuels à travers les langues, les phénomènes et les méthodes.
2. Ressource Ouverte : Les auteurs contribuent une base de données annotée, publiquement disponible, des études examinées et du code d'analyse associé, conçue pour être extensible.
3. Taxonomie des Phénomènes : Le travail établit une typologie ascendante de 11 étiquettes de phénomènes syntaxiques reconnaissables par les communautés de la linguistique et du TALN, facilitant la comparaison inter-études.
4. Audit Méthodologique : La revue évalue de manière critique la distribution des méthodes d'interprétabilité (comportementales, de sondage, mécanistiques) et met en évidence la sur-reliance du domaine sur les approches observationnelles plutôt que causales.

Résultats Clés

1. Paysage du Domaine et Biais

• Tendances Temporelles : L'intérêt pour le sujet a augmenté après BERT (2019), culminant en 2022. Alors que les travaux précoces se concentraient sur les modèles bidirectionnels, les modèles causaux dominent ces dernières années.
• Biais de Modèle : La littérature est fortement concentrée sur BERT et ses variantes, qui représentent 58 % de tous les points de données. Les quatre modèles les plus étudiés représentent 62 %.
• Biais Linguistique : L'anglais est écrasamment dominant (69 % des articles sont uniquement en anglais ; 91 % incluent l'anglais). Les études sur les langues non anglaises sont rares, et les études multilingues sont sous-représentées (20 %).
• Biais des Phénomènes : La recherche se concentre fortement sur les phénomènes syntaxiques formels (par exemple, l'accord, l'ordre des mots, la structure hiérarchique, la catégorie grammaticale) qui sont facilement capturés par les outils actuels de TALN. Les phénomènes à l'interface syntaxe-sémantique (par exemple, la liaison, la coréférence, la négation, l'ellipse) et les aspects typologiques reçoivent beaucoup moins d'attention.

2. Performance Comportementale

• Référence BLiMP : Sur la référence BLiMP en anglais, les TLM performent remarquablement bien, les meilleurs modèles égalant ou dépassant la performance humaine dans 7 catégories sur 11. Cependant, la performance varie considérablement d'un modèle à l'autre, principalement due à la capacité globale du modèle plutôt qu'à des forces spécifiques à un phénomène.
• Formel vs Interface : Les TLM performent systématiquement mieux sur les relations syntaxiques formelles (médianes > 85 % pour l'accord) que sur les phénomènes d'interface syntaxe-sémantique (médianes < 75 % pour la liaison, la structure argumentale, les NPI).
• Facteurs Translinguistiques : L'analyse de régression de 1 557 points de données non issus de références couvrant 113 langues révèle que les modèles causaux surpassent les modèles bidirectionnels d'environ 10 %, et que la performance évolue positivement avec le soutien numérique de la langue (gain de 5 % par niveau de soutien). Les langues moins dotées montrent une performance dégradée.

3. Mécanismes Internes (Études de Sondage et Mécanistiques)

• Sondage (Probing) : 85 % des études de sondage rapportent une récupération réussie d'informations syntaxiques à partir des représentations du modèle. Les couches intermédiaires sont le plus souvent identifiées comme le lieu des connaissances syntaxiques, soutenant une vision de la représentation distribuée.
• Études Mécanistiques : 79 % des articles mécanistiques trouvent des preuves claires soutenant la présence de connaissances syntaxiques. Cependant, ces études sont massivement observationnelles (81 %) ; seulement 19 % emploient des méthodes interventionnelles pour établir des liens causaux entre les représentations internes et le comportement.
• Lacunes Méthodologiques : Il existe un décalage entre le succès du sondage (taux de récupération élevés) et la performance comportementale (variable selon les phénomènes), suggérant qu'un sondage réussi n'implique pas nécessairement une utilisation fonctionnelle des représentations pour la prédiction.

Signification et Revendications

L'article revendique que la littérature actuelle soutient de manière robuste l'idée que les TLM encodent une quantité non triviale de connaissances syntaxiques, en particulier concernant les relations syntaxiques formelles. Cependant, les auteurs soulignent que les conclusions du domaine sont actuellement limitées par :

1. Absence de Preuves Causales : La domination des méthodes observationnelles empêche une compréhension profonde de comment les représentations syntaxiques sont utilisées computationnellement.
2. Généralisabilité Limitée : La forte concentration sur l'anglais et les modèles de type BERT restreint l'applicabilité des résultats au paysage plus large du langage et de l'architecture.
3. Phénomènes Fragmentés : L'interface syntaxe-sémantique reste sous-explorée malgré le fait que les modèles montrent des performances plus faibles dans ces domaines.

Les auteurs concluent que si les TLM possèdent des capacités syntaxiques remarquables, comprendre l'acquisition, l'utilisation et l'universalité de ces connaissances nécessite une plus grande harmonisation méthodologique, des engagements théoriques plus explicites et un paysage empirique plus large qui va au-delà de l'anglais et des études purement observationnelles. Ils positionnent cette revue comme une fondation pour les travaux futurs, invitant la communauté à contribuer à la base de données ouverte et à adopter les normes d'annotation proposées.