A Hierarchical and Attentional Analysis of Argument Structure Constructions in BERT Using Naturalistic Corpora

Résumé Technique : Une analyse hiérarchique et attentionnelle des constructions de structures argumentatives dans BERT à l'aide de corpus naturalistes

Énoncé du problème
La question centrale abordée par cette étude est de savoir si les grands modèles de langage (LLM), spécifiquement le modèle Bidirectional Encoder Representations from Transformers (BERT), développent des représentations internes de connaissances grammaticales abstraites qui reflètent les théories linguistiques humaines, en particulier la Grammaire de Construction. Bien que des recherches antérieures aient démontré que des modèles comme BERT peuvent capturer des dépendances syntaxiques, une grande partie de ces travaux repose sur des phrases générées synthétiquement ou sous forme de gabarits, lesquelles peuvent manquer de la variabilité et de la validité écologique du langage naturel. De plus, les études existantes agrègent souvent des données issues de genres divers, ce qui peut confondre la connaissance constructionnelle avec des variations stylistiques. Il existe un manque spécifique dans la compréhension de la manière dont BERT traite quatre constructions de structures argumentatives (CSA) fondamentales — Résultatif, Mouvement Causé, Ditransitif et "Way" (Manière) — dans un contexte naturaliste contrôlé, ainsi que de la manière dont ces représentations évoluent dynamiquement à travers les couches de traitement du modèle.

Méthodologie
Pour répondre à ces limites, les auteurs ont employé un cadre analytique multidimensionnel utilisant un ensemble de données strictement contrôlé.

• Construction du corpus : L'étude a extrait 800 phrases (200 par type de construction) exclusivement du genre de la fiction du British National Corpus (BNC) et du Corpus of Contemporary American English (COCA). Ce contrôle de genre visait à isoler la syntaxe et la sémantique constructionnelles de la variation stylistique.
• Traitement des données : Les phrases ont été annotées pour les rôles syntaxiques de base (Sujet, Verbe, Objet Direct, Objet Indirect, Préposition et le mot-clé "way") à l'aide de SpaCy. Ces rôles ont été mappés sur les tokens de sous-mots de BERT, le premier token de sous-mot servant de vecteur représentatif.
• Analyse du modèle : Le modèle pré-entraîné bert-base-uncased a été utilisé sans ajustement fin (fine-tuning). L'étude a extrait les plongements (embeddings) contextualisés et les matrices de poids d'attention de l'ensemble des 12 couches de l'encodeur Transformer.
• Techniques analytiques :
  1. Réduction de la dimensionnalité : Le MDS (Multidimensional Scaling) et le t-SNE (t-Distributed Stochastic Neighbor Embedding) ont été appliqués pour visualiser le regroupement géométrique des types de constructions.
  2. Métriques de séparation de clusters : La Valeur de Discrimination Généralisée (GDV) a été calculée pour quantifier la séparation des clusters de constructions à travers les couches.
  3. Sondage linéaire (Linear Probing) : Des classifieurs à machines à vecteurs de support (SVM) linéaires ont été entraînés sur les embeddings de tokens (CLS, Sujet, Verbe, Objet) pour tester l'accessibilité linéaire de l'information de catégorie de construction.
  4. Analyse de l'attention : Le Rapport de Discriminant de Fisher (FDR) a été calculé sur les poids d'attention pour identifier quels tokens syntaxiques et quelles têtes d'attention fournissent les informations les plus diagnostiques pour distinguer les constructions.

Résultats clés
L'analyse a révélé un processus hiérarchique et dynamique de représentation constructionnelle au sein de BERT :

• Évolution par couche :
  • Couches précoces (1-2) : Les représentations apparaissaient comme une « soupe indifférenciée » avec un chevauchement étendu entre les types de constructions, dominées par des caractéristiques lexicales et syntaxiques locales superficielles.
  • Couches intermédiaires (3-6) : L'information spécifique à la construction a émergé, formant des clusters maximalement séparables. L'analyse GDV a identifié la Couche 4 comme le point d'optimalité de la séparabilité linéaire. La construction "Way" a systématiquement formé le cluster le plus compact et isolé, soulignant son statut unique de paire forme-sens hautement schématique.
  • Couches tardives (7-12) : Les clusters sont restés distincts mais ont subi un raffinement subtil, suggérant un passage vers l'intégration de l'information pour les prédictions spécifiques aux tâches en aval.
• Accessibilité linéaire : Dès la Couche 2, l'information de catégorie de construction est devenue linéairement décodable à partir des embeddings de tous les principaux tokens syntaxiques (Sujet, Verbe, Objet, CLS), avec une précision de classification dépassant 90 % et restant stable à travers les couches finales.
• Spécialisation de l'attention : Une dissociation significative a été observée entre l'accessibilité linéaire et le focus attentionnel. Bien que l'information de construction soit présente dans tous les embeddings de tokens, le mécanisme d'attention se spécialise dans le diagnostic des constructions principalement à travers la relation Verbe-Objet (VERB-OBJ). Le token Objet a présenté les scores FDR les plus élevés, suivi du Verbe, tandis que les tokens Sujet et CLS montraient un pouvoir discriminant minimal dans les schémas d'attention.
• Substructure : Les visualisations t-SNE ont révélé des sous-structures internes au sein des clusters de construction (par exemple, au sein de la construction Ditransitive), suggérant que le modèle capture des variations granulaires basées sur l'usage au-delà des schémas abstraits.

Contributions clés

1. Validité écologique : L'étude fournit des preuves basées sur un corpus naturaliste issu d'un seul genre, atténuant les biais des données synthétiques et de la variation stylistique inter-genres.
2. Cartographie hiérarchique : Elle délimite une trajectoire claire de la manière dont les schémas grammaticaux abstraits émergent, atteignent leur pic de séparabilité et sont maintenus au sein de l'architecture Transformer, identifiant les couches intermédiaires comme le lieu de l'abstraction constructionnelle.
3. Aperçu mécaniste : La recherche met en lumière une dissociation où l'identité de la construction est encodée globalement dans les embeddings mais diagnostiquée localement par le mécanisme d'attention via le noyau prédicat-argument (Verbe-Objet).
4. Validation de la Grammaire de Construction : Les résultats offrent une preuve computationnelle des théories de la Grammaire de Construction, démontrant que des modèles entraînés uniquement sur la prédiction du prochain token organisent spontanément leurs représentations internes pour refléter les catégories ASC définies théoriquement, y compris le statut distinct de la construction "Way".

Signification
L'article affirme que ses conclusions établissent un pont méthodologique entre la linguistique computationnelle et les sciences cognitives. En démontant que BERT encode systématiquement les abstractions constructionnelles de manière structurée et hiérarchique, l'étude suggère que ces modèles peuvent servir de bancs d'essai computationnels pour les concepts linguistiques théoriques. Les résultats soutiennent l'« hypothèse du pipeline » des représentations contextualisées, où les abstractions syntaxiques et sémantiques cristallisent dans les couches intermédiaires avant que les détails pragmatiques ne soient résolus. En outre, l'étude postule que la capacité des LLM à apprendre ces motifs à partir de données naturelles seules renforce l'argument de la réalité psychologique des constructions en tant qu'unités fondamentales de la cognition linguistique. Le travail conclut que les LLM modernes ne sont pas de simples boîtes noires, mais développent des représentations internes qui entrent en résonance avec les théories de longue date sur la manière dont les humains stockent et traitent les connaissances linguistiques.