The Frequency Confound in Language-Model Surprisal and Metaphor Novelty

Résumé technique : La confusion de la fréquence dans la surprisal des modèles de langage et la nouveauté des métaphores

Énoncé du problème
La surprisal des modèles de langage (LM) est fréquemment utilisée comme indicateur de la prévisibilité contextuelle et a été rapportée comme corrélée aux jugements humains de nouveauté des métaphores. Des études récentes suggèrent un « effet d'inversement de l'échelle », où les petits LM ou les modèles aux stades précoces de l'entraînement présentent des corrélations plus fortes entre la surprisal et les données comportementales humaines (telles que les temps de lecture ou les évaluations de nouveauté) que les modèles plus grands et entièrement entraînés. Cependant, un facteur de confusion critique demeure flou : l'interdépendance étroite entre la surprisal et la fréquence lexicale. Il est incertain que les corrélations observées reflètent une véritable prévisibilité contextuelle ou ne soient que des artefacts de la fréquence lexicale, laquelle est connue pour influencer fortement à la fois la difficulté de traitement et les jugements de nouveauté. Cet article examine si les paramètres « optimaux » de surprisal (petits modèles, entraînement précoce) capturent véritablement une prédiction contextuelle de type humain ou s'ils s'alignent simplement plus étroitement sur la fréquence lexicale.

Méthodologie
Les auteurs ont mené une analyse approfondie utilisant le Corpus de Métaphores VU Amsterdam (VUAMC), qui contient 15 155 mots de contenu métaphoriques avec des évaluations humaines de nouveauté associées (échelonnées de -1 pour conventionnel à +1 pour nouveau).

• Suite de modèles : L'étude a utilisé la famille de modèles Pythia (Biderman et al., 2023), comprenant huit tailles de modèles allant de 70 M à 12 milliards de paramètres. Tous les modèles ont été entraînés sur le même corpus de 300 milliards de tokens (The Pile).
• Dynamiques d'entraînement : Pour analyser les progrès du pré-entraînement, les auteurs ont examiné 154 points de contrôle intermédiaires pour le modèle Pythia-70M, capturant l'évolution du modèle depuis l'entraînement précoce (1 étape) jusqu'au pré-entraînement complet (300 milliards de tokens).
• Métriques :
  • Surprisal : Calculée comme $-\log p(w_i | w_{<i})$ pour les mots métaphoriques cibles dans leur contexte de phrase, avec des corrections pour la tokenisation et les espaces blancs initiaux.
  • Fréquence lexicale : Deux mesures distinctes ont été employées pour estimer la fréquence des mots :
    1. NLF-Humain : Fréquence logarithmique négative dérivée de wordfreq, représentant un agrégat de l'usage général de la langue (approchant un « locuteur anglais moyen »).
    2. NLF-LM : Fréquence logarithmique négative calculée spécifiquement à partir des séquences de sous-tokens observées dans les données de pré-entraînement de Pythia jusqu'à chaque point de contrôle spécifique.
• Analyse : L'étude a quantifié les associations en utilisant les coefficients de corrélation de Spearman ($\rho$) et de Pearson ($r$), ainsi que l'aire sous la courbe ROC (AUC) pour la classification des métaphores nouvelles. L'analyse s'est concentrée sur les relations entre : (1) Surprisal et Nouveauté, (2) Fréquence et Nouveauté, et (3) Surprisal et Fréquence.

Résultats clés

1. La fréquence comme prédicteur plus fort : À travers toutes les tailles de modèles et les stades d'entraînement, la fréquence lexicale (aussi bien NLF-Humain que NLF-LM) a systématiquement démontré une association plus forte avec les évaluations de nouveauté des métaphores que la surprisal du LM. NLF-Humain a produit les corrélations les plus élevées ($\rho \approx 0,66$, AUC $\approx 0,90$).
2. Effet d'inversement de l'échelle et dynamiques d'entraînement :
   • Échelle du modèle : La corrélation entre la surprisal et la nouveauté a diminué à mesure que la taille du modèle augmentait. Les petits modèles (70 M) ont montré l'association surprisal–nouveauté la plus forte.
   • Progrès de l'entraînement : Pour Pythia-70M, l'association surprisal–nouveauté était faible initialement, a augmenté brusquement après 64 étapes d'entraînement, et a atteint un pic à 128 étapes (environ 268 millions de tokens vus), atteignant $\rho \approx 0,62$. Au-delà de ce pic, l'association a décliné.
3. La confusion de la fréquence : Crucialement, les tendances de l'association surprisal–nouveauté reflétaient les tendances de l'association surprisal–fréquence.
   • Au stade précoce d'entraînement (128 étapes) où la surprisal corrélait le plus fortement avec la nouveauté, elle corrélait également le plus fortement avec la fréquence ($\rho \approx 0,95$ avec NLF-LM).
   • À mesure que les modèles grandissaient ou que l'entraînement progressait davantage, la corrélation entre la surprisal et la fréquence s'affaiblissait, parallèlement au déclin de la corrélation surprisal–nouveauté.
4. Alignement : Les configurations où la surprisal performait « le mieux » (petits modèles, entraînement précoce) étaient précisément celles où la surprisal était le plus étroitement alignée sur la fréquence lexicale.

Signification et affirmations
L'article soutient que les paramètres optimaux souvent rapportés pour la surprisal des LM (petits modèles ou stades précoces d'entraînement) ne fournissent peut-être pas de preuves directes pour des explications basées sur la surprisal de la nouveauté des métaphores ou de la difficulté de traitement. Au contraire, les fortes corrélations observées dans ces configurations reflètent probablement la dépendance du modèle à la fréquence lexicale plutôt qu'à une véritable prévisibilité contextuelle.

Les auteurs concluent que :

• La fréquence lexicale est un facteur sous-jacent majeur dans les jugements de nouveauté des métaphores, agissant souvent comme un prédicteur plus fort que la surprisal contextuelle.
• L'« effet d'inversement de l'échelle » observé dans les corrélations surprisal–nouveauté peut être un sous-produit de l'évolution de la relation entre la surprisal et la fréquence à travers les échelles de modèles et les stades d'entraînement.
• Les chercheurs doivent faire preuve de prudence en interprétant les fortes associations surprisal–nouveauté d'entraînement précoce ou de petits modèles comme un soutien direct aux théories de la difficulté de traitement basées sur la prévisibilité contextuelle.
• Les progrès futurs dans ce domaine nécessitent une séparation théorique et méthodologique plus claire entre la prévisibilité contextuelle et les effets de la fréquence lexicale.

L'article ne prétend pas que les modèles plus grands produisent de « mauvaises » estimations de la prévisibilité, mais plutôt que les conditions spécifiques dans lesquelles la surprisal s'aligne sur les évaluations humaines de nouveauté sont confondues par la fréquence. Les auteurs appellent à un développement supplémentaire des évaluations humaines qui reflètent mieux les théories de la nouveauté et de l'originalité, distinctes des effets de fréquence simples.