On the Proper Treatment of Units in Surprisal Theory

1. Énoncé du problème

La théorie du surprenant (surprisal) postule que l'effort de traitement cognitif humain est déterminé par le logarithme négatif de la probabilité (surprenant) d'une unité linguistique à venir, étant donné son contexte. Cependant, un écart méthodologique critique existe dans la recherche empirique actuelle :

• Le Décalage : Les stimuli expérimentaux sont généralement segmentés en unités linguistiquement motivées (par exemple, mots, morphèmes), mais les modèles de langage préentraînés modernes (LM) fonctionnent sur des alphabets de tokens fixes (par exemple, Byte-Pair Encoding) qui ne correspondent pas à ces unités linguistiques.
• La Conséquence : Les chercheurs s'appuient actuellement sur des heuristiques ad hoc et a posteriori pour mapper les tokens du modèle vers des unités linguistiques. Ces procédures confondent souvent deux choix de modélisation distincts :
  1. Inventaire d'unités ($U$) : La définition de l'unité linguistique (par exemple, mot, caractère, phrase).
  2. Régions d'intérêt (ROI) : Les segments spécifiques sur lesquels les prédictions sont évaluées (par exemple, l'agrégation des surprenants au niveau des mots en métriques au niveau des phrases).
• Le Défaut des Approches Existantes : Les tentatives récentes de formaliser cette correspondance (par exemple, Oh & Schuler, 2024 ; Pimentel & Meister, 2024) supposent que les limites des unités peuvent être déterminées par une partition fixe de l'alphabet de symboles (par exemple, l'espace blanc marque toujours une limite). Les auteurs soutiennent que cela est linguistiquement inadéquat (par exemple, une virgule est une limite dans « end, he » mais interne dans « 1,000 ») et mathématiquement incohérent lorsqu'il s'agit d'une tokenisation dépendante du contexte.

2. Méthodologie

Les auteurs proposent un cadre formel unifié pour dissocier les définitions d'unités de la tokenisation, traitant cette dernière comme un détail d'implémentation plutôt que comme un primitif scientifique.

A. Cadre Formel

• Séparation des préoccupations : L'article distingue l'Alphabet de symboles ($\Sigma$) (les tokens/characters natifs du LM) de l'Inventaire d'unités ($U$) (les unités linguistiques choisies par le chercheur).
• Analyseur d'unités ($\rho$) : Une application stochastique $\rho: \Sigma^* \to U^*$ qui convertit les chaînes de symboles en chaînes d'unités. Les auteurs supposent que $\rho$ est déterministe à des fins pratiques.
• Probabilité image (Pushforward) : Pour dériver une distribution de probabilité sur les unités ($p_U$) à partir d'un modèle au niveau des symboles ($p_\Sigma$), ils utilisent l'opération d'image directe (pushforward) :
  $$p_U(u) = \sum_{\sigma \in \rho^{-1}(u)} p_\Sigma(\sigma)$$
  Cela somme les probabilités de toutes les chaînes de symboles qui correspondent à une unité spécifique $u$.

B. Modèles de Langage Transduits

Pour gérer le défi computationnel de la somme sur des chaînes de symboles potentiellement infinies, les auteurs introduisent des Transducteurs à États Finis (FST) :

• Inventaires d'unités réguliers : Ils supposent que $U$ est un sous-ensemble « régulier » de chaînes sur un alphabet fini $\Xi$.
• Le Transducteur ($f$) : Un transducteur fini $f = h \circ \rho$ mappe les chaînes de symboles $\Sigma^*$ vers des chaînes sur un alphabet fini $\Delta = \Xi \cup \{SEP\}$, où $SEP$ est un symbole séparateur.
• Algorithme : En composant le LM avec le transducteur, ils peuvent calculer efficacement la distribution image directe en utilisant des approximations par recherche en faisceau (Snæbjarnarson et al., 2026). Cela permet le calcul du surprenant pour des inventaires d'unités arbitraires sans réentraîner le LM.

C. Conception Expérimentale

• Jeu de données : Le Corpus Multilingue de Mouvements Oculaires (MECO), spécifiquement la partie anglaise (46 lecteurs, 12 extraits de Wikipédia).
• Inventaires d'unités testés :
  1. Tokens : Tokens natifs GPT-2.
  2. Caractères : Caractères individuels.
  3. Mots Acontextuels : Mots séparés par des délimiteurs fixes (espaces blancs), testant à la fois l'attribution de l'espace blanc précédent et suivant.
  4. Mots Contextuels : Mots séparés en utilisant les règles Penn Treebank (PTB) (par exemple, gestion de la ponctuation comme « 1,000 » vs « end, he »).
• Analyse :
  • Référence : Modèles Linéaires Mixtes Généralisés (GLMM) log-normaux (GAMMs) prédisant les temps de lecture en utilisant la longueur de l'unité, le surprenant unigramme et les effets de débordement (spillover).
  • Cible : La référence plus le surprenant contextuel.
  • Métrique : Amélioration de la vraisemblance log-normale hors échantillon ($\Delta llh$) via validation croisée leave-one-out.

3. Contributions Clés

1. Désentanglement Théorique : L'article sépare formellement le choix des unités du choix de la tokenisation, soutenant que la sélection d'unités doit être une décision de modélisation primaire dictée par la question scientifique, et non un sous-produit de l'architecture du LM.
2. Formalisme Généralisé : Ils fournissent un cadre « apportez vos propres unités » utilisant des transducteurs, permettant aux chercheurs de définir des inventaires d'unités arbitraires et sensibles au contexte (par exemple, tokenisation de style PTB) et de calculer le surprenant directement à partir de LM préentraînés.
3. Critique des Heuristiques Actuelles : Ils démontrent que les approches à partition fixe (traitant l'espace blanc comme un marqueur de limite universel) échouent à capturer la réalité linguistique (par exemple, l'attachement de la ponctuation) et introduisent des incohérences mathématiques concernant l'identité des unités.
4. Boîte à Outils Pratique : Les auteurs publient du code et des transducteurs pour convertir des modèles au niveau des tokens en modèles au niveau des caractères ou au niveau des mots sensibles au contexte.

4. Résultats

Les auteurs ont évalué le pouvoir prédictif du surprenant à travers les quatre inventaires d'unités sur trois mesures de temps de lecture : Fixation Initiale (FF), Durée du Regard (GD) et Temps de Lecture Total (TRT).

• Inventaires de type mot : Le surprenant a considérablement amélioré la prédiction des temps de lecture pour la Durée du Regard et le Temps de Lecture Total à travers tous les inventaires de type mot (Tokens, Acontextuels, Contextuels).
• Fixation Initiale : Le surprenant était significatif pour les Tokens, les Mots Contextuels et les Mots Acontextuels (suivant), mais pas pour les Mots Acontextuels (précédant). Cela suggère que l'attribution de l'espace blanc précédent (courante dans BPE) peut être en désalignement avec le traitement cognitif précoce.
• Niveau Caractère : Le surprenant au niveau des caractères n'a montré aucune amélioration significative dans la prédiction des temps de lecture. Les auteurs l'attribuent au fait que les caractères individuels sont rarement fixés individuellement ; l'unité cognitive de traitement est plus grande qu'un seul caractère.
• Contextuel vs Acontextuel : Les inventaires de mots contextuels (gérant correctement la ponctuation) ont généralement performé aussi bien ou légèrement mieux que les inventaires acontextuels, en particulier pour les cas de ponctuation complexes, validant ainsi le besoin d'une segmentation sensible au contexte.
• Non-Comparabilité des Scores Absolus : L'étude souligne que les vraisemblances log-normales absolues et les valeurs $\Delta llh$ ne peuvent pas être directement comparées entre différents inventaires d'unités, car les inventaires induisent différentes granularités d'observation et prédicteurs de référence (par exemple, la longueur de l'unité).

5. Signification

• Rigueur Méthodologique : L'article établit que traiter la tokenisation comme une contrainte fixe limite la validité des conclusions psycholinguistiques. Les chercheurs doivent définir explicitement leur inventaire d'unités.
• Reproductibilité et Flexibilité : En fournissant un cadre basé sur les transducteurs, les auteurs permettent à la communauté de tester des hypothèses sur des unités linguistiques spécifiques (morphèmes, phrases, unités de discours) sans le coût prohibitif de réentraîner des LM à partir de zéro.
• Adéquation Linguistique : Les résultats soutiennent l'idée que la segmentation sensible au contexte (comme PTB) est supérieure au simple découpage basé sur des délimiteurs pour modéliser le comportement de lecture humain, en particulier concernant la ponctuation.
• Voies Futures : Le cadre est extensible à d'autres variables dépendantes (signaux neuronaux, surprenant de contexte à perte) et à d'autres langues, à condition que des transducteurs appropriés puissent être construits.

En résumé, l'article soutient que la tokenisation est un détail d'implémentation, tandis que la sélection d'unités est un choix scientifique. En découplant les deux via des transducteurs, les chercheurs peuvent s'assurer que leurs métriques de surprenant reflètent avec précision les unités linguistiques qu'ils souhaitent étudier.