Back to the Future: The Role of Past and Future Context Predictability in Incremental Language Production

1. Problématique et Contexte

La production langagière naturelle présente une variabilité significative dans le choix des mots et leur encodage phonétique. Bien que l'impact de la prédictibilité contextuelle antérieure (prédictibilité « vers l'avant » ou forward predictability) sur la difficulté de traitement soit bien documentée, l'effet de la prédictibilité contextuelle future (prédictibilité « vers l'arrière » ou backward predictability) reste mal compris, bien qu'il soit robuste.

Les études antérieures ont montré que la prédictibilité future influence la réduction phonétique et la fréquence des disfluences. Cependant, deux limitations majeures entravent l'interprétation de ces effets :

1. Hypothèse d'indépendance : Les mesures traditionnelles de prédictibilité vers l'arrière supposent implicitement que le contexte futur est produit indépendamment du contexte passé. Or, en production, les deux sont façonnés par une représentation conceptuelle commune du message.
2. Multicolinéarité : La prédictibilité vers l'avant et vers l'arrière sont fortement corrélées, ce qui rend difficile la séparation de leurs contributions distinctes dans les modèles de régression.

L'objectif de cet article est de revisiter la prédictibilité vers l'arrière en introduisant une nouvelle mesure informationnelle qui tient compte de la dépendance conditionnelle entre le passé et le futur, et d'évaluer son impact sur la durée des mots et le choix lexical (via les erreurs de substitution).

2. Méthodologie

Les auteurs proposent un cadre théorique et méthodologique amélioré basé sur deux études utilisant des données de parole spontanée (corpus Switchboard et CANDOR).

A. Nouveau Cadre Théorique et Mesures

Les auteurs proposent deux nouvelles métriques pour quantifier l'influence du contexte futur, en remplacement ou en complément de la prédictibilité vers l'arrière classique ($p(w_t | C_{>t})$) :

1. PMI Conditionnel (Conditional PMI) :
   Basé sur l'Information Mutuelle Conditionnelle (PMI), cette mesure quantifie l'information partagée entre le mot courant ($w_t$) et le contexte futur ($C_{>t}$), conditionnée au contexte passé ($C_{<t}$).
   $$\text{Conditional PMI}(w_t; C_{>t} | C_{<t}) = \log \frac{p(w_t | C_{>t}, C_{<t})}{p(w_t | C_{<t})}$$
   Cette mesure capture l'informativité du futur par rapport au mot actuel, une fois que le passé a déjà contraint les attentes du locuteur. Elle ne suppose pas l'indépendance entre passé et futur.

2. Prédictibilité Vers l'Arrière Relative (Relative Backward Predictability) :
   Une alternative décorrélatée de la prédictibilité vers l'avant, définie comme la différence entre la probabilité conditionnelle vers l'arrière et vers l'avant :
   $$\text{Relative Backward} = \log p(w_t | C_{>t}) - \log p(w_t | C_{<t})$$

B. Modélisation Linguistique (Language Modeling)

Pour estimer ces probabilités de manière cohérente, les auteurs évitent d'entraîner des modèles séparés pour le passé et le futur (ce qui introduirait du bruit). Ils utilisent une approche de Data Augmentation sur un modèle de langage autoregressif (GPT-2) :

• Les phrases sont réorganisées en insérant des tokens spéciaux (<PRE>, <MID>, <SUF>) pour permettre au modèle d'apprendre à prédire un mot central (<MID>) à partir de son contexte passé et futur simultanément.
• Cela permet d'estimer les probabilités bidirectionnelles (infill) nécessaires au calcul du PMI conditionnel à partir d'un seul modèle entraîné sur la prédiction du mot suivant.

C. Études Empiriques

• Étude 1 : Réduction Probabiliste (Durée des mots)

  • Données : Durées de mots extraites du corpus Switchboard (435 795 mots).
  • Analyse : Régression linéaire à effets mixtes pour prédire la durée du mot en fonction de la fréquence lexicale, de la prédictibilité vers l'avant, et des nouvelles mesures de prédictibilité vers l'arrière (Relative et PMI Conditionnel).
  • Objectif : Vérifier si les nouvelles mesures expliquent mieux la réduction phonétique et si l'asymétrie entre mots de fonction et mots de contenu (observée par Bell et al., 2009) se maintient.

• Étude 2 : Modélisation des Erreurs de Substitution

  • Données : 773 phrases avec des substitutions lexicales et des auto-corrections (reparandum/repair).
  • Analyse : Modèle de régression logistique pour prédire la probabilité qu'un mot soit produit comme erreur.
  • Variables : Fréquence, prédictibilité contextuelle, et « récompense communicative » (distance sémantique et phonologique par rapport à l'intention du locuteur, simulée par l'ajout de bruit aux représentations vectorielles).
  • Objectif : Comprendre comment le contexte passé et futur pèse sur le choix lexical lors d'erreurs, en distinguant les types d'erreurs (sémantiques, phonologiques, morphosyntaxiques, mixtes).

3. Résultats Clés

Résultats de l'Étude 1 (Durée des mots)

• Prédictibilité Future Dominante : La prédictibilité future (qu'elle soit mesurée par la prédictibilité relative vers l'arrière ou le PMI conditionnel) est le prédicteur le plus fort de la réduction de la durée des mots, surpassant la prédictibilité vers l'avant et la fréquence lexicale.
• Non-Redondance : Bien que les deux mesures soient qualitativement similaires, elles ne sont pas redondantes. Le modèle combinant les deux offre le meilleur ajustement, suggérant que la durée des mots est influencée à la fois par une estimation agrégée du futur (Relative) et par une informativité contextuelle spécifique (PMI Conditionnel).
• Absence d'Asymétrie Lexicale : Contrairement à Bell et al. (2009), cette étude ne trouve pas d'effet asymétrique où la prédictibilité future n'affecterait que les mots de contenu. Ici, les mots de fonction et de contenu sont tous deux sensibles à la prédictibilité future, bien que les mots de fonction montrent une sensibilité globale réduite.

Résultats de l'Étude 2 (Erreurs de Substitution)

• Effet Inhibiteur du Futur : Contrairement à la prédictibilité passée (qui facilite l'erreur en rendant un mot plus accessible), la prédictibilité future réduit la probabilité qu'un mot soit produit en erreur. Un futur prévisible contraint le choix lexical et empêche les erreurs.
• Supériorité du PMI Conditionnel : Pour les erreurs de substitution, le PMI Conditionnel est un prédicteur nettement supérieur à la prédictibilité relative vers l'arrière. Une fois le PMI conditionnel inclus, la prédictibilité relative n'apporte aucune amélioration significative au modèle. Cela suggère que le choix lexical dépend fortement de la manière dont le futur est prévisible compte tenu du passé.
• Spécificité des Types d'Erreurs :
  • Erreurs sémantiques : Fortement inhibées par la prédictibilité future.
  • Erreurs phonologiques : Influencées par la fréquence et la proximité phonologique, mais pas par le contexte contextuel global.
  • Erreurs morphosyntaxiques : Influencées par la fréquence et la prédictibilité passée, mais pas par le futur.
  • Cela indique un gradient de traitement : les erreurs phonologiques sont purement locales (accès lexical), tandis que les erreurs sémantiques impliquent une intégration contextuelle plus profonde.

4. Contributions et Signification

1. Avancée Méthodologique : L'article propose une opérationnalisation rigoureuse de la prédictibilité future via le PMI Conditionnel, résolvant le problème de l'hypothèse d'indépendance entre passé et futur et de la multicolinéarité dans les modèles statistiques. L'utilisation d'un modèle de langage unique (GPT-2 avec augmentation de données) permet une estimation cohérente des probabilités bidirectionnelles.
2. Révision des Théories de Réduction : Les résultats contredisent l'idée que la prédictibilité future n'affecte que les mots de contenu. Ils suggèrent que l'incertitude concernant le futur incite les locuteurs à ralentir la production (ou à ne pas réduire), indépendamment de la classe lexicale.
3. Mécanismes de Planification : L'étude distingue deux types de pressions sur le choix lexical :
   • Pressions Goal-Invariant (Passé/Fréquence) : Facilitent l'accès lexical et augmentent la probabilité d'erreurs (accès automatique).
   • Pressions Goal-Directed (Futur) : Contraintes par l'intention communicative et le plan futur, elles inhibent les erreurs.
4. Implications pour la Planification de Phrase : Les résultats soutiennent une vision flexible de la planification, où les locuteurs arbitrent entre une planification linéaire incrémentale (basée sur l'accessibilité) et une planification hiérarchique/anticipatoire (basée sur le futur). Le PMI conditionnel sert de variable probabiliste interprétable pour modéliser cette planification non-linéaire.

En conclusion, cet article démontre que la prédictibilité future n'est pas simplement un reflet de la facilité de traitement, mais un mécanisme actif de contrôle qui, lorsqu'il est intégré au contexte passé, joue un rôle crucial dans la précision du choix lexical et la modulation de l'encodage phonétique.