The signal is the ceiling: Measurement limits of LLM-predicted experience ratings from open-ended survey text

1. Problématique et Contexte

L'étude s'intéresse à la capacité des modèles de langage (LLM) à prédire une note d'expérience globale (sur une échelle de 0 à 10) à partir de réponses textuelles ouvertes (commentaires libres) issues de sondages post-événement (ici, des matchs de baseball MLB).

Le problème central réside dans la divergence structurelle entre deux types de données produites par le même répondant :

• La note chiffrée (Verdict) : Une évaluation holistique, influencée par des heuristiques cognitives (comme la règle du pic et de la fin) et l'affect résiduel.
• Le texte ouvert (Récit) : Un compte-rendu sélectif des événements saillants (souvent des détails opérationnels concrets, positifs ou négatifs).

Une étude précédente (Hong et al., 2026) avait établi qu'un prompt non optimisé parvenait à prédire la note dans une marge de ±1 point pour 67 % des cas, mais laissait un écart résiduel systématique. Cette nouvelle recherche vise à déterminer si l'ingénierie des prompts (prompt engineering) et le choix du modèle peuvent réduire cet écart, ou si la limite est intrinsèque à la nature des données.

2. Méthodologie

L'étude a été menée sur un échantillon d'environ 10 000 sondages provenant de cinq équipes de la MLB (mars-juin 2025).

Design expérimental :
Les auteurs ont testé quatre configurations croisant deux variables :

1. Le Prompt (Instruction) :
   • Baseline (p2_1) : Instruction générique pour inférer la note.
   • Customisé (p3_1_) :* Instruction structurée en trois étapes (prioriser le verdict global, peser les positifs contre les négatifs, ne pas pénaliser excessivement les plaintes isolées) + un champ de justification (rationale).
2. Le Modèle (LLM) :
   • GPT 4.1
   • GPT 4.1-mini
   • GPT 5.2

Métriques d'évaluation :

• Exact Match : Pourcentage de prédictions identiques à la note réelle.
• Within ±1 : Pourcentage de prédictions à un point près de la note réelle (métrique clé pour l'utilité opérationnelle).
• MAE (Mean Absolute Error) : Erreur absolue moyenne.
• Signed Error : Biais directionnel (sur- ou sous-estimation).

Analyse des données :
Les auteurs ont segmenté les résultats selon la clarté lexicale du texte (positif uniquement, négatif uniquement, mixte, sans mots-clés de sentiment) et la présence de thèmes spécifiques (frictions opérationnelles comme les files d'attente, le stationnement).

3. Résultats Clés

A. Impact limité de l'ingénierie par rapport à la nature du texte

• Amélioration modeste du prompt : L'optimisation du prompt sur GPT 4.1 a augmenté l'accord « Within ±1 » de 67 % à 69 % (+2 points de pourcentage).
• Échec du changement de modèle :
  • Le passage à GPT 5.2 a ramené les performances au niveau de la baseline (67 %).
  • Le passage à GPT 4.1-mini a dégradé les performances de 6 points (61 %), avec un biais de sous-estimation accru.
• La prédominance du texte : La variation de la précision en fonction du type de texte (clarté lexicale) est plus de 20 fois supérieure à la variation due au choix du prompt ou du modèle.
  • Texte uniquement positif : Accord à 83-86 %.
  • Texte contenant des détails opérationnels négatifs : Accord chute à 42-44 %.

B. Structure de l'erreur et biais systématique

• Sous-estimation directionnelle : Tous les modèles sous-estiment systématiquement les notes (erreur signée négative). 86 % des erreurs importantes sont des sous-estimations.
• Cause de l'erreur : Les LLMs tendent à sur-peser les détails négatifs concrets (files d'attente, problèmes de stationnement) présents dans le texte, tandis que les fans, dans leur note globale, intègrent ces détails dans un jugement holistique souvent positif (biais de positivité ou effet de l'affect résiduel).
• Le rôle du prompt personnalisé : Il agit comme une correction de biais. En forçant le modèle à prioriser le verdict global et à ne pas pénaliser excessivement les plaintes isolées, il améliore l'accord de manière uniforme sur tous les types de texte, mais ne comble pas l'écart fondamental.

C. Le concept de « Plafond » (The Ceiling)

L'article décompose la limite de performance en deux composantes :

1. Composante Cognitive (Inviolable) : La différence entre ce que le fan écrit (récit d'événements saillants) et ce qu'il note (jugement intégratif). Cette information manquante n'est pas dans le texte ; aucun prompt ne peut la récupérer.
2. Composante de Mesure (Corrigible) : Le biais d'association statistique inhérent aux LLMs (langage négatif = note basse) hérité de l'entraînement. Le prompt personnalisé corrige cette partie, d'où le gain de 2 %.

4. Contributions Majeures

1. Décomposition du plafond de performance : L'article démontre que l'amélioration des LLMs pour la prédiction de notes scalaires n'est pas linéaire. Il distingue clairement ce qui relève d'un biais mesurable (corrigible par le prompt) et ce qui relève d'une différence de constructe cognitif (inviolable par l'ingénierie).
2. Validation conjointe Prompt/Modèle : Il montre qu'un prompt optimisé pour un modèle ne se transfère pas nécessairement à un autre (GPT 5.2 a échoué à surpasser GPT 4.1 avec le même prompt), soulignant la nécessité de valider les configurations ensemble.
3. L'erreur comme signal : L'analyse suggère que l'erreur de prédiction n'est pas du bruit, mais un signal structuré. La divergence entre le texte (négatif) et la note (positive) identifie une catégorie spécifique de fans : la « satisfaction fragile » (fans satisfaits mais ayant vécu des frictions opérationnelles).
4. Métrique de Cohérence Texte-Note : L'étude valide que la « confiance » du modèle (confidence score) est un indicateur fiable de la qualité de la prédiction (cohérence entre le texte et la note déduite), permettant de filtrer les prédictions à risque avant même d'avoir la vérité terrain.

5. Signification et Implications Opérationnelles

• Pour les équipes de données : Il ne faut pas chercher à remplacer la note de sondage par la prédiction LLM. Au contraire, les deux doivent être utilisées comme signaux complémentaires.
  • La prédiction LLM excelle pour détecter les fans à risque (note basse, texte négatif) avec une grande précision (Recall > 94 %).
  • Elle est particulièrement utile pour identifier les cas de « satisfaction fragile » (note haute, texte négatif) où le modèle, une fois corrigé du biais de négativité, peut alerter sur des problèmes opérationnels que la note globale masque.
• Stratégie d'ingénierie : L'investissement doit se porter sur l'architecture du prompt (correction de biais spécifique) plutôt que sur le simple changement de modèle. Les améliorations sont bornées par la clarté du texte d'entrée.
• Gestion de la qualité : Utiliser la « cohérence texte-note » (confiance du modèle) pour filtrer les données : accepter automatiquement les prédictions à haute cohérence et envoyer les cas à faible cohérence (textes ambigus ou mixtes) vers une revue humaine.

Conclusion : L'article conclut que l'ingénierie des prompts peut optimiser la mesure en corrigeant les biais de l'instrument, mais ne peut pas combler le fossé cognitif entre le récit et le verdict. La limite de précision est déterminée par la nature du signal textuel lui-même, et non par la puissance du modèle.