Why is "Chicago" Predictive of Deceptive Reviews? Using LLMs to Discover Language Phenomena from Lexical Cues

Résumé technique : « Pourquoi "Chicago" est-il prédictif des avis trompeurs ? »

Énoncé du problème
Les avis en ligne trompeurs induisent les consommateurs en erreur et érodent la confiance dans les marchés en ligne. Bien que les classificateurs d'apprentissage automatique puissent distinguer efficacement les avis trompeurs des avis authentiques à l'aide de grands ensembles de données, les caractéristiques sur lesquelles ils s'appuient sont souvent subtiles, fragmentées et contre-intuitives pour les humains. Par exemple, les classificateurs peuvent identifier des mots spécifiques comme « Chicago » comme hautement prédictifs de la tromperie dans les avis d'hôtels. Cependant, sans explication du pourquoi ces mots sont prédictifs, les utilisateurs peuvent avoir du mal à interpréter la logique du modèle, ce qui peut entraîner de la confusion ou une perte de confiance dans le système. Le défi central consiste à traduire ces indices lexicaux appris par la machine, contre-intuitifs, en phénomènes linguistiques compréhensibles par l'humain, ancrés dans les données plutôt que de simples artefacts ou hallucinations.

Méthodologie : Un cadre « Conjecture puis Validation »
Les auteurs proposent un cadre où les modèles de langage de grande taille (LLM) agissent comme interprètes pour combler le fossé entre les indices lexicaux prédictifs et les explications compréhensibles par l'humain. Le processus comporte trois étapes principales :

1. Identification des caractéristiques : En utilisant un classificateur de régression logistique entraîné sur un ensemble de données d'avis d'hôtels de Chicago (800 authentiques, 800 trompeurs), les auteurs ont identifié les mots prédictifs les plus saillants (par exemple, « Chicago », « luxe », « semblait ») qui apparaissaient contre-intuitifs pour les profanes.
2. Génération de conjectures : Les auteurs ont invité des LLM (incluant GPT-5-mini, Haiku 4.5, Nova Pro et Gemini-2.5-flash) à générer des explications en langage naturel (« conjectures ») sur la raison pour laquelle ces mots spécifiques sont prédictifs de la tromperie ou de l'authenticité. L'invite demandait au LLM d'identifier les phénomènes linguistiques sous-jacents ou les patterns psycholinguistiques associés à ces mots.
3. Validation algorithmique : Pour s'assurer que ces conjectures n'étaient pas des hallucinations, les auteurs les ont évaluées empiriquement :
   • Prédictivité (RQ1) : Ils ont testé si la fourniture de ces phénomènes conjecturés en tant que contexte améliorait la capacité d'un LLM à classer les avis comme authentiques ou trompeurs par rapport à une base de référence « zero-shot ».
   • Généralisabilité (RQ2) : Ils ont entraîné des classificateurs sur les données de Chicago et les ont testés sur des avis d'hôtels d'autres villes (Houston, New York, Los Angeles). Ils ont comparé les performances en utilisant des caractéristiques TF-IDF unigrammes standard versus des caractéristiques dérivées des phénomènes conjecturés par le LLM.
   • Comparaison des sources (RQ3) : Ils ont comparé les phénomènes conjecturés à partir de mots prédictifs avec des phénomènes conjecturés à partir des connaissances préalables du LLM ou à partir d'apprentissage en contexte (avis échantillonnés).
4. Évaluation humaine : Une étude par crowdsourcing (N=220) et une étude en laboratoire en présentiel (N=8) ont évalué comment ces explications affectaient le raisonnement et la confiance des utilisateurs. Les participants ont été invités à juger la crédibilité d'un avis soit avec uniquement les mots prédictifs mis en évidence, soit avec les mots accompagnés des phénomènes conjecturés par le LLM.

Résultats clés

• Puissance prédictive (RQ1) : Les LLM alimentés par les phénomènes conjecturés ont systématiquement surpassé les bases de référence « zero-shot » dans la classification des avis trompeurs. Cela indique que les phénomènes générés capturent de véritables patterns détectables dans les données plutôt que d'être entièrement fabriqués. Cependant, même avec ces phénomènes, les performances des LLM sont restées inférieures à celles d'un simple classificateur de régression logistique utilisant des caractéristiques de texte brut.
• Généralisation (RQ2) : Les classificateurs utilisant des caractéristiques basées sur les phénomènes ont démontré une généralisation supérieure aux données hors distribution (avis d'autres villes) par rapport aux classificateurs utilisant uniquement des caractéristiques unigrammes. Par exemple, alors que le mot « Chicago » est un prédicteur fort pour les avis de Chicago, il n'est pas prédictif pour les avis de New York. En revanche, le phénomène « les avis trompeurs ont tendance à citer des noms d'hôtels et de villes » est resté un prédicteur valide à travers différentes villes.
• Source des phénomènes (RQ3) : Les phénomènes conjecturés à partir des mots prédictifs spécifiques identifiés par le classificateur étaient significativement plus efficaces pour la détection de la tromperie que les phénomènes conjecturés uniquement à partir des connaissances préalables du LLM ou d'un petit échantillon d'avis. Cela suggère que les signaux distillés par le classificateur ancrent le raisonnement du LLM vers des patterns subtils et spécifiques aux données, difficiles à inférer autrement.
• Impact humain : Dans les études utilisateurs, les participants ayant reçu des explications basées sur les phénomènes sont passés d'une supposition basée sur des mots isolés à un raisonnement sur des patterns de haut niveau. Crucialement, les utilisateurs n'ont pas accepté aveuglément les explications ; ils les ont comparées à leurs propres heuristiques. Cela a conduit à une « confiance calibrée », où les utilisateurs se sont appuyés sélectivement sur le raisonnement du modèle plutôt que de l'accepter ou de le rejeter en bloc.

Importance et contributions
L'article revendique deux contributions principales :

1. Cadre pour l'interprétabilité : Il propose et valide un cadre « conjecture puis validation » qui traduit avec succès des indices lexicaux appris par la machine, contre-intuitifs, en phénomènes linguistiques interprétables par l'humain et ancrés empiriquement. Cette approche va au-delà de la simple mise en évidence des mots prédictifs pour expliquer les patterns linguistiques sous-jacents.
2. Combler le fossé de la confiance : Le travail démontre que, bien que les explications d'importance des caractéristiques (mise en évidence des mots) identifient des signaux, elles échouent souvent à expliquer pourquoi ces signaux importent. En générant des explications qui relient ces signaux à des patterns plus larges, l'approche améliore la compréhension des utilisateurs et soutient une confiance calibrée dans les systèmes de TALN.

Les auteurs soulignent que leur objectif n'est pas de construire un détecteur de tromperie supérieur, mais d'évaluer la faisabilité de l'utilisation de LLM pour rendre les caractéristiques identifiées par le modèle interprétables. Ils notent que, bien que les phénomènes générés soient ancrés empiriquement, ils peuvent représenter des interprétations simplifiées plutôt que des mécanismes causaux complets, et qu'un travail futur est nécessaire pour évaluer plus rigoureusement la fidélité de ces explications.