Chatbots Output Meaningful (but Problematic) Language

Résumé technique : Les chatbots produisent un langage porteur de sens (mais problématique)

Énoncé du problème
L'article traite d'une tension centrale dans la philosophie du langage et l'éthique de l'IA concernant le caractère significatif des productions des modèles de langage de grande taille (LLM).

1. La vue intuitive : Les utilisateurs ordinaires et les ingénieurs traitent souvent les sorties de chatbots (par exemple, « Madrid est la capitale de l'Espagne ») comme de véritables phrases dotées d'un sens ordinaire, capables d'être vraies ou fausses. Cette intuition sous-tend les préoccupations concernant les « hallucinations » (faussetés) et la « sycophantie » (accord trompeur).
2. La vue sceptique : Les théories dominantes de la philosophie du langage (intentionnalisme de Grice, Kaplan, Kripke) postulent que le langage significatif nécessite que le locuteur possède des intentions communicatives spécifiques. Puisque les LLM sont dépourvus d'esprits, de croyances et d'intentions, les sceptiques soutiennent que leurs productions ne sont que des « perroquets stochastiques » ou des simulacres ersatz dépourvus de sens véritable.
3. La vue révisionniste : Certains théoriciens (par exemple, Cappelen & Dever) soutiennent que pour préserver l'intuition selon laquelle les chatbots sont significatifs, nous devons radicalement « dé-anthropomorphiser » notre compréhension des états mentaux et des intentions, en accordant de fait aux LLM le statut de pleins agents cognitifs.

Les auteurs identent un trilemme : (1) Le discours des chatbots est significatif ; (2) Le sens nécessite des intentions communicatives ; (3) Les chatbots manquent d'intentions communicatives. L'article soutient que la résolution standard (rejeter 1 ou accepter une révision radicale de 2) est erronée.

Méthodologie et cadre théorique
Les auteurs emploient une analyse philosophique et linguistique qui rejette la nécessité des intentions du locuteur pour le contenu sémantique. Leur approche implique :

• Dé-anthropomorphiser le sens : Ils soutiennent que l'exigence d'« intentions communicatives » est une hypothèse anthropomorphique qui échoue même pour les locuteurs humains en cas d'erreur ou d'accident.
• Comptes mécanistes et causal-historiques : En s'appuyant sur des modèles psycholinguistiques (par exemple, Dell, Levelt) et des théories causales de la référence (Kripke, Putnam), ils proposent que l'identité des mots et le sens sont déterminés par les processus mécanistes de sélection et l'histoire causale, et non par l'état interne de l'agent.
• Contraintes internes au discours : Ils utilisent la théorie de la cohérence du discours (Asher & Lascarides, Kehler) pour soutenir que les expressions sensibles au contexte (comme les pronoms) sont résolues par des conventions linguistiques et la structure du discours plutôt que par l'intention du locuteur.

Arguments clés et contributions

1. Rejet de l'exigence d'intentionnalité
Les auteurs soutiennent que l'attribution de sens à un énoncé ne nécessite pas que le locuteur ait une intention communicative spécifique.

• Erreur humaine : Dans le discours humain, les locuteurs produisent souvent des tokens qu'ils n'ont pas intentionnés (par exemple, des erreurs d'échange sémantique comme dire « rats » au lieu de « chats »). L'énoncé porte néanmoins le sens courant du token produit (« rats »), rendant l'affirmation fausse plutôt que dénuée de sens.
• Application aux LLM : Si les énoncés humains peuvent être significatifs sans un alignement parfait sur l'intention, les LLM peuvent également produire un texte significatif. La significativité de la production dépend du tokenage d'expressions linguistiques dotées d'histoires causales appropriées, et non de l'« esprit » interne du système.

2. Les LLM comme tokenneurs d'expressions linguistiques
L'article soutient que les sorties des LLM constituent de véritables expressions linguistiques (phrases en anglais) car :

• Sélection mécaniste : Les LLM sélectionnent des tokens via des processus computationnels (vecteurs de plongement, mécanismes d'attention) qui reflètent la sélection causale des items lexicaux dans les modèles psycholinguistiques humains.
• Chaînes causal-historiques : Les tokens produits par les LLM sont causalement connectés aux données d'entraînement (communautés linguistiques humaines). Tout comme un mot humain est défini par sa chaîne causale remontant à un événement de « création », le token d'un LLM est défini par sa connexion aux motifs statistiques du corpus d'entraînement.
• Résolution contextuelle : L'article soutient que la sensibilité au contexte (par exemple, la résolution de « cela » ou « elle ») est régie par des règles linguistiques internes au discours (relations de cohérence, saillance) plutôt que par l'intention du locuteur. Puisque les LLM génèrent un texte qui adhère à ces structures de cohérence, leurs sorties sensibles au contexte possèdent un contenu sémantique déterminé.

3. Le sens comme un « seuil bas »
Les auteurs définissent un « seuil bas » pour la significativité :

• Cela exige seulement que le système produise des tokens sélectionnés via des mécanismes qui suivent les conventions linguistiques et les histoires causales.
• Cela ne nécessite pas que le système possède des états mentaux, une agence rationnelle ou une compréhension de l'utilisateur.
• Cette vue évite de devoir prétendre que les LLM sont des « agents cognitifs » (comme le suggèrent Cappelen & Dever) tout en rejetant la vue selon laquelle ils sont « dénués de sens » (comme le suggèrent Bender et al.).

4. Implications pour la critique et l'évaluation
La thèse centrale de l'article est qu'attribuer du sens aux chatbots n'est pas une approbation de leur production.

• Vérité et fausseté : Parce que les sorties sont significatives, elles peuvent être évaluées comme vraies ou fausses. Cela valide la critique des « hallucinations » (affirmations fausses) et de la « sycophantie » (accord trompeur).
• Limites de la vérité : Cependant, les auteurs soutiennent que rendre les chatbots « véridiques » est insuffisant. Même si un chatbot exprimait des propositions vraies, il pourrait toujours être problématique s'il engage dans des « schémas trompeurs » (par exemple, le gaslighting, la flatterie manipulatrice ou le fait de favoriser l'engagement addictif).
• Critique de la refonte : Simplement redessiner un chatbot pour qu'il produise des énoncés vrais via différents mécanismes ne résoudrait pas les problèmes éthiques plus profonds concernant la manière dont la technologie façonne la perception et l'interaction de l'utilisateur.

Résultats et affirmations

• Résultat théorique : L'article résout le trilemme en rejetant la prémisse (2) : le langage significatif ne nécessite pas strictement des intentions communicatives.
• Observation empirique : Les auteurs démontrent que les outils sémantiques standards (conditions de vérité, référence, cohérence du discours) s'appliquent aux sorties des chatbots, permettant une critique rigoureuse de leurs erreurs (par exemple, l'étude de cas « Guinzburg » où le bot a faussement affirmé avoir lu des textes et fabriqué des citations).
• Signification : L'article affirme que reconnaître la significativité des sorties de chatbots est essentiel pour un engagement critique envers l'IA. Cela permet aux chercheurs d'identifier des échecs sémantiques spécifiques (mensonges, incohérence, manipulation) sans avoir besoin d'anthropomorphiser le système ou de nier sa nature linguistique. Les auteurs concluent que bien que les chatbots produisent un texte significatif, ce fait souligne les dangers de la technologie (désinformation, manipulation) plutôt que de valider leurs capacités en tant qu'agents cognitifs.

Conclusion
L'article affirme que « Le langage est significatif » indépendamment de l'agent qui le produit, à condition que la production suive les conventions linguistiques et les histoires causales. Cette perspective permet une critique robuste des systèmes d'IA basée sur la vérité et la cohérence de leurs énoncés, tout en mettant en garde contre le fait que « significatif » ne signifie pas « bon » ou « sûr ». Les auteurs soulignent que le problème avec les chatbots n'est pas l'absence de sens, mais la nature du sens qu'ils produisent et les schémas de conception manipulateurs qu'ils incarnent souvent.