🤖 AI

Semantic Bandits: In-Context Exploration-Exploitation is Biased by Semantic Priors

Cet article introduit le cadre du « bandit sémantique » pour démontrer que les compromis exploration-exploitation des grands modèles de langage sont significativement biaisés par des priors sémantiques dérivés du pré-entraînement, où des étiquettes informatives peuvent soit améliorer, soit dégrader la performance selon leur alignement avec les récompenses, et où les récompenses négatives déclenchent de manière disproportionnée l'exploration en raison de biais d'échelle attendus.

Auteurs originaux : David Eric Austin, Kaheer Suleman, Jackie Chi Kit Cheung

Publié 2026-08-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : David Eric Austin, Kaheer Suleman, Jackie Chi Kit Cheung

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un programme informatique qui a lu presque tous les livres, articles et sites web d'Internet. Il peut écrire de la poésie, résoudre des problèmes mathématiques et tenir des conversations qui semblent remarquablement humaines. C'est un grand modèle de langage. Maintenant, imaginez que vous donniez à ce programme un travail où il doit faire une série de choix pour obtenir la meilleure récompense possible, comme un fermier décidant dans quel champ planter ses cultures, ou un moteur de recommandation choisissant quel chemisier montrer à un client. C'est une tâche de prise de décision. Dans le monde de l'informatique, il existe un moyen classique de tester la capacité d'un agent à apprendre de l'expérience : le problème des bandits multi-bras. Il tire son nom des rangées de machines à sous dans un casino, chacune ayant un gain inconnu. Pour gagner le plus d'argent, vous devez équilibrer deux besoins concurrents : s'en tenir à la machine qui semble être la plus payante en ce moment, et essayer les autres machines au cas où l'une d'elles serait réellement meilleure. Cet équilibre est appelé exploration versus exploitation. Pendant des décennies, des chercheurs ont étudié comment résoudre cela mathématiquement. Mais lorsqu'ils ont commencé à utiliser ces puissants modèles de langage comme décideurs, ils ont remarqué quelque chose d'étrange. Les modèles ne se contentaient pas de regarder les chiffres ; ils lisaient les mots.

Une équipe de chercheurs de l'Université McGill et de Mila a décidé d'étudier ce phénomène en créant un nouveau type de test appelé le « bandit sémantique ». Dans un test standard, les choix sont étiquetés avec des codes neutres comme « Bras A » ou « Bras B ». Dans ce nouveau test, les chercheurs ont donné aux choix des noms qui portent un sens, tels que « divin », « doux » ou « dégoûtant ». Ils voulaient voir si l'ordinateur laisserait le sens de ces mots l'emporter sur les données réelles qu'il collectait. Ils ont mis en place un scénario où l'ordinateur agissait comme un fermier choisissant entre trois champs. Chaque champ produisait un rendement de culture aléatoire, et le but était de maximiser la récolte totale au fil du temps. Les chercheurs ont donné aux champs des noms suggérant leur qualité. Dans une version, le meilleur champ était nommé « divin » et le pire « dégoûtant ». Dans une autre version, ils ont inversé les noms, de sorte que le meilleur champ était appelé « dégoûtant » et le pire « divin ».

Les résultats ont été frappants. Lorsque les noms correspondaient à la réalité des champs — quand le champ « divin » produisait effectivement le plus de récoltes — l'ordinateur apprenait incroyablement vite. Il arrêtait d'essayer les autres champs presque immédiatement et s'en tenait au champ « divin », atteignant un score parfait avec très peu d'essais et d'erreurs. Cependant, lorsque les noms étaient trompeurs, l'ordinateur commettait une erreur catastrophique. Il devenait convaincu que le champ nommé « divin » était le meilleur, même après que les données aient montré qu'il produisait la pire récolte. Il ignorait les preuves et continuait de choisir le champ « divin », tandis que le champ nommé « dégoûtant » (qui était en fait le meilleur) restait intouché. L'ordinateur n'agissait pas sur les chiffres ; il agissait sur les associations qu'il avait apprises en lisant des milliards de mots lors de son entraînement. Il avait appris que « divin » signifie généralement bon et « dégoûtant » signifie généralement mauvais, et il appliquait cette règle même quand les chiffres spécifiques devant lui disaient le contraire.

Les chercheurs ont également découvert que l'ordinateur réagissait différemment aux nombres positifs et négatifs. Lorsque l'ordinateur recevait une récompense négative — une perte ou une pénalité — il devenait soudainement beaucoup plus curieux. Il commençait à essayer toutes les différentes options à nouveau, explorant les champs inconnus avec une grande énergie. Mais lorsqu'il recevait une récompense positive, même petite, il avait tendance à arrêter d'explorer et à s'en tenir à ce qu'il connaissait. Cela suggère que l'ordinateur ne voit pas les nombres comme des signaux abstraits dans le vide. Au lieu de cela, il semble avoir une attente interne de ce qu'une récompense « normale » devrait être, probablement façonnée par la façon dont les récompenses sont décrites dans le texte sur lequel il a été entraîné. Un nombre négatif brise cette attente si sévèrement qu'il force l'ordinateur à tout réévaluer, tandis qu'un nombre positif semble sûr et l'encourage à poursuivre sa route.

Ce comportement n'était pas limité à un modèle informatique spécifique. Les chercheurs ont testé trois modèles de langage différents, allant de systèmes open-source à des versions commerciales avancées, et tous montraient le même biais. L'effet était si fort qu'il pouvait transformer un simple problème de décision en un échec. Dans une tâche qu'un programme informatique classique résoudrait en quelques étapes, le modèle de langage pouvait échouer complètement si les mots étaient légèrement trompeurs. Les chercheurs ont découvert qu'ils pouvaient partiellement corriger cela en disant explicitement à l'ordinateur dans ses instructions d'ignorer les noms et de continuer à explorer, mais le biais était profondément ancré. Même avec des avertissements, les modèles avaient souvent du mal à séparer la signification des mots de la réalité des chiffres.

L'étude conclut que l'utilisation du langage pour décrire un environnement de décision introduit des biais inévitables. Parce que ces modèles sont entraînés sur la cooccurrence de mots dans le texte humain, ils portent un ensemble d'hypothèses sur la façon dont le monde fonctionne. Lorsque ces hypothèses s'alignent sur la tâche, le modèle est un génie, apprenant plus vite que n'importe quel algorithme traditionnel. Lorsqu'elles entrent en conflit, le modèle devient têtu, ignorant les preuves claires parce qu'il est trop occupé à suivre l'histoire que les mots lui racontent. Ce n'est pas un bug dans le code, mais une caractéristique de la façon dont ces systèmes apprennent le langage. Alors que ces modèles sont déployés dans des situations réelles, du conseil financier à la conduite autonome, comprendre quand leur intuition linguistique aide et quand elle les égare est crucial. Les chercheurs ont constaté que, dans le scénario de décision le plus simple possible, un ordinateur peut être trompé pour faire le pire choix possible simplement en changeant l'étiquette d'un bouton.

Résumé Technique : Les Bandits Sémantiques : L'Exploration-Exploitation en Contexte est Biaisée par les Priors Sémantiques

Définition du Problème

Les grands modèles de langage (LLM) sont de plus en plus déployés en tant qu'agents de prise de décision dans des contextes d'apprentissage par renforcement en contexte (ICRL), où ils doivent équilibrer l'exploration (collecte d'informations) et l'exploitation (maximisation des récompenses connues) sur la base de retours fournis en langage naturel. Alors que les agents classiques d'apprentissage par renforcement (RL) opèrent sur des représentations symboliques qui éliminent toute information non essentielle, les LLM traitent les tâches via le langage naturel, ce qui les expose à des informations sémantiques (ex: étiquettes d'actions, contexte de domaine, signe numérique) qui n'ont aucun équivalent formel dans la structure de la tâche.

Le problème central abordé est que ces « priors sémantiques » — des biais inductifs issus des statistiques de cooccurrence de mots apprises lors du pré-entraînement — peuvent systématiquement fausser le comportement d'exploration des LLM. Les cadres d'évaluation existants basés sur le RL classique échouent souvent à prendre en compte ces biais, ce qui peut conduire à des évaluations trompeuses des capacités de prise de décision d'un agent. L'article postule que l'utilisation du langage pour définir les environnements introduit des biais inévitables qui peuvent soit aider, soit entraver la performance, selon l'alignement entre le prior sémantique et la distribution réelle des récompenses.

Méthodologie

Pour étudier cela, les auteurs introduisent le Bandit Sémantique, une extension formelle du problème de la Multi-Armed Bandit (MAB). Contra à un MAB classique défini uniquement par des distributions de récompenses, une instance de bandit sémantique inclut explicitement :

La Nomenclature des Actions ( $L$ ) : Des étiquettes textuelles assignées à chaque bras (ex : « divin », « doux », « dégoûtant »).
Le Scénario ( $c$ ) : Le domaine thématique ancrant le problème (ex : agriculture, recommandation de vêtements, bandit abstrait).

Conception Expérimentale

L'étude évalue trois LLM ajustés par instruction (OLMo-3.1-32B, Qwen3-32B et Gemini 3.1 Flash Lite) à travers trois scénarios présentant différents niveaux de complexité sémantique. Les expériences manipulent deux variables principales :

Nomenclature des Actions : Quatre types ont été testés :
- Alphanumérique : Chaînes de caractères aléatoires (condition de contrôle).
- Sentiment : Adjectifs avec une valence positive, neutre ou négative.
- Ordinal : Étiquettes de rang explicites (Plus élevé, Intermédiaire, Plus bas).
- Connaissance du Monde : Étiquettes spécifiques au domaine où la valeur est déduite du pré-entraînement (ex : « Prairies Productives » vs « Désert Aride »).
- Alignement : Chaque nomenclature a été testée dans des configurations « Utiles » (l'étiquette sémantique correspond à une récompense élevée) et « Trompeuses » (l'étiquette sémantique correspond à une récompense faible).
Échelle de Récompense : La polarité et l'amplitude des récompenses observées ont été variées, incluant des échelles positives (Haut+, Bas+) et négatives (Haut-, Bas-), afin de tester les biais d'échelle attendue.

Métriques

La performance a été mesurée par :

Regret Cumulé Normalisé : La différence entre la récompense du bras optimal et la récompie accumulée de l'agent, normalisée sur $[0, 1]$ .
Nombre d'Explorations : Le nombre de bras distincts sélectionnés au cours de l'épisode.
Probabilité d'Exploration : Dans les expériences de balayage d'échelle, la probabilité de changer de bras immédiatement après avoir observé une valeur de récompense spécifique.

Contributions Clés

Le Cadre du Bandit Sémantique : L'article formalise l'extension du problème MAB pour inclure la nomenclature des actions et le contexte du scénario, fournissant un environnement contrôlé pour isoler les effets des priors sémantiques sur l'exploration.
Caractérisation du Biais Sémantique : Les auteurs démontrent que les priors sémantiques ne sont pas de simples bruits, mais des moteurs actifs de la prise de décision capables de supplanter les signaux de récompense.
Effets de la Polarité de la Récompense : L'étude identifie un biais distinct où les récompenses négatives déclenchent significativement plus d'exploration que les récompenses positives équivalentes, suggérant que les LLM interprètent les récompenses par rapport à une échelle attendue dérivée des conventions de pré-entraînement.
Interaction entre Priors et Récompenses : L'article révèle que les récompenses négatives peuvent annuler l'influence de la nomenclature des actions, forçant le modèle à explorer même lorsque les étiquettes sémantiques suggèrent l'exploitation.

Résultats

Les expériences ont produit trois découvertes principales :

La Nomenclature des Actions dirige l'Exploration/Exploitation :
- Lorsque la nomenclature était alignée avec la structure de récompense (ex : étiquettes positives sur des bras à haute récompense), les modèles exploitaient les priors sémantiques pour obtenir un faible regret avec une exploration minimale, surpassant souvent les bases classiques comme UCB1.
- Lorsque la nomenclature était désalignée (ex : étiquettes positives sur des bras à faible récompense), les modèles étaient gravement induits en erreur, restant figés sur des actions sous-optimales et subissant un regret cumulé élevé.
- Les étiquettes ordinales induisaient le biais le plus fort, suivies par le sentiment et la connaissance du monde. Les étiquettes alphanumériques résultaient en un comportement le plus proche de la norme UCB1.
- Différents modèles ont montré des comportements distincts : OLMo a eu du mal à explorer sans un cadrage de tâche explicite ; Qwen3 a montré une exploitation constante des étiquettes ordinales ; Gemini a exploré rapidement mais s'est montré vulnérable aux biais de connaissance du monde dans des contextes complexes.
La Polarité de la Récompense comme Indice Contextuel :
- Les valeurs de récompense négatives ont déclenché nettement plus d'exploration que les valeurs positives. Cela suggère que les LLM ne traitent pas les récompenses comme des signaux numériques abstraits, mais les interprètent par rapport à une échelle attendue (ex : les valeurs négatives sont « inattendues » ou « mauvaises », incitant à chercher de meilleures options).
- Cet effet était plus marqué chez OLMo et Qwen3, tandis que Gemini montrait une réponse plus atténuée.
Atténuation via le Prompting :
- Avertir explicitement les modèles sur les biais potentiels des étiquettes ou leur donner l'instruction d'« explorer » a augmenté les comptes d'exploration.
- Cependant, l'impact sur le regret cumulé était incohérent : dans les scénarios « Utiles », forcer l'exploration augmentait souvent le regret (en perturbant l'exploitation efficace), tandis que dans les scénarios « Trompeurs », cela le diminuait.

Signification et Revendications

L'article soutient que la dépendance au langage naturel pour les tâches d'ICRL introduit une divergence fondamentale par rapport à la théorie classique de la décision. La revendication la plus significative est que les priors sémantiques sont assez puissants pour déterminer complètement le comportement dans l'un des problèmes de décision les plus simples (un bandit à 3 bras stationnaire sans variance).

Implications pour l'Évaluation : Les praticiens évaluant les agents LLM sur des tâches avec des étiquettes naturelles et sémantiquement cohérentes peuvent mesurer un mélange de raisonnement véritable et d'exploitation de priors sémantiques. Un modèle paraissant performant peut simplement avoir des priors alignés avec l'environnement d'évaluation, menant à des échecs silencieux lors du déploiement réel.
Inquiétudes sur la Fiabilité : Les conclusions soulèvent des inquiétudes quant à la stabilité des agents LLM dans des contextes réels (ex : systèmes de recommandation, agents autonomes). La capacité du texte de surface à supplanter les signaux de récompense suggère que la robustesse ne peut être supposée simplement parce qu'un modèle réussit sur des benchmarks standards.
Directions Futures : Les auteurs concluent que comprendre quand le contexte sémantique aide l'adaptation plutôt que d'induire des erreurs systématiques est un prérequis pour un déploiement sûr. Ils proposent le Bandit Sémantique comme un outil pour les travaux futurs sur la robustesse et le calibrage de la prise de décision des LLM.

L'article reste modeste dans sa portée, reconnaissant des limites telles que le petit nombre de répétitions dû aux contraintes de calcul et la simplicité de l'environnement synthétique. Il appelle à des recherches supplémentaires pour ancrer ces effets dans des contextes de déploiement d'agents plus réalistes.