Résumé technique : Raccourcis morphologiques des LLM en pharmacologie

Énoncé du problème

Les grands modèles de langage (LLM) généralisent fréquemment à partir de la structure morphologique des mots (préfixes, suffixes et radicaux) pour en déduire le sens. Bien que cette capacité reflète le traitement linguistique humain, elle pose des risques de sécurité importants dans les domaines à enjeux élevés comme la pharmacologie. En médecine, la nomenclature des médicaments est hautement systématique ; le système des Noms Internationaux Non Propriétaires (INN) de l'Organisation Mondiale de la Santé standardise les affixes pour signaler des classes pharmacologiques ou chimiques spécifiques. Cet article examine si les LLM s'appuient sur ces « raccourcis » morphologiques pour générer un contenu clinique confiant et plausible pour des médicaments fictifs, ce qui pourrait conduire à une surgénéralisation et des hallucinations dangereuses. Contra-irement aux travaux antérieurs axés sur la productivité linguistique, cette étude examine les conséquences réelles de telles inférences dans des contextes médicaux sensibles à la sécurité.

Méthodologie

1. Stimuli et construction du jeu de données

Les auteurs ont construit un jeu de données contrôlé utilisant 655 affixes médicaux issus de la liste de l'American Medical Association (AMA). Ils ont créé trois conditions de stimuli parallèles pour chaque affixe :

• Médicaments Réels : Médicaments attestés (ex. : ampicilline).
• Médicaments Factices : Radicaux non-lexicaux combinés à des affixes pharmacologiques réels (ex. : dimicilline, où « dimi- » est un radical non-lexical et « -cilline » est un affixe antibiotique réel).
• Mots Non-lexicaux : Radicaux non-lexicaux combinés à des affixes non-lexicaux de même longueur (ex. : dimiglimto), servant de contrôle sans morphologie pharmacologique.

2. Analyse comportementale

L'étude a évalué neuf LLM (incluant Llama-3.1, Gemini, GPT-5-mini, OLMo, Qwen2.5 et des variantes spécialisées en médecine) à travers deux tâches :

• Choix multiples (MC) : Les modèles choisissent entre une définition cohérente avec l'affixe, des distracteurs et une option « médicament inexistant ».
• Questions ouvertes (OE) : Les modèles répondent à des requêtes utilisateur naturelles (ex. : « Est-ce que {médicament} est efficace pour traiter {pathologie} ? »). Un juge LLM (Claude-Sonnet-4.5) évalue si les réponses traitent les médicaments fictifs comme étant réels.

3. Cadre de diagnostic

Pour déterminer la source de la connaissance d'un modèle (affixe, radical ou holistique), les auteurs ont introduit un cadre basé sur la perturbation. Pour chaque médicament réel ($RR$), ils ont généré des variantes en remplaçant le radical ($NR$), l'affixe ($RN$), ou les deux ($NN$) par des formes non-lexicales. Ils ont défini trois scores normalisés :

• Score d'Affixe : La contribution de l'affixe seul à la prédiction du modèle.
• Score de Radical : La contribution du radical seul.
• Score Holistique : L'effet d'interaction (synergie) entre le radical et l'affixe corrects.

4. Analyse mécaniste

En utilisant le patch de l'activation (activation patching) et la recherche d'alignement distribué (DAS) sur OLMo-3-7B-Instruct et Qwen2.5-7B-Instruct, les auteurs ont localisé les mécanismes causaux pilotant le comportement dépendant de l'affixe. Ils ont mesuré comment la restauration des signaux morphologiques dans des entrées corrompues affectait les probabilités des tokens cibles et ont identifié des directions pilotables dans les représentations internes du modèle.

Résultats clés

Résultats comportementaux

• Généralisation pilotée par l'affixe : Les modèles ont systématiquement traité les médicaments fictifs (Fake) comme réels, sélectionnant des définitions cohérentes avec l'affixe et générant un contenu clinique confiant. Ce comportement est nettement plus fort que les réponses aux mots non-lexicaux (Nonce), confirmant que les structures d'affixes valides pilotent l'acceptation.
• Variance des modèles : Les modèles médicalisés spécialisés (ex. : Meditron3-7B, HuatuoGPT) présentent la surgénéralisation la plus forte, traitant souvent les entrées Fake, Real et même Nonce de manière similaire comme des médicaments valides. Les modèles plus larges (ex. : Llama-3.1-70B) montrent une généralisation plus forte dans les tâches à choix multiples.
• Raisonnement silencieux : Dans la tâche MC, les modèles sélectionnent fréquemment des définitions cohérentes avec l'affixe sans mentionner explicitement l'affixe dans leurs explications. Cela suggère que les indices morphologiques opèrent de manière implicite, les explications de surface servant de rationalisations a posteriori.
• Conflit de faits : Dans les tâches OE, les modèles ont souvent confondu les propriétés entre différents médicaments partageant le même affixe (ex. : attribuer les mécanismes d'un médicament « -ciclib » à un autre), menant à des conseils médicaux plausibles mais factuellement incorrects.

Résultats du cadre de diagnostic

• Prévalence de la dépendance à l'affixe : Sur 653 médicaments, une grande proportion du comportement des modèles est principalement pilotée par les indices d'affixe plutôt que par une connaissance holistique du médicament.
• Dépendance à la tâche : Dans les tâches MC, les modèles s'appuient fortement sur la sémantique de l'affixe pour la catégorisation. Dans les tâches OE, la dépendance glisse vers la connaissance holistique, bien que les erreurs pilotées par l'affixe persistent.
• Corrélation d'entraînement : Les signaux holistiques sont positivement corrélés à la fréquence du médicament dans le corpus d'entraînement, tandis que les signaux morphologiques (affixe/radical) présentent des corrélations négatives, suggérant que les médicaments de faible fréquence sont plus susceptibles aux raccourcis morphologiques.

Résultats mécanistes

• Localisation : Le patch d'activation a révélé que les heuristiques dépendantes de l'affixe sont localisées dans les couches précoces à moyennes (environ les couches 2 à 10) du transformer.
• Mécanisme en deux étapes : L'information de l'affixe est d'abord intégrée dans la représentation du sujet dans les couches précoces, puis propagée vers le token de prédiction final.
• Contrôle causal : Le DAS a identifié des directions de rang faible dans ces couches précoces-moyennes qui peuvent moduler de manière bidirectionnelle la dépendance à l'affixe. Piloter ces directions peut faire basculer les prédictions du modèle de « cohérent avec l'affixe » à « inexistant » et vice versa, confirmant un lien causal.
• Dynamique d'entraînement : Les signaux de classe pilotés par l'affixe émergent tôt durant l'entraînement et se généralisent de manière robuste aux faux médicaments, tandis que les représentations holistiques émergent plus tard et restent liées à des identités de médicaments spécifiques.

Signification et affirmations

L'article soutient que les raccourcis morphologiques représentent un risque subtil mais mesurable pour la fiabilité des LLM dans les contextes médicaux. Les affirmations clés sont les suivantes :

1. Nature systématique : Les raccourcis pilotés par l'affixe ne sont pas des erreurs aléatoires mais des comportements systématiques où les modèles induisent le sens du médicament principalement via des indices morphologiques, souvent sans indication explicite.
2. Implications de sécurité : Ces raccourcis permettent aux modèles de générer un contenu clinique confiant et d'apparence plausible pour des médicaments inexistants, ce qui peut mener à une désinformation dangereuse. La dépendance à la morphologie est souvent invisible au niveau de la sortie, ce qui la rend difficile à détecter via l'audit standard des sorties.
3. Transparence mécaniste : L'étude démontre que ces comportements peuvent être localisés mécaniquement et contrôlés causalement à l'aide de l'interne du modèle, offrant une cible pour de futures interventions de sécurité et des outils d'audit.
4. Limites : Les auteurs notent que leur cadre de diagnostic nécessite l'accès aux probabilités de tokens (logits), limitant l'analyse aux modèles open-source ou transparents. De plus, les expériences mécanistes ont été menées sur des modèles de l'échelle 7B, et la généralisabilité à des architectures plus larges reste une question ouverte.

Ce travail fournit un cadre pour auditer le comportement des LLM médicaux et souligne la nécessité de distinguer la véritable connaissance pharmacologique de l'extrapolation de la forme de surface dans les applications critiques pour la sécurité.