💻 informatique

A Deterministic Framework for Pharmaceutical Authenticity Verification Using Constrained Multimodal AI

Le document présente MedTruth, un cadre déterministe à double mode qui contraint un modèle d'IA multimodal avec des paramètres fixes et des schémas de sortie stricts pour réduire les hallucinations de 15 % à moins de 2 %, permettant ainsi une vérification fiable de l'authenticité pharmaceutique et une interaction sécurisée avec le patient.

Auteurs originaux : Viral Dhoka, Pankaj Kunekar, Tanaya Thorat, Shreenath Utekar, Samruddhi Wankhede

Publié 2026-10-13

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Viral Dhoka, Pankaj Kunekar, Tanaya Thorat, Shreenath Utekar, Samruddhi Wankhede

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Chaque année, des millions de personnes à travers le monde achètent des médicaments qui ont l'air réels mais qui ne le sont pas. Dans de nombreux endroits, un flacon de pilules peut ne contenir rien d'autre que de la craie, ou pire, un produit chimique industriel dangereux. Alors que les gouvernements et les grandes entreprises utilisent des systèmes de traçabilité complexes pour empêcher ces faux de pénétrer dans la chaîne d'approvisionnement, la personne debout dans une petite boutique avec un paquet suspect n'a aucun moyen de vérifier s'il est authentique. Récemment, des gens ont commencé à demander à des agents conversationnels d'intelligence artificielle générale de les aider à décider. Ils téléchargent une photo du médicament et demandent s'il est sûr. Cependant, ces chatbots sont conçus pour être utiles et conversationnels, et non forensiques. Ils inventent souvent des détails avec assurance, créant ce qui n'existe pas, ou donnent des réponses vagues qui n'aident pas un patient en situation de crise.

Des chercheurs du Vishwakarma Institute of Technology en Inde ont construit un nouveau système appelé MedTruth pour résoudre ce problème spécifique. Au lieu d'essayer de créer un chatbot plus intelligent, ils ont construit un système qui force une intelligence artificielle standard à agir comme un inspecteur rigoureux. L'équipe a pris un puissant modèle de langage visuel — capable de voir des images et de lire du texte — et l'a enveloppé dans un ensemble de règles rigides. Ces règles empêchent l'ordinateur de bavarder ou de deviner. Au lieu de cela, le système est contraint d'examiner l'emballage du médicament en quatre étapes spécifiques : lire le texte, vérifier les détails du design, comparer le nom du médicament à ses ingrédients, et chercher des marques gouvernementales officielles. Ce n'est qu'après avoir complété cette liste de contrôle que le système donne un score final.

Les résultats montrent que cette approche rigide fonctionne bien mieux que de laisser l'ordinateur parler librement. Lorsque les chercheurs ont testé le système sur cinquante emballages de médicaments différents, incluant trente vrais et quinze faux très bien réalisés, le nouveau système a correctement identifié la vaste majorité d'entre eux. Il a détecté presque tous les produits authentiques et la plupart des faux. Plus important encore, le système a cessé d'inventer des faits. Lors d'un test avec un chatbot standard et non réglementé, l'ordinateur a inventé de fausses caractéristiques de sécurité ou a mal interprété des motifs environ quinze pour cent du temps. Avec le nouveau système MedTruth, ce taux d'erreur est tombé à moins de deux pour cent. Le système est également resté rapide, ne prenant qu'environ deux secondes pour scanner une photo et donner une réponse, ce qui est assez rapide pour qu'une personne puisse l'utiliser en étant debout dans un magasin.

Le secret de ce succès réside dans la manière dont le système gère l'intelligence artificielle. Les chercheurs ont divisé l'outil en deux modes distincts qui ne se mélangent jamais. Le premier mode est un scanner sans état (stateless), ce qui signifie qu'il n'a pas de mémoire des conversations passées. Il examine l'image, suit sa liste de contrôle stricte et produit un score simple. Cela empêche l'ordinateur d'être influencé par ce qu'un utilisateur a dit précédemment. Si le paquet passe ce contrôle strict, l'utilisateur peut alors passer à un second mode, un assistant conversationnel qui peut répondre à des questions sur le médicament. Cet assistant est autorisé à ne parler que du médicament spécifique qui vient de passer le test, et il est programmé pour ne jamais donner de conseils médicaux ni dire à un patient d'arrêter de prendre une prescription.

En forçant l'ordinateur à ralentir et à suivre un processus étape par étape, les chercheurs ont transformé un outil conçu pour la conversation ouverte en un instrument de vérification fiable. L'étude suggère que pour les tâches critiques en matière de sécurité comme la vérification de médicaments, la meilleure façon d'utiliser l'intelligence artificielle n'est pas de la rendre plus créative, mais de la rendre plus contrainte. Le système ne remplace pas les tests de laboratoire ou les registres officiels du gouvernement, mais il offre un moyen pratique aux gens ordinaires de repérer les faux évidents lorsqu'ils n'ont pas d'autre option. Les chercheurs notent que, bien que le système soit hautement efficace dans leurs tests, il dépend toujours de la qualité de la photo et de la présence de texte visible, et qu'il ne peut pas vérifier si un numéro de licence est réellement réel si un contrefacteur en a copié le format parfaitement. Néanmoins, ce travail démontre qu'avec une conception minutieuse, l'intelligence artificielle peut être rendue capable d'agir avec la cohérence et la précision requises pour protéger la santé publique.

Résumé Technique : Un Cadre Déterministe pour la Vérification de l'Authenticité Pharmaceutique via une IA Multimodale Contrainte

Énoncé du Problème

Les médicaments contrefaits représentent une menace critique pour la santé publique mondiale, les estimations suggérant que jusqu'à 30 % des produits médicaux dans les régions dotées d'une surveillance réglementaire faible sont de qualité inférieure ou falsifiés. Bien que des défenses institutionnelles telles que la blockchain et le RFID existent, elles échouent souvent à assister l'utilisateur final détenant un colis suspect dans des contextne de ressources limitées.

Le document identifie une lacune spécifique dans l'utilisation de l'IA conversationnelle à usage général (ex. : ChatGPT, Gemini) pour la vérification des médicaments. Ces modèles, optimisés pour la fluidité et l'engagement plutôt que pour la précision forensique, présentent trois schémas d'échec récurrents lorsqu'on leur demande de juger l'authenticité :

Dissociation Visuelle-Textuelle : Les modèles peuvent lire le texte via un raisonnement de type OCR, mais ignorent les indices physiques comme la dérive typographique, les discordances de couleurs ou l'absence de sceaux holographiques.
Fausse Confiance : En raison de la génération du prochain jeton (next-token generation) qui optimise la plausibilité, les modèles affirment souvent l'authenticité sans base probante.
Injection d'Ambiguïté : Les modèles retombent fréquemment sur des suggestions vagues (ex. : « consultez un pharmacien ») plutôt que de fournir des jugements exploitables.

Ces échecs sont inhérents à la nature probabiliste des modèles transformeurs, où l'échantillonnage contrôlé par la température privilégie l'engagement plutôt que la justesse binaire.

Méthodologie

Les auteurs proposent MedTruth, un cadre à double mode qui contraint un grand modèle de langage (LLM) multimodal à se comporter de manière déterministe plutôt qu'ouverte. Le système utilise Gemini 1.5 Flash et est implémenté comme une application monopage côté client pour minimiser la latence.

Conception Architecturale

Le système emploie un routeur d'état pour séparer strictement deux modes opérationnels, empêchant l'historique de conversation de biaiser les analyses forensiques :

Mode Vérification (Sans État) : Un pipeline d'inspection forensique où le modèle agit comme une fonction de classification structurée.
Mode Dr. AI (Avec État) : Un assistant conversationnel qui s'active uniquement après qu'un colis a passé la vérification, maintenant une mémoire tournante courte pour les questions sur le dosage et les effets secondaires.

Prompting Basé sur des Contraintes

Pour transformer le modèle génératif en un instrument de notation, MedTruth applique quatre contraintes spécifiques lors du Mode Vérification :

Définition du Rôle : Le prompt système définit explicitement le modèle comme un moteur de vérification déterministe, interdisant tout texte conversationnel.
Application de Schéma : La sortie est forcée dans un schéma JSON strict contenant un score d'authenticité, des recommandations de sécurité, des tableaux d'anomalies visuelles et des drapeaux de conformité réglementaire.
Suppression de la Température : La température d'échantillonnage est fixée à 0,2 (contre la valeur créative par défaut de 1,0) pour concentrer la masse de probabilité sur les jetons les plus probables, garantissant des résultats reproductibles.
Chaîne de Pensée Visuelle (Visual Chain of Thought) : Le modèle est contraint de suivre un processus de raisonnement séquentiel en quatre étapes avant de générer un verdict :
1. Extraire le texte visible (nom du médicament, lot, expiration) et les éléments de design.
2. Comparer les observations avec les motifs de marque attendus (ex. : réfraction de l'hologramme).
  3.' Effectuer une vérification croisée entre le nom du médicament déclaré, l'ingrédient pharmaceutique actif (API) et le dosage plausible.
3. Vérifier les marqueurs réglementaires obligatoires (ex. : symbole Rx, format de licence).

Score d'Authenticité

Le cadre calcule un score d'authenticité composite ( $S_{auth}$ ) utilisant une moyenne géométrique pondérée de trois vecteurs :

Identité Visuelle ( $V_m$ , poids 0,4) : Typographie, fidélité des couleurs, hologrammes et mise en page.
Cohérence Sémantique ( $S_c$ , poids 0,4) : Correspondance entre le nom du médicament, l'API et le dosage plausible.
Conformité Réglementaire ( $R_c$ , poids 0,2) : Présence et format des marqueurs réglementaires.

L'utilisation d'une moyenne géométrique garantit qu'un score élevé dans un vecteur ne peut masquer une défaillance critique dans un autre (ex. : une impression parfaite ne peut compenser un mauvais principe actif). Les scores sont mappés sur trois étiquettes : AUTHENTIFIÉ ( $\geq 0,75$ ), NON VÉRIFIÉ ( $0,50–0,75$ ) et SUSPECT ( $< 0,50$ ).

Contributions Clés

Architecture de Routeur à Double Mode : Une conception qui isole le scan déterministe de la conversation ouverte pour éviter la contamination croisée des états.
Méthodologie de Prompting par Contraintes : Une combinaison d'application de schéma, d'échantillonnage à basse température et de raisonnement par étapes qui réduit mesurablement les hallucinations dans les modèles multimodaux à usage général sans réentraînement.
Validation Empirique : Une étude comparative par rapport à un chatbot multimodal standard et un pipeline OCR traditionnel, démontrant des gains en précision, fiabilité et production de résultats exploitables.

Résultats

Le système a été évalué sur un ensemble de 50 images d'emballages pharmaceutiques (30 authentiques, 15 contrefaçons adverses avec des défauts subtils et 5 captures de faible qualité).

Précision : MedTruth a atteint une précision de vérification globale de 92 %, identifiant correctement 28/30 échantillons authentiques et 13/15 échantillons adverses.
Réduction des Hallucinations : Le taux d'hallucination est passé de 15 % dans le chatbot standard (GPT-4o) à moins de 2 % dans MedTruth. L'unique échec de MedTruth est survenu sur une image délibérément floue.
Latence : La latence moyenne de vérification était de 2,1 secondes, ce qui se situe dans une fenêtre utilisable pour des outils de consommation malgré l'ajout des étapes de raisonnement structuré.
Comparaison : Le chatbot standard a principalement échoué sur les échantillons adverses présentant des incohérences sémantiques cachées, tandis que le contrôle croisé structuré de MedTruth a réussi à détecter ces erreurs. Google Lens (OCR uniquement) n'a fourni aucun verdict direct, laissant l'interprétation à l'utilisateur.

Signification et Revendications

L'article affirme que les contraintes architecturales et le prompting structuré peuvent rendre l'IA multimodale à usage général viable pour des domaines critiques pour la sécurité où le déterminisme est plus important que la conversation ouverte.

Fiabilité plutôt que Échelle : Le travail démontre que l'amélioration de la fiabilité ne nécessite pas nécessairement le réentraînement de modèles plus grands avec des jeux de données étiquetés massifs ; au lieu de cela, une conception de système minutieuse et des contraintes de comportement produisent des améliorations significatives.
Résultat Actionnable : En convertissant un modèle génératif en un instrument de notation avec une sortie JSON stricte, le système fournit des décisions claires et exploitables (Authentifié/Non vérifié/Suspect) plutôt que des réponses conversationnelles ambiguës.
Limites Reconnues : Les auteurs notent modestement que le vecteur réglementaire valide la conformité du format plutôt que l'authenticité de numéros de licence spécifiques (le « problème de l'oracle »), et que la taille de l'échantillon (50 échantillons) est modeste par rapport à la diversité mondiale des emballages. Ils positionnent MedTruth comme un système d'aide à la décision plutôt que comme un remplacement des tests de laboratoire ou de l'évaluation professionnelle.

L'étude conclut que la séparation du processus de vérification en une tâche forensique sans état et une tâche conversationnelle avec état permet de déployer l'IA multimodale dans des environnements à enjeux élevés avec des résultats reproductibles et dignes de confiance.