Making Knowledge Accessible: Divergent Readability-Accuracy Strategies of Mistral and QWen in Biomedical Text Simplification

Ce papier compare empiriquement l'adaptation par instruction de Mistral-Small 3 et l'augmentation par raisonnement de QWen2.5 dans la simplification de textes biomédicaux, révélant que si les deux modèles améliorent la lisibilité, Mistral atteint un équilibre supérieur avec une fidélité discursive au niveau humain, tandis que QWen présente un décalage entre lisibilité et exactitude.

L'essentiel

Imaginez que vous possédiez une bibliothèque de manuels médicaux rédigés dans un code secret, hautement complexe. Ces livres contiennent des informations vitales, mais ils sont si difficiles à lire que la personne moyenne ne peut comprendre une seule phrase. L'objectif de cette étude était de déterminer si deux « traducteurs » d'IA différents pouvaient décoder ces livres en anglais courant sans perdre les faits importants.

Les chercheurs ont testé deux modèles d'IA spécifiques :

1. Mistral : Un modèle calibré pour suivre les instructions avec une grande rigueur.
2. Qwen : Un modèle conçu pour « réfléchir plus intensément » et raisonner à travers des problèmes complexes.

Ils ont demandé à ces IA de réécrire 750 résumés médicaux difficiles en langage simple, puis ont comparé les résultats à ceux produits par des experts humains. Voici ce qu'ils ont découvert, en utilisant quelques analogies du quotidien :

Le « Duel » des Traducteurs

Imaginez la tâche comme la traduction d'un contrat juridique dense et technique en une lettre amicale. Vous devez conserver le sens exactement identique, tout en le rendant facile à lire.

1. Mistral : L'Éditeur Prudent
Mistral a agi comme un éditeur conservateur. Il a pris le texte médical complexe et a remplacé les mots grands et effrayants par des termes plus simples, mais il a été très prudent pour ne pas changer l'histoire.

• Le Résultat : Il a produit un texte facile à lire et, surtout, resté fidèle au sens original. Sa « fidélité » (la mesure dans laquelle il a conservé les faits) était presque identique à celle d'un expert humain.
• La Stratégie : Il s'est principalement contenté de remplacer le jargon par des mots courants et a maintenu la structure des phrases globalement inchangée. Il n'a pas tenté d'ajouter de nouvelles idées ni d'expliquer les choses excessivement ; il a simplement rendu le texte existant plus clair.

2. Qwen : L'Explicateur Excessif
Qwen a agi comme un enseignant enthousiaste qui veut s'assurer que vous comprenez tout. Il n'a pas seulement remplacé des mots ; il a tenté d'étendre les concepts, d'ajouter des explications et de décomposer les éléments davantage.

• Le Résultat : Bien que le texte produit fût très facile à lire (parfois même plus que celui de Mistral), il perdait parfois le fil du sens original. C'était comme un enseignant qui explique un concept si bien qu'il ajoute accidentellement un tout petit peu de son propre avis ou omet un petit détail du texte original.
• La Stratégie : Il a pris plus de risques. Il a tenté de « raisonner » à travers le texte, ce qui a conduit à des simplifications créatives mais aussi à une certaine dérive factuelle.

La « Fiche de Notes »

Les chercheurs ont utilisé un tableau de scores pour noter les IA :

• Lisibilité : Les deux IA ont fait du bon travail pour rendre le texte plus facile à lire. En fait, elles étaient souvent meilleures que les humains pour rendre le texte « court et doux ».
• Exactitude : C'est là qu'elles différaient. Mistral a préservé les faits dans 91 % des cas (correspondant aux experts humains). Qwen a préservé les faits dans 89 % des cas. Cette différence de 2 % peut sembler faible, mais dans le monde de l'information médicale, cela signifie que Qwen était légèrement plus susceptible de modifier accidentellement un fait ou d'omettre un détail crucial.

Le Problème de la « Boîte à Outils »

L'étude a également examiné la façon dont nous mesurons le succès. Les chercheurs ont constaté que de nombreux outils utilisés pour évaluer la lisibilité (comme des formules comptant les syllabes ou la longueur des phrases) mesurent en réalité la même chose de manière légèrement différente. C'est comme si l'on possédait cinq règles différentes qui mesurent toutes en pouces mais avec des graduations légèrement différentes.

Ils ont découvert que la partie la plus difficile de la simplification du texte médical n'est pas de fractionner les longues phrases (syntaxe) ; c'est de gérer le vocabulaire spécialisé (lexique).

• Mistral a géré le vocabulaire en étant conservateur : « Si je ne suis pas sûr, je garde le mot original ou je le remplace très prudemment. »
• Qwen a géré le vocabulaire en étant aventureux : « Je vais essayer d'expliquer ce mot ou de trouver un moyen totalement différent de le dire », ce qui a parfois conduit à de la confusion.

La Conclusion

L'article conclut que si vous voulez qu'une IA simplifie un texte médical sans modifier les faits, Mistral est actuellement le choix le plus sûr. Il agit comme un traducteur fiable qui sait exactement quand s'arrêter et ne pas trop expliquer.

Qwen est également très capable et produit un texte très lisible, mais son style de « raisonnement » le rend un peu plus enclin à s'éloigner des faits originaux. L'étude suggère que pour l'information médicale, où l'exactitude est une question de vie ou de mort, l'approche de « l'éditeur conservateur » est actuellement supérieure à celle de « l'explicateur créatif ».

Note Importante : L'étude n'a examiné que la capacité de ces modèles à simplifier le texte actuellement en utilisant des invites standard. Elle n'a pas testé comment ces modèles se comporteraient dans un hôpital réel, ni suggéré qu'ils devraient remplacer les médecins ou les examinateurs humains. Elle a simplement comparé leur capacité à accomplir un travail spécifique : transformer des mots médicaux difficiles en mots faciles.

Résumé technique

Résumé technique : Stratégies divergentes de lisibilité et de précision de Mistral et QWen dans la simplification de textes biomédicaux

Énoncé du problème

L'accès à des informations de santé compréhensibles est crucial pour la santé publique et la prise de décision éclairée, pourtant les matériaux biomédicaux destinés aux patients dépassent fréquemment les niveaux de lecture recommandés. Bien que les modèles de langage de grande taille (LLM) offrent une solution évolutive pour la simplification de texte, ils font face à un compromis persistant : l'amélioration de la lisibilité se fait souvent au détriment de l'inexactitude factuelle, de la dérive sémantique et d'omissions indésirables. Les recherches existantes suggèrent que l'adaptation au domaine est nécessaire pour les textes biomédicaux, mais les résultats sont contradictoires, certaines études montrant que des modèles à usage général surpassent des modèles spécialisés. De plus, il manque une compréhension globale de la manière dont différentes architectures de LLM naviguent dans la tension entre la maximisation de la lisibilité et la préservation de la fidélité du discours sans ajustement fin.

Méthodologie

Cette étude compare empiriquement deux LLM à usage général de taille moyenne : Mistral-Small 3 24B (ajusté par instruction) et Qwen 2.5 32B (renforcé par le raisonnement), dans la tâche de simplification de textes biomédicaux.

• Données : Le principal référentiel comprend 750 résumés biomédicaux appariés à des textes simplifiés par des humains. Un jeu de données secondaire non curaté, couvrant la Médecine Traditionnelle Chinoise (MTC) et l'oncologie, a été utilisé pour tester la robustesse.
• Systèmes : L'étude évalue quatre configurations de LLM (deux modèles × deux paramètres de température : strict $T=0,2$ et flexible $T=0,4$) par rapport à un référentiel d'experts humains.
• Prompting : Un prompt standardisé en zéro-shot a été employé, instruisant les modèles d'effectuer une adaptation phrase par phrase sans résumé. Le prompt interdisait explicitement la distillation de contenu et exigeait que les modèles signalent eux-mêmes la transformation spécifique appliquée (par exemple, échange de jargon, omission de détails) et la justification de chaque changement.
• Évaluation : Une suite complète de 21 métriques a été utilisée, catégorisée en :
  • Lisibilité : Dale-Chall, Gunning Fog, FKGL, SMOG, ARI, Flesch Reading Ease et SARI.
  • Précision/Fidélité du discours : BERTScore, Similarité sémantique (embeddings LLM), ROUGE-L, SacreBLEU, LDA-topics, correspondance de vocabulaire et proportion de mots difficiles.
  • Sécurité : Classification de la toxicité.
• Analyse : Des comparaisons statistiques (test t de Welch) ont été menées, accompagnées d'analyses de corrélation et d'une régression par Analyse en Composantes Principales (PCA) pour examiner les relations entre les métriques de lisibilité et de précision.

Résultats clés

1. Performance des systèmes et scores SARI

Les deux modèles ont surpassé les précédentes bases de référence encodeur-décodeur (T5, BART). Mistral a démontré une performance supérieure avec des scores SARI de 42,46 (flexible) et 42,37 (strict), approchant la performance de GPT-4.1-mini. QWen a obtenu des scores inférieurs à 38,38 (strict) et 37,84 (flexible).

2. Compromis Lisibilité vs Précision

• Mistral : A adopté une stratégie de simplification lexicale « tempérée ». Il a réalisé des améliorations de lisibilité sur plusieurs métriques tout en maintenant un BERTScore de 0,91, statistiquement indiscernable de la performance humaine. Il a montré une forte rétention de vocabulaire et une gestion conservatrice des termes spécialisés.
• QWen : A atteint une lisibilité améliorée (se classant premier sur Flesch-Kincaid et Flesch Reading Ease) mais a révélé un décalage entre lisibilité et précision. Son BERTScore était de 0,89, statistiquement inférieur au référentiel humain. L'approche de QWen impliquait une substitution lexicale plus agressive et une expansion conceptuelle, conduisant à un déplacement sémantique plus important.

3. Corrélations et redondances des métriques

• Redondance : De fortes redondances fonctionnelles ont été trouvées parmi les métriques de lisibilité (corrélations $\ge 0,7$ pour SMOG, FKGL, ARI et Flesch), suggérant qu'un ensemble réduit de métriques pourrait suffire pour l'évaluation.
• Stratégies divergentes : L'analyse de corrélation a révélé que les métriques de lisibilité et de précision de Mistral étaient plus étroitement couplées (coefficients $[0,2, 0,4]$) comparées à celles de QWen ($[-0,2, 0,1]$). Cela indique que Mistral optimise les deux objectifs simultanément, tandis que les stratégies de QWen semblent plus déconnectées.
• Contrôle lexical : L'étude a constaté que le contrôle lexical, plutôt que la restructuration syntaxique, constitue l'obstacle principal. La rétention conservatrice du vocabulaire spécialisé par Mistral était fortement corrélée à la précision, tandis que la substitution agressive de QWen était corrélée négativement à l'intégrité sémantique.

4. Justifications auto-rapportées

L'analyse des changements auto-rapportés par les modèles a confirmé leurs philosophies architecturales :

• Mistral s'est principalement appuyé sur l'« échange de jargon/langage » et l'« omission de détails inutiles », opérant de manière conservatrice dans les limites de l'entrée.
• QWen s'est fréquemment engagé dans l'« ajout d'explications » et l'« abstraction/généralisation », reflétant une approche plus exploratoire qui risque une dégradation sémantique.

Importance et affirmations

L'article affirme que les modèles ajustés par instruction (Mistral) peuvent offrir un « point idéal » plus robuste pour la simplification de textes biomédicaux par rapport aux modèles renforcés par le raisonnement (QWen) lorsqu'ils opèrent dans un cadre zéro-shot. L'étude met en évidence que :

1. Avantage architectural : L'ajustement par instruction de Mistral semble favoriser une stratégie conservatrice qui équilibre la simplification lexicale avec la fidélité sémantique, atteignant une fidélité du discours au niveau humain sans ajustement fin.
2. Insights sur les métriques : La recherche fournit des preuves de fortes redondances dans les métriques de lisibilité et clarifie la tension entre lisibilité et précision, suggérant que les suites de métriques actuelles ne capturent peut-être pas pleinement les nuances des processus de simplification des modèles renforcés par le raisonnement.
3. Référence pratique : Les résultats mettent à jour les références pratiques pour la simplification de textes biomédicaux, indiquant que pour les LLM à usage général, le défi principal réside dans le contrôle lexical plutôt que dans la restructuration syntaxique.

Les auteurs concluent que, bien que QWen soit capable et obtienne des scores de lisibilité élevés, son exploration agressive de l'espace de recherche lexicale risque l'intégrité sémantique. En revanche, l'approche tempérée de Mistral offre un équilibre plus fiable pour une information biomédicale évolutive et accessible. L'étude reconnaît des limites, notant qu'une évaluation plus approfondie sur une plus large gamme de LLM et de domaines est nécessaire pour caractériser définitivement les différences architecturales.