🤖 machine learning

CheckSupport: A Local LLM-Powered Tool for Automated Manuscript Submission Checklist Selection and Completion

CheckSupport est un outil open-source déployable localement qui exploite des modèles de langage de grande taille adaptés par instruction pour automatiser la sélection et la complétion fondée sur des preuves de listes de contrôle de rapport scientifique, atteignant une haute précision et une préservation de la vie privée tout en réduisant considérablement la charge manuelle liée à la soumission de manuscrits.

Auteurs originaux : Satvik Tripathi, Don Enwerem, Kevin Song, Kristian Quevada, Jacinta Arnold, Tessa S. Cook

Publié 2026-05-19

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Satvik Tripathi, Don Enwerem, Kevin Song, Kristian Quevada, Jacinta Arnold, Tessa S. Cook

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un scientifique venant de terminer un projet de recherche majeur. Vous disposez de vos données, de vos méthodes et de vos résultats. Maintenant, vous devez rédiger un article pour le partager avec le monde. Mais avant de pouvoir le soumettre, il y a un hic : vous devez remplir une longue, ennuyeuse et très spécifique « liste de contrôle de déclaration ».

Considérez ces listes de contrôle (comme CONSORT ou PRISMA) comme des formulaires de sécurité stricts pour un immeuble à haute sécurité. Si vous oubliez même une toute petite case, les gardes (les éditeurs de revues) pourraient vous refuser l'entrée. Le problème, c'est qu'il existe des dizaines de formulaires différents pour différents types d'immeubles, et déterminer lequel vous faut-il — puis remplir correctement chaque ligne — prend des heures de travail manuel.

Voici CheckSupport.

L'article présente CheckSupport, un outil gratuit et open source qui agit comme un assistant super-intelligent, axé sur la confidentialité, installé directement sur votre propre ordinateur. Il n'a pas besoin d'envoyer vos données de recherche secrètes vers le cloud ; il garde tout en local, comme un bibliothécaire qui ne quitte jamais la bibliothèque.

Voici comment cela fonctionne, décomposé en étapes simples :

1. Le détective « Quel formulaire me faut-il ? »

D'abord, vous remettez votre manuscrit (votre article de recherche) à CheckSupport. L'outil lit les premières pages et agit comme un détective. Il se demande : « S'agit-il d'une étude sur un nouveau médicament ? D'un test diagnostique ? D'un modèle d'apprentissage automatique ? »
Sur la base des indices dans votre texte, il sélectionne instantanément le bon « formulaire de sécurité » (la liste de contrôle de déclaration) parmi une liste d'options.

L'analogie : Imaginez entrer dans un bureau de poste avec un colis. Au lieu de deviner à quel guichet aller, un robot scanne votre colis et vous remet immédiatement le formulaire exact dont vous avez besoin, en disant : « Allez au guichet 3, c'est un formulaire pour envoi prioritaire. »

2. La machine « Remplir les blancs »

Une fois qu'il sait quel formulaire vous faut, CheckSupport commence à le remplir. Mais voici la magie : il n'invente rien.
Il agit comme un artiste méticuleux du copier-coller. Il scanne l'intégralité de votre article, trouve les phrases spécifiques où vous avez décrit vos méthodes, et copie ces informations dans les cases de la liste de contrôle.

L'analogie : Pensez-y comme un surligneur avec un cerveau. Si la liste de contrôle demande : « Avez-vous utilisé un groupe témoin ? », l'outil scanne votre article, trouve la phrase « Nous avons utilisé un groupe témoin de 50 patients », et l'écrit. Si votre article ne mentionne pas de groupe témoin, l'outil ne devine pas et n'en invente pas un. Il écrit simplement « Non mentionné » ou laisse la case vide, garantissant l'honnêteté.

3. La « Coffre-fort » local

De nombreux outils modernes envoient vos données vers de grands serveurs dans le cloud pour être traitées. CheckSupport est différent. Il fonctionne entièrement sur votre propre ordinateur en utilisant une IA « locale ».

L'analogie : La plupart des outils sont comme envoyer votre journal intime à un étranger pour qu'il le lise et le résume. CheckSupport, c'est comme engager un secrétaire privé travaillant dans votre bureau à domicile. Il lit votre journal, remplit vos formulaires, puis vous les rend. Votre journal ne quitte jamais la pièce. C'est crucial pour les scientifiques qui doivent garder leurs données non publiées privées.

4. Quelle est sa performance ?

Les auteurs ont testé cet outil sur 100 articles scientifiques réels portant sur l'IA en radiologie.

Le résultat : Il a sélectionné la bonne liste de contrôle dans 90 % des cas. Lors du remplissage de la liste de contrôle, il a obtenu les détails corrects dans 88 % des cas.
La vitesse : Il a fait tout cela en environ 12,5 secondes par article, même sur un ordinateur standard sans cartes graphiques sophistiquées.

La vue d'ensemble

L'article soutient que CheckSupport ne tente pas d'écrire l'histoire à votre place. Au contraire, il cherche à organiser les preuves que vous avez déjà écrites. Il traite l'IA non pas comme un écrivain créatif, mais comme un extracteur de données structurées.

En automatisant la partie ennuyeuse et répétitive du processus (trouver le bon formulaire et copier les bons faits), il espère rendre la communication scientifique plus rapide et plus honnête, sans compromettre la confidentialité ni la précision. C'est un outil pour aider les scientifiques à faire leur paperasse afin qu'ils puissent se concentrer sur la science.

Résumé technique : CheckSupport

Énoncé du problème
Une publication transparente et standardisée est cruciale pour la reproductibilité de la recherche scientifique, mais le respect des lignes directrices de publication (par exemple, CONSORT, PRISMA, STARD) reste inconstant. Les principaux obstacles sont l'effort manuel considérable et l'expertise sectorielle requis pour identifier la liste de contrôle appropriée pour une étude spécifique et pour la remplir avec précision. Les solutions automatisées existantes reposent souvent sur des modèles de langage de grande taille (LLM) basés sur le cloud, soulevant des préoccupations majeures concernant la confidentialité des données, les coûts, la reproductibilité et l'accessibilité à long terme. De plus, les applications actuelles des LLM en science se concentrent souvent sur la synthèse de texte génératif, ce qui peut ne pas correspondre au besoin d'une extraction fidèle et fondée sur des preuves dans la publication scientifique.

Méthodologie
Les auteurs présentent CheckSupport, un outil en ligne de commande open-source et déployable localement conçu pour automatiser la sélection et la complétion des listes de contrôle. Le système fonctionne entièrement hors ligne en utilisant le framework Ollama, garantissant que les données du manuscrit ne quittent jamais le matériel local de l'utilisateur.

Architecture et flux de travail : Le système suit un pipeline modulaire : ingestion du manuscrit (PDF/DOCX/Texte) $\rightarrow$ identification de la liste de contrôle $\rightarrow$ analyse de la liste de contrôle $\rightarrow$ extraction de contenu $\rightarrow$ génération de rapport. Il prend en charge à la fois les lignes directrices standardisées et les listes de contrôle personnalisées définies par l'utilisateur.
Stratégie de prompting en étapes : Plutôt que d'utiliser les LLM comme générateurs de forme libre, CheckSupport les traite comme des composants d'inférence contraints. Le processus est décomposé en quatre étapes séquentielles :
1. Recommandation de liste de contrôle : Une tâche de classification à une seule étiquette et à un seul coup où le modèle sélectionne une liste de contrôle parmi une liste fixe basée sur un extrait tronqué du manuscrit (les 2 000 premiers caractères).
2. Prétraitement et génération d'orientation : Le modèle déduit des orientations générales et spécifiques aux sections sur les informations à rechercher, en utilisant une température plus élevée (0,7) pour susciter des conseils descriptifs.
3. Extraction de texte au niveau des sections : Le système extrait les parties pertinentes du manuscrit pour chaque section de la liste de contrôle en utilisant des fenêtres fixes de 5 000 caractères.
4. Génération de réponses au niveau des éléments : Pour chaque élément de la liste de contrôle, le modèle génère une réponse basée sur le texte de l'élément, les instructions analysées et le contenu de la section précédemment extrait.
Contrôles d'inférence : Pour privilégier la précision et la reproductibilité, le système utilise des températures basses pour la classification (0,2) et l'extraction (0,3–0,5), utilise des fenêtres de contexte fixes pour éviter la dépendance aux modèles à contexte étendu, et impose des contraintes de sortie strictes. Il permet et encourage explicitement les réponses « nulles » lorsque l'information est absente pour prévenir les hallucinations.
Configuration du modèle : Le système est agnostique au modèle mais utilise par défaut des modèles adaptés aux instructions comme Llama 3.1, capables de s'exécuter sur du matériel grand public ne disposant que d'un CPU.

Contributions clés

Cadre d'exécution local : CheckSupport offre une alternative entièrement locale et respectueuse de la vie privée aux outils d'IA basés sur le cloud, répondant aux préoccupations de sécurité des données dans les environnements de recherche sensibles.
Approche d'inférence structurée : L'article introduit une méthodologie de prompting en étapes qui décompose les tâches de publication complexes en étapes d'inférence contraintes, privilégiant l'extraction fidèle à la fluidité générative.
Implémentation open-source : L'outil est publié sous forme de logiciel open-source, permettant la transparence, l'audit et l'adaptation à diverses normes de publication.
Double fonctionnalité : Il automatise à la fois la sélection de la ligne directrice de publication correcte et la complétion fondée sur des preuves de cette ligne directrice.

Résultats
Évalué sur un corpus de 100 manuscrits évalués par des pairs (indexés sous « IA en radiologie » de 2025), CheckSupport a démontré les performances suivantes sur du matériel ne disposant que d'un CPU :

Recommandation de liste de contrôle : A atteint 90 % de précision globale. La performance variait selon la catégorie : 86,7 % pour les études complexes de « Type A » (nouvelles structures de LLM/ajustement fin), 100 % pour les études de « Type B » (applications pratiques), et 80 % pour les manuscrits où aucune liste de contrôle n'était applicable.
Complétion de liste de contrôle : A atteint 88 % de précision globale au niveau des éléments. La précision était plus élevée pour les manuscrits de « Type B » (93,3 %) par rapport aux « Type A » (80,0 %).
Temps d'exécution : Le temps moyen d'horloge par manuscrit était de 12,5 secondes, incluant à la fois la recommandation et la complétion complète.
Analyse des erreurs : Les erreurs provenaient principalement d'un langage ambigu dans le manuscrit, d'une publication incomplète dans le texte source, ou d'informations tombant en dehors des fenêtres de contexte délimitées. Notamment, le système n'a produit aucun cas de contenu non étayé ou fabriqué, signalant avec succès les informations manquantes comme des réponses nulles.

Importance et revendications
Les auteurs positionnent CheckSupport non pas comme un outil pour générer du contenu scientifique, mais comme une infrastructure pour la gouvernance de la recherche. L'article affirme que, en transférant la charge de la conformité aux listes de contrôle de l'effort manuel vers une automatisation structurée et assistive, le système soutient une publication scientifique plus transparente et reproductible.

Les revendications clés concernant l'importance incluent :

Recadrage de l'utilité des LLM : Le travail démontre que les LLM peuvent être efficacement utilisés pour le soutien méthodologique et l'extraction rigoureuse plutôt que pour la génération narrative.
Confidentialité et confiance : En opérant localement, le système répond aux préoccupations croissantes concernant les fuites de données et les dépendances propriétaires, favorisant la confiance institutionnelle.
Humain dans la boucle : Les auteurs soulignent que le système est conçu pour augmenter, et non remplacer, la supervision humaine. Il rend explicites les lacunes de publication plutôt que de les combler implicitement, permettant aux chercheurs et aux réviseurs de se concentrer sur les zones nécessitant un jugement d'expert.
Changement culturel : L'outil vise à réduire la barrière à la complétion des listes de contrôle, réduisant potentiellement la fatigue des réviseurs et encourageant la vision des lignes directrices de publication comme des composantes intégrales du processus de recherche plutôt que comme des obligations administratives.