🤖 machine learning

CheckSupport: A Local LLM-Powered Tool for Automated Manuscript Submission Checklist Selection and Completion

CheckSupport is een open-source, lokaal inzetbaar hulpmiddel dat gebruikmaakt van instructie-geoptimaliseerde grote taalmodellen om de selectie en evidence-gebaseerde invulling van wetenschappelijke rapportagechecklists te automatiseren, waarbij hoge nauwkeurigheid en privacybehoud worden bereikt terwijl de handmatige last van het indienen van manuscripten aanzienlijk wordt verminderd.

Oorspronkelijke auteurs: Satvik Tripathi, Don Enwerem, Kevin Song, Kristian Quevada, Jacinta Arnold, Tessa S. Cook

Gepubliceerd 2026-05-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Satvik Tripathi, Don Enwerem, Kevin Song, Kristian Quevada, Jacinta Arnold, Tessa S. Cook

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een wetenschapper bent die zojuist een groot onderzoeksproject heeft afgerond. Je hebt je data, je methoden en je resultaten. Nu moet je een artikel schrijven om het met de wereld te delen. Maar voordat je het kunt indienen, is er een addertje onder het gras: je moet een lange, saaie en zeer specifieke "rapporteringschecklist" invullen.

Beschouw deze lijsten (zoals CONSORT of PRISMA) als strikte beveiligingsformulieren voor een gebouw met hoge beveiliging. Als je zelfs maar één klein vakje mist, kunnen de bewakers (redacteuren van tijdschriften) je wegsturen. Het probleem is dat er tientallen verschillende formulieren zijn voor verschillende soorten gebouwen, en uitzoeken welke je nodig hebt – en vervolgens elke regel correct invullen – kost uren aan handwerk.

Maar dan komt CheckSupport.

Het artikel introduceert CheckSupport, een gratis, open-source tool die fungeert als een superintelligente, privacygerichte assistent die direct op je eigen computer zit. Het hoeft je geheime onderzoeksdata niet naar de cloud te sturen; het houdt alles lokaal, net als een bibliothecaris die de bibliotheek nooit verlaat.

Hier is hoe het werkt, opgesplitst in eenvoudige stappen:

1. De "Welk Formulier Heb Ik Nodig?"-Detective

Eerst geef je je manuscript (je onderzoeksartikel) aan CheckSupport. De tool leest de eerste paar pagina's en fungeert als een detective. Het vraagt zichzelf af: "Is dit een studie over een nieuw medicijn? Een diagnostische test? Een machinelearning-model?"
Op basis van de aanwijzingen in je tekst kiest het direct het juiste "beveiligingsformulier" (de rapporteringschecklist) uit een lijst met opties.

De Analogie: Stel je voor dat je met een pakketje de postkantoor binnenloopt. In plaats van te raden bij welke balie je moet zijn, scant een robot je pakketje en geeft je direct het exacte formulier dat je nodig hebt, zeggend: "Ga naar Balie 3, dit is een Priority Mail-formulier."

2. De "Invul-van-Laten" Machine

Zodra het weet welk formulier je nodig hebt, begint CheckSupport het in te vullen. Maar hier zit de magie: het verzonnen dingen niet.
Het fungeert als een zorgvuldig kopieer-en-plak-artist. Het scant je hele artikel, vindt de specifieke zinnen waarin je je methoden beschreef, en kopieert die informatie naar de vakjes van de checklist.

De Analogie: Denk aan het als een markeerstift met een brein. Als de checklist vraagt: "Heb je een controlegroep gebruikt?", scant de tool je artikel, vindt de zin "We hebben een controlegroep van 50 patiënten gebruikt" en schrijft dat op. Als je artikel geen melding maakt van een controlegroep, raadt de tool niet of verzon hij er een. Het schrijft gewoon "Niet vermeld" of laat het leeg, waardoor eerlijkheid wordt gegarandeerd.

3. De "Lokale" Veiligheidskluis

Veel moderne tools sturen je data naar grote servers in de cloud om verwerkt te worden. CheckSupport is anders. Het draait volledig op je eigen computer met behulp van "lokale" AI.

De Analogie: De meeste tools zijn als het sturen van je dagboek naar een vreemde om te lezen en samenvatten. CheckSupport is als het inhuren van een privésecretaresse die in je kantoor thuis werkt. Zij leest je dagboek, vult je formulieren in en geeft ze vervolgens aan je terug. Je dagboek verlaat de kamer nooit. Dit is cruciaal voor wetenschappers die hun ongepubliceerde data privé moeten houden.

4. Hoe Goed Is Het?

De auteurs hebben deze tool getest op 100 echte wetenschappelijke artikelen over AI in de radiologie.

Het Resultaat: Het koos 90% van de tijd de juiste checklist. Bij het invullen van de checklist kreeg het 88% van de tijd de details goed.
De Snelheid: Het deed dit alles in ongeveer 12,5 seconden per artikel, zelfs op een standaardcomputer zonder fancy grafische kaarten.

Het Grote Plaatje

Het artikel betoogt dat CheckSupport niet probeert het verhaal voor je te schrijven. In plaats daarvan probeert het het bewijsmateriaal te organiseren dat je al hebt geschreven. Het behandelt de AI niet als een creatieve schrijver, maar als een gestructureerde data-extractor.

Door het saaie, repetitieve deel van het proces te automatiseren (het vinden van het juiste formulier en het kopiëren van de juiste feiten), hoopt het wetenschappelijke rapportage sneller en eerlijker te maken, zonder privacy of nauwkeurigheid te compromitteren. Het is een hulpmiddel om wetenschappers te helpen hun papierwerk te doen, zodat ze zich kunnen richten op de wetenschap.

Technische Samenvatting: CheckSupport

Probleemstelling
Transparante en gestandaardiseerde rapportage is cruciaal voor de reproduceerbaarheid van wetenschappelijk onderzoek, maar de naleving van rapportagerichtlijnen (bijv. CONSORT, PRISMA, STARD) blijft inconsistent. De belangrijkste belemmeringen zijn de aanzienlijke handmatige inspanning en de domeinspecifieke expertise die nodig zijn om de juiste checklist voor een specifiek onderzoek te identificeren en deze nauwkeurig in te vullen. Bestaande geautomatiseerde oplossingen vertrouwen vaak op cloudgebaseerde Large Language Models (LLM's), wat aanzienlijke zorgen oproept met betrekking tot gegevensprivacy, kosten, reproduceerbaarheid en langetermijntoegankelijkheid. Bovendien richten huidige toepassingen van LLM's in de wetenschap zich vaak op generatieve tekstsynthese, wat mogelijk niet aansluit bij de behoefte aan trouwe, op bewijs gebaseerde extractie in wetenschappelijke rapportage.

Methodologie
De auteurs presenteren CheckSupport, een open-source, lokaal implementeerbaar commandoregelhulpmiddel dat is ontworpen om checklistselectie en -invulling te automatiseren. Het systeem werkt volledig offline met behulp van het Ollama-framework, waardoor manuscriptgegevens nooit het lokale hardware van de gebruiker verlaten.

Architectuur en Werkstroom: Het systeem volgt een modulaire pijplijn: manuscriptinname (PDF/DOCX/Text) $\rightarrow$ checklistidentificatie $\rightarrow$ checklistparsing $\rightarrow$ contentextractie $\rightarrow$ rapportgeneratie. Het ondersteunt zowel gestandaardiseerde richtlijnen als aangepaste, door de gebruiker gedefinieerde checklists.
Gestaffelde Prompting-strategie: In plaats van LLM's als vrij-vormige generators te gebruiken, behandelt CheckSupport ze als beperkte inferentiecomponenten. Het proces wordt ontbonden in vier opeenvolgende fasen:
1. Checklistaanbeveling: Een one-shot, single-label classificatietaken waarbij het model één checklist selecteert uit een vaste lijst op basis van een afgeknipt manuscriptfragment (eerste 2.000 tekens).
2. Preprocessing en Gidsgeneratie: Het model leidt algemene en sectiespecifieke richtlijnen af over welke informatie gezocht moet worden, met gebruik van een hogere temperatuur (0,7) om beschrijvend advies op te wekken.
3. Tekstextractie op sectieniveau: Het systeem extraheren relevante manuscriptdelen voor elke checklistsectie met behulp van vaste vensters van 5.000 tekens.
4. Antwoordgeneratie op itemniveau: Voor elk checklistitem genereert het model een reactie op basis van de itemtekst, geparseerde instructies en de eerder geëxtraheerde sectie-inhoud.
Inferentiecontroles: Om nauwkeurigheid en reproduceerbaarheid te prioriteren, hanteert het systeem lage temperaturen voor classificatie (0,2) en extractie (0,3–0,5), maakt het gebruik van vaste contextvensters om afhankelijkheid van modellen met uitgebreide context te vermijden, en dwingt het strikte outputbeperkingen af. Het staat expliciet "null"-antwoorden toe en moedigt deze aan wanneer informatie ontbreekt, om hallucinaties te voorkomen.
Modelconfiguratie: Het systeem is modelonafhankelijk, maar gebruikt standaard instructie-geoptimaliseerde modellen zoals Llama 3.1, die kunnen draaien op consumentenklassen hardware zonder GPU.

Belangrijkste Bijdragen

Lokaal Uitvoeringsframework: CheckSupport biedt een volledig lokaal, privacybehoudend alternatief voor cloudgebaseerde AI-tools, waarmee gegevensbeveiligingszorgen in gevoelige onderzoeksmilieus worden aangepakt.
Gestructureerde Inferentie-aanpak: Het artikel introduceert een gestaffelde prompting-methodologie die complexe rapportagetaken ontbindt in beperkte inferentiestappen, waarbij trouwe extractie prioriteit krijgt boven generatieve vloeiendheid.
Open-source Implementatie: Het hulpmiddel wordt vrijgegeven als open-source software, wat transparantie, auditie en aanpassing aan diverse rapportagestandaarden mogelijk maakt.
Dual-functie: Het automatiseert zowel de selectie van de juiste rapportagerichtlijn als de op bewijs gebaseerde invulling van die richtlijn.

Resultaten
Geëvalueerd op een corpus van 100 peer-reviewed manuscripten (geïndexeerd onder "AI in radiologie" uit 2025), toonde CheckSupport de volgende prestaties op hardware zonder GPU:

Checklistaanbeveling: Bereikte 90% algehele nauwkeurigheid. De prestaties varieerden per categorie: 86,7% voor complexe "Type A"-studies (nieuwe LLM-structuren/fine-tuning), 100% voor "Type B"-studies (praktische toepassingen) en 80% voor manuscripten waar geen checklist van toepassing was.
Checklistinvulling: Bereikte 88% algehele nauwkeurigheid op itemniveau. De nauwkeurigheid was hoger voor "Type B"-manuscripten (93,3%) dan voor "Type A" (80,0%).
Uitvoeringstijd: De gemiddelde wandkloktijd per manuscript was 12,5 seconden, inclusief zowel aanbeveling als volledige invulling.
Foutanalyse: Fouten vonden voornamelijk hun oorsprong in ambigu manuscripttaalgebruik, onvolledige rapportage in de brontekst, of informatie die buiten de begrenste contextvensters viel. Opmerkelijk is dat het systeem geen enkele instance van niet-ondersteunde of gefabriceerde inhoud produceerde, en ontbrekende informatie succesvol markeerde als null-antwoorden.

Betekenis en Claims
De auteurs positioneren CheckSupport niet als een hulpmiddel voor het genereren van wetenschappelijke inhoud, maar als infrastructuur voor onderzoeksbestuur. Het artikel stelt dat door de last van checklistnaleving te verschuiven van handmatige inspanning naar gestructureerde, ondersteunende automatisering, het systeem transparantere en reproduceerbaardere wetenschappelijke rapportage ondersteunt.

Belangrijke claims met betrekking tot betekenis omvatten:

Herverankering van LLM-gebruik: Het werk toont aan dat LLM's effectief kunnen worden ingezet voor methodologische ondersteuning en rigoureuze extractie in plaats van narratieve generatie.
Privacy en Vertrouwen: Door lokaal te opereren, adresseert het systeem groeiende zorgen over datalekken en proprietaire afhankelijkheden, wat institutioneel vertrouwen bevordert.
Mens-in-de-lus: De auteurs benadrukken dat het systeem is ontworpen om menselijk toezicht aan te vullen, niet te vervangen. Het maakt rapportagegaten expliciet in plaats van ze impliciet op te vullen, waardoor onderzoekers en reviewers zich kunnen richten op gebieden die expertoordeel vereisen.
Culturele Verschuiving: Het hulpmiddel beoogt de drempel voor checklistinvulling te verlagen, wat mogelijk reviewervermoeidheid kan verminderen en de kijk op rapportagerichtlijnen als integrale onderdelen van het onderzoeksproces in plaats van administratieve verplichtingen kan stimuleren.