Bridging the QC–QA Cognitive Handoff: An Agentic Verification Harness for Error Detection, Specification Cross-Checking and Quality Documentation Assembly in Pharmaceutical Quality Assurance

Elk medicijn dat een apotheekplank bereikt, begint zijn leven als een belofte op papier. Voordat er ook maar één pil wordt verpakt, moet een farmaceutisch bedrijf aan toezichthouders bewijzen dat zijn product veilig, zuiver en precies is wat het beweert te zijn. Dit bewijs komt in de vorm van een massief regulatorisch dossier, een collectie van duizenden pagina's met testresultaten, productielogs en stabiliteitsgegevens. De reis van deze gegevens is een estafette tussen twee teams: de kwaliteitscontrolewetenschappers die de ruwe cijfers in het laboratorium genereren, en de kwaliteitsborgingsbeoordelaars die die cijfers in de definitieve aanvraag moeten kopiëren. Decennialang is dit een handmatig proces geweest. Een menselijke beoordelaar zit voor een rapport, opent een laboratoriumverslag, zoekt een waarde op, opent het definitieve document en controleert of de cijfers overeenkomen. Ze doen dit voor honderden waarden, om er zeker van te zijn dat een batchnummer op elke plek waar het verschijnt hetzelfde is, dat een datum logisch is en dat een resultaat binnen de juiste veiligheidsgrenzen valt. Het is een taak van enorme omvang en hoge inzet. Een enkele typefout, een verkeerd geplaatste decimaal of een vergeten resultaat kan de goedkeuring van een levensreddend medicijn vertragen of, erger nog, een gebrekkig product bij patiënten laten terechtkomen.

De uitdaging is niet dat de wiskunde moeilijk is; de wiskunde is eenvoudig. De moeilijkheid is het enorme aantal controles dat vereist is en de menselijke neiging om fouten te maken wanneer men moe of afgeleid is. In de afgelopen jaren is kunstmatige intelligentie voorgesteld als een oplossing om dit controleren te automatiseren. Echter, standaard AI-modellen zijn vaak onbetrouwbaar voor deze specifieke taak. Ze kunnen vloeiend zijn maar onjuist, waarbij ze feiten verzinnen die plausibel klinken maar niet bestaan in de brondocumenten. Ze kunnen een getal onjuist berekenen of er niet in slagen een waarde terug te traceren naar de oorspronkelijke pagina. Voor een gereguleerde sector waar elke bewering moet worden onderbouwd met onweerlegbaar bewijs, is een systeem dat gokt niet voldoende. De industrie heeft een tool nodig die leest als een mens maar rekent als een machine, een systeem dat nooit uit zichzelf een beslissing neemt, maar alleen potentiële fouten signaleert voor een gekwalificeerde expert om te beoordelen.

Dit is het probleem dat een team van onderzoekers wilde oplossen met een nieuw soort softwaresysteem. Ze probeerden geen AI te bouwen die het definitieve rapport kon schrijven of kon beslissen of een medicijn veilig was. In plaats daarvan bouwden ze een verificatieharnas, een gestructureerde workflow die de rollen van lezen, rekenen en beslissen scheidt. In hun systeem fungeert een model van kunstmatige intelligentie slechts als lezer. Het scant de documenten en stelt voor wat een getal of een datum zou kunnen zijn. Zodra de AI een voorstel doet, stapt het onmiddellijk opzij. Een apart, deterministisch computerprogramma neemt het over. Dit programma voert elke berekening uit, controleert elk wiskundig probleem en vergelijkt elke voorgestelde waarde met de strikte regels en limieten die in de regelgeving zijn vastgelegd. Als de cijfers niet kloppen, of als een waarde in het ene document in strijd is met een waarde in een ander document, signaleert het systeem de discrepantie. Ten slotte beoordeelt een gekwalificeerde apotheker elk signaal. De mens neemt de uiteindelijke beslissing over de vraag of het signaal een echte fout of een vals alarm is. De AI beslist nooit; het stelt alleen voor. De code gokt nooit; het berekent alleen. De mens gokt nooit; hij beslist alleen.

Om te testen of deze aanpak daadwerkelijk werkt, creëerden de onderzoekers een realistische testomgeving met behulp van drie authentieke regulatorische dossiers van een enkele fabrikant. Dit waren echte documenten met honderden datapunten, variërend van verschillende soorten medicijnen zoals tabletten en capsules. Om te zien of het systeem fouten kon vinden, voegde het team stiekem specifieke fouten toe aan kopieën van deze documenten. Ze plantten 332 afzonderlijke fouten in de drie bestanden, variërend van een enkele cijfertranspositie tot een batchnummer dat op twee plaatsen verschilt, of een resultaat dat in de verkeerde eenheid wordt gerapporteerd. Het systeem werd vervolgens op deze documenten gedraaid zonder dat het werd verteld waar de fouten verborgen zaten. Het moest ze op eigen kracht vinden, vertrouwend op zijn vermogen om de pagina's te lezen, de gegevens te kruisverwijzen en de regels toe te passen.

De resultaten toonden aan dat het systeem effectief was in het vinden van de geplante fouten, hoewel niet perfect. Over de drie verschillende dossiers heen detecteerde het systeem 84 procent van de geïnjecteerde fouten, wat betekent dat het er 52 heeft gemist. In het eerste dossier vond het 95 van de 112 fouten. In het tweede vond het 80 van de 100 fouten. In het derde vond het 105 van de 120 fouten. Het systeem slaagde erin om minstens één fout van elk type te vinden waar het voor ontworpen was, inclusief ontbrekende waarden, conflicterende datums en resultaten die niet binnen de veiligheidslimieten vielen. Dit suggereert dat de architectuur van het scheiden van de lezer van de rekenaar een levensvatbare manier is om de complexiteit van farmaceutische gegevens aan te pakken. Het systeem raakte niet in de war door de verschillende lay-outs van de documenten, hoewel de onderzoekers opmerken dat de statistische toets voor lay-outverschillen beperkte kracht heeft vanwege het gebruik van slechts drie dossiers. Het identificeerde consequent dat er iets mis was in veel gevallen, maar voor de 52 gemiste fouten blijft de oorzaak onbekend; de onderzoekers konden niet bepalen of deze te wijten waren aan leesfouten, hiaten in de regels of beslissingen bij het scoren.

De onderzoekers benadrukken echter voorzichtig wat deze studie niet heeft bewezen. Hoewel het systeem de geplante fouten vond, heeft de studie niet gemeten hoe vaak het een vals alarm zou geven. Omdat de onderzoekers het systeem niet hebben gedraaid op documenten die volledig vrij van fouten waren, kunnen zij niet zeggen hoe vaak het systeem een correcte waarde als een fout zou markeren. In een reële scenario, als een systeem te veel valse alarmen geeft, zou het de menselijke beoordelaars kunnen overbelasten, waardoor het werk trager wordt in plaats van sneller. Bovendien heeft de studie het systeem slechts één keer op elk document gedraaid. Er is niet getest of het systeem hetzelfde resultaat zou geven als het hetzelfde document een tweede keer zou draaien, wat een belangrijke vereiste is voor elk hulpmiddel dat in een gereguleerde omgeving wordt gebruikt. Het team merkte ook op dat de dichtheid van de geplante fouten veel hoger was dan wat gewoonlijk in echte indieningen wordt aangetroffen, wat het makkelijker gemaakt kan hebben om de fouten op te merken.

De meest significante bijdrage van dit werk is mogelijk niet de detectiegraad zelf, maar het blauwdruk dat het biedt voor het testen van dergelijke systemen in de toekomst. De onderzoekers legden een gedetailleerd protocol uiteen voor hoe een eerlijke test op te zetten, inclusief hoe men een set documenten met bekende fouten creëert, hoe onafhankelijke experts die fouten kunnen verifiëren en hoe men de prestaties van het systeem zonder vooroordelen kan meten. Ze benadrukten dat als kunstmatige intelligentie vertrouwd moet worden in de farmaceutische kwaliteit, het gevalideerd moet worden tegen een standaard die even rigoureus is als de regelgeving die het bedoeld is te ondersteunen. De studie concludeert dat hoewel het systeem veelbelovend is, het nog geen afgewerkt product is dat klaar is voor dagelijks gebruik. Het is een bewijs van concept dat een weg vooruit demonstreert: een tool die menselijke intelligentie aanvult door het zware werk van gegevensvergelijking op zich te nemen, terwijl het de uiteindelijke oordeelsvorming overlaat aan de gekwalificeerde menselijke experts die uiteindelijk verantwoordelijk zijn voor de patiëntveiligheid. Het werk suggereert dat de toekomst van kwaliteitsborging in de farmacie niet ligt in het vervangen van de menselijke beoordelaar, maar in het geven van een scherpere, betrouwbaardere blik om de fouten te vangen die door volume en vermoeidheid anders aan het oog zouden ontsnappen.