Bridging the QC–QA Cognitive Handoff: An Agentic Verification Harness for Error Detection, Specification Cross-Checking and Quality Documentation Assembly in Pharmaceutical Quality Assurance

Cada medicamento que chega à prateleira de uma farmácia começa sua vida como uma promessa feita no papel. Antes que um único comprimido seja embalado, uma empresa farmacêutica deve provar aos reguladores que seu produto é seguro, puro e exatamente o que afirma ser. Essa prova vem na forma de um dossiê regulatório massivo, uma coleção de milhares de páginas contendo resultados de testes, registros de fabricação e dados de estabilidade. A jornada desses dados é uma corrida de revezamento entre duas equipes: os cientistas de controle de qualidade que geram os números brutos no laboratório, e os revisores de garantia de qualidade que devem copiar esses números para a aplicação final. Por décadas, essa transferência tem sido um processo manual. Um revisor humano senta-se, abre um relatório de laboratório, encontra um valor, abre o documento final e verifica se os números coincidem. Eles fazem isso para centenas de valores, garantindo que um número de lote seja o mesmo em todos os lugares onde aparece, que uma data faça sentido e que um resultado esteja dentro dos limites de segurança corretos. É uma tarefa de imenso volume e altos riscos. Um único erro de transcrição, um ponto decimal deslocado ou um resultado esquecido pode atrasar a aprovação de um medicamento vital ou, pior, permitir que um produto defeituoso chegue aos pacientes.

O desafio não é que a matemática seja difícil; a matemática é simples. A dificuldade é o número absoluto de verificações necessárias e a tendência humana de cometer erros quando cansada ou distraída. Nos últimos anos, a inteligência artificial foi proposta como uma solução para automatizar essa verificação. No entanto, modelos de IA padrão costumam ser pouco confiáveis para este trabalho específico. Eles podem ser fluentes, mas errados, inventando fatos que parecem plausíveis, mas que não existem nos documentos de origem. Podem calcular um número incorretamente ou falhar ao rastrear um valor até sua página original. Para uma indústria regulamentada onde cada afirmação deve ser respaldada por evidências incontestáveis, um sistema que adivinha não é suficiente. A indústria precisa de uma ferramenta que leia como um humano, mas calcule como uma máquina, uma que nunca tome uma decisão por conta própria, mas apenas sinalize potenciais erros para um especialista qualificado revisar.

Este é o problema que uma equipe de pesquisadores buscou resolver com um novo tipo de sistema de software. Eles não tentaram construir uma IA que pudesse escrever o relatório final ou decidir se um medicamento era seguro. Em vez disso, construíram um mecanismo de verificação (verification harness), um fluxo de trabalho estruturado que separa os papéis de ler, calcular e decidir. Em seu sistema, um modelo de inteligência artificial atua apenas como um leitor. Ele escaneia os documentos e propõe o que um número ou uma data poderia ser. Assim que a IA faz uma proposta, ela imediatamente se afasta. Um programa de computador determinístico e separado assume o controle. Este programa realiza cada cálculo, verifica cada problema matemático e compara cada valor proposto contra as regras e limites estritos definidos pelas regulamentações. Se os números não baterem, ou se um valor em um documento contradizer um valor em outro, o sistema sinaliza a discrepância. Finalmente, um farmacêutico qualificado revisa cada sinalização. O humano toma a decisão final sobre se o alerta é um erro real ou um falso positivo. A IA nunca decide; ela apenas sugere. O código nunca adivinha; ele apenas computa. O humano nunca adivinha; ele apenas decide.

Para testar se essa abordagem realmente funciona, os pesquisadores criaram um ambiente de teste realista usando três dossiês regulatórios autênticos de um único fabricante. Estes eram documentos do mundo real contendo centenas de pontos de dados, abrangendo diferentes tipos de medicamentos, como comprimidos e cápsulas. Para ver se o sistema conseguiria encontrar erros, a equipe introduziu secretamente erros específicos em cópias desses documentos. Eles plantaram 332 erros distintos nos três arquivos, variando desde um único dígito transposto até um número de lote diferente em dois lugares, ou um resultado relatado na unidade de medida errada. O sistema foi então executado nesses documentos sem ser informado onde os erros estavam escondidos. Ele teve que encontrá-los por conta própria, dependendo inteiramente de sua capacidade de ler as páginas, cruzar os dados e aplicar as regras.

Os resultados mostraram que o sistema foi eficaz na detecção dos erros plantados, embora não tenha sido perfeito. Ao longo dos três dossiês diferentes, o sistema detectou com sucesso 84 por cento dos erros injetados, o que significa que ele perdeu 52 deles. No primeiro dossiê, encontrou 95 de 112 erros. No segundo, encontrou 80 de 100. No terceiro, encontrou 105 de 120. O sistema conseguiu encontrar pelo menos um erro de cada tipo para o qual foi projetado, incluindo valores ausentes, datas conflitantes e resultados que não correspondiam aos limites de segurança. Isso sugere que a arquitetura de separar o leitor do calculador é uma forma viável de lidar com a complexidade dos dados farmacêuticos. O sistema não se confundiu com os diferentes layouts dos documentos, embora os pesquisadores observem que, com apenas três dossiês, o teste estatístico para diferenças de layout possui poder limitado. Ele identificou consistentemente que algo estava errado em muitos casos, mas para os 52 erros perdidos, a causa permanece desconhecida; os pesquisadores não puderam determinar se foram devidos a erros de leitura, lacunas nas regras ou decisões de pontuação.

No entanto, os pesquisadores são cautelosos ao declarar o que este estudo não provou. Embora o sistema tenha encontrado os erros plantados, o estudo não mediu com que frequência ele poderia gerar um alarme falso. Como os pesquisadores não rodaram o sistema em documentos que estivessem completamente livres de erros, eles não podem dizer quantas vezes o sistema poderia sinalizar um valor correto como um erro. Em um cenário do mundo real, se um sistema gera muitos alarmes falsos, ele pode sobrecarregar os revisores humanos, tornando o trabalho mais lento em vez de mais rápido. Além disso, o estudo executou o sistema apenas uma vez em cada documento. Não testou se o sistema daria o mesmo resultado se rodasse o mesmo documento uma segunda vez, o que é um requisito fundamental para qualquer ferramenta usada em um ambiente regulamentado. A equipe também observou que a densidade de erros que plantaram era muito maior do que a normalmente encontrada em submissões reais, o que pode ter tornado os erros mais fáceis de detectar.

A contribuição mais significativa deste trabalho pode não ser a taxa de detecção em si, mas o modelo que ele fornece para como testar tais sistemas no futuro. Os pesquisadores estabeleceram um protocolo detalhado de como construir um teste justo, incluindo como criar um conjunto de documentos com erros conhecidos, como ter especialistas independentes para verificar esses erros e como medir o desempenho do sistema sem viés. Eles enfatizaram que, para que a inteligência artificial seja confiável na qualidade farmacêutica, ela deve ser validada contra um padrão que seja tão rigoroso quanto as regulamentações que ela visa apoiar. O estudo conclui que, embora o sistema seja promissor, ainda não é um produto acabado pronto para uso diário. É uma prova de conceito que demonstra um caminho a seguir: uma ferramenta que aumenta a inteligência humana ao lidar com o trabalho pesado de comparação de dados, deixando o julgamento final para os especialistas humanos qualificados que são, em última instância, responsáveis pela segurança do paciente. O trabalho sugere que o futuro da garantia de qualidade de medicamentos não reside na substituição do revisor humano, mas em dar a ele um par de olhos mais aguçado e confiável para capturar os erros que o volume e a fadiga poderiam deixar passar.