Bridging the QC–QA Cognitive Handoff: An Agentic Verification Harness for Error Detection, Specification Cross-Checking and Quality Documentation Assembly in Pharmaceutical Quality Assurance

약국 선반에 도달하는 모든 의약품은 종이 위의 약속에서 그 생애를 시작합니다. 단 한 알의 알약이 포장되기 전, 제약 회사는 자사의 제품이 안전하고 순수하며 주장하는 바와 정확히 일치한다는 것을 규제 기관에 증명해야 합니다. 이 증명은 테스트 결과, 제조 기록, 안정성 데이터를 포함한 수천 페이지에 달하는 방대한 규제 문서(dossier)의 형태로 이루어집니다. 이 데이터의 여정은 두 팀 사이의 릴레이 경주와 같습니다. 실험실에서 가공되지 않은 수치를 생성하는 품질 관리(QC) 과학자들과, 그 수치들을 최종 신청서에 옮겨 적어야 하는 품질 보증(QA) 검토자들 사이의 경주 말입니다. 수십 년 동안 이 인수인계는 수동 프로세스로 진행되어 왔습니다. 인간 검토자가 앉아서 실험 보고서를 열고, 값을 찾고, 최종 문서를 열어 숫자가 일치하는지 확인합니다. 그들은 수백 개의 값을 대상으로 배치 번호가 나타나는 모든 곳에서 동일한지, 날짜가 타당한지, 그리고 결과값이 정해진 안전 한계 내에 있는지 확인합니다. 이는 엄청난 양과 높은 이해관계가 걸린 작업입니다. 단 한 번의 전사 오류, 잘못 놓인 소수점 하나, 혹은 누락된 결과 하나가 생명을 구하는 약의 승인을 지연시키거나, 더 나아가 결함이 있는 제품이 환자에게 도달하게 만들 수도 있습니다.

문제는 수학이 어렵다는 것이 아니라, 수학은 간단합니다. 문제는 요구되는 체크 횟수가 엄청나며, 피로나 주의 산만함으로 인해 인간이 실수를 저지르기 쉽다는 점입니다. 최근 몇 년 동안 인공지능이 이를 자동화하기 위한 해결책으로 제안되었습니다. 그러나 표준 AI 모델은 이 특정 작업에 있어 종종 신뢰할 수 없습니다. AI는 유창하지만 틀릴 수 있으며, 출처 문서에는 존재하지 않지만 그럴듯하게 들리는 사실을 지어낼 수 있습니다. 또한 숫자를 잘못 계산하거나, 값을 원래의 페이지로 추적하는 데 실패할 수도 있습니다. 모든 주장이 명백한 근거에 의해 뒷받받되어야 하는 규제 산업에서, 추측하는 시스템은 충분하지 않습니다. 업계가 필요로 하는 것은 인간처럼 읽되 기계처럼 계산하며, 스스로 결정을 내리는 것이 아니라 오직 자격을 갖춘 전문가가 검토할 수 있도록 오류 가능성을 표시하기만 하는 도구입니다.

이것이 바로 한 팀의 연구자들이 새로운 종류의 소프트웨어 시스템으로 해결하고자 했던 문제입니다. 그들은 최종 보고서를 작성하거나 약의 안전성을 결정할 수 있는 AI를 만들려고 시도한 것이 아닙니다. 대신 그들은 읽기, 계산하기, 결정하기의 역할을 분리한 구조화된 워크플로우인 '검증 하네스(verification harness)'를 구축했습니다. 이 시스템에서 인공지능 모델은 오직 '독자(reader)'로서만 역할을 수행합니다. AI는 문서를 스캔하여 숫자나 날짜가 무엇일지 제안합니다. 일단 AI가 제안을 마치면, 즉시 물러납니다. 그 후 별도의 결정론적 컴퓨터 프로그램이 업무를 이어받습니다. 이 프로그램은 모든 계산을 수행하고, 모든 수학 문제를 검토하며, 제안된 모든 값을 규정에 정의된 엄격한 규칙 및 한계와 비교합니다. 만약 숫자가 맞지 않거나, 한 문서의 값이 다른 문서의 값과 모순될 경우 시스템은 불일치를 표시합니다. 마지막으로, 자격을 갖춘 약사가 모든 표시 사항을 검토합니다. 인간이 해당 표시가 실제 오류인지 아니면 오보인지에 대한 최종 결정을 내립니다. AI는 결정하지 않습니다. 오직 제안할 뿐입니다. 코드는 추측하지 않습니다. 오직 계산할 뿐입니다. 인간은 추측하지 않습니다. 오직 결정할 뿐입니다.

이 접근 방식이 실제로 작동하는지 테스트하기 위해, 연구진은 단일 제조사의 실제 규제 문서 3개를 사용하여 현실적인 테스트 환경을 구축했습니다. 이들은 정제나 캡슐 같은 다양한 유형의 의약품을 다루는 수백 개의 데이터 포인트가 포함된 실제 문서들이었습니다. 시스템이 오류를 찾아낼 수 있는지 확인하기 위해, 팀은 이 문서들의 복사본에 특정 실수들을 몰래 삽입했습니다. 그들은 세 개의 파일 전체에 걸쳐 단일 숫자의 위치가 바뀌거나, 배치 번호가 두 곳에서 서로 다르거나, 측정 단위가 잘못 보고되는 등의 332가지 뚜렷한 오류를 심어 놓았습니다. 그 후 시스템을 이 문서들에 실행하였으며, 시스템은 오류가 어디에 숨겨져 있는지 알려주지 않은 상태에서 작동해야 했습니다. 시스템은 페이지를 읽고, 데이터를 교차 참조하며, 규칙을 적용하는 능력에만 전적으로 의존하여 스스로 오류를 찾아내야 했습니다.

결과는 이 시스템이 심어진 오류를 찾는 데 효과적이었음을 보여주었으나, 완벽하지는 않았습니다. 세 가지 서로 다른 문서 전체에서 시스템은 주입된 오류의 84%를 성공적으로 탐지했으며, 이는 52개의 오류를 놓쳤음을 의미합니다. 첫 번째 문서에서는 112개 중 95개를 찾았고, 두 번째에서는 100개 중 80개를, 세 번째에서는 120개 중 105개를 찾았습니다. 시스템은 누락된 값, 상충하는 날짜, 안전 한계와 일치하지 않는 결과 등 설계된 모든 유형의 오류를 적어도 하나 이상 찾아냈습니다. 이는 읽기와 계산을 분리하는 아키텍처가 복잡한 제약 데이터를 처리하는 유효한 방법임을 시사합니다. 시스템은 문서의 서로 다른 레이아웃에 혼란을 느끼지 않았으나, 연구진은 단 3개의 문서만을 사용했기에 레이아웃 차이에 대한 통계적 검정력이 제한적이라는 점을 언급했습니다. 시스템은 많은 경우에 무언가 잘못되었다는 것을 일관되게 식별해 냈지만, 놓친 52개의 오류에 대해서는 그 원인이 밝혀지지 않았습니다. 연구진은 이것이 읽기 오류 때문인지, 규칙의 공백 때문인지, 혹은 채점 결정 때문인지 판단할 수 없었습니다.

그러나 연구진은 이 연구가 증명하지 못한 부분에 대해서도 신중하게 밝히고 있습니다. 시스템이 심어진 오류를 찾아내기는 했지만, 본 연구는 시스템이 얼마나 자주 '가짜 경보(false alarm)'를 울리는지는 측정하지 않았습니다. 연구진은 오류가 전혀 없는 문서로 시스템을 실행하지 않았기 때문에, 시스템이 올바른 값을 실수라고 표시하는 경우가 얼마나 자주 발생하는지 말할 수 없습니다. 실제 상황에서 시스템이 너무 많은 가짜 경보를 울린다면, 이는 인간 검토자에게 과부하를 주어 업무 속도를 높이기보다 오히려 늦출 수 있습니다. 또한, 본 연구는 각 문서에 대해 시스템을 단 한 번만 실행했습니다. 규제 환경에서 사용되는 모든 도구의 핵심 요구 사항인 '동일한 문서를 두 번 실행했을 때도 동일한 결과를 내는지'에 대한 테스트를 거치지 않았습니다. 연구진은 또한 심어진 오류의 밀도가 일반적인 제출물에서 발견되는 것보다 훨씬 높았으며, 이로 인해 오류를 찾기가 더 쉬웠을 수도 있다고 언급했습니다.

이 연구의 가장 중요한 기여는 탐지율 그 자체라기보다, 향후 이러한 시스템을 어떻게 테스트할 것인가에 대한 청사진을 제공했다는 점일 것입니다. 연구진은 오류가 포함된 문서 세트를 만드는 방법, 독립적인 전문가가 해당 오류를 검증하는 방법, 그리고 편향 없이 시스템의 성능을 측정하는 방법을 포함하여 공정한 테스트를 구축하기 위한 상세한 프로토콜을 제시했습니다. 그들은 인공지능이 제약 품질 분야에서 신뢰를 얻기 위해서는, 그것이 지원하고자 하는 규제만큼이나 엄격한 기준에 따라 검증되어야 한다고 강조했습니다. 연구는 시스템이 유망한 모습을 보이고 있지만, 아직 일상 업무에 투입될 준비가 된 완성된 제품은 아니라고 결론짓습니다. 이는 개념 증명(proof of concept)으로서 하나의 경로를 제시합니다. 즉, 데이터 비교라는 힘든 작업을 처리함으로써 인간의 지능을 보조하되, 최종 판단은 환자의 안전에 대해 궁극적인 책임을 지는 자격을 갖춘 인간 전문가에게 남겨두는 도구의 길입니다. 이 연구는 의약품 품질 보증의 미래가 인간 검토자를 대체하는 것이 아니라, 양과 피로로 인해 놓칠 수 있는 실수를 잡아낼 수 있도록 인간에게 더 날카롭고 신뢰할 수 있는 눈을 제공하는 데 있음을 시사합니다.