Establishing AI State of Control: An Error Taxonomy and Assurance Framework for Transformer-Based Probabilistic Systems in Regulated Life Sciences

단 한 번의 실수가 환자의 안전을 위협할 수 있는 제약 제조의 고위험 환경에서, 기업들은 약물 생성의 모든 단계가 완벽함을 보장하기 위해 엄격한 규칙에 의존합니다. 수십 년 동안 이러한 규칙은 결정론(determinism)이라는 개념 위에 구축되어 왔습니다. 즉, 특정 재료 세트를 기계에 넣으면 매번 정확히 동일한 결과가 나온다는 믿음입니다. 만약 문제가 발생하면, 엔지니어들은 고장 난 기어라든지 정렬이 어긋난 센서로 실패의 원인을 추적할 수 있습니다. 하지만 새로운 종류의 기술이 이 지형을 바꾸고 있습니다. 시를 쓰거나 복잡한 보고서를 요약할 수 있는 것과 같은 유형의 인공지능인 거대 언어 모델(LLM)이 이러한 규제 환경에 들어오기 시작했습니다. 기존의 기계와 달리, 이 시스템들은 확률적(probabilistic)입니다. 이들은 단 하나의 정답을 계산하는 것이 아니라, 학습된 패턴을 바탕으로 문장에서 다음에 올 가장 가능성 높은 단어를 예측합니다. 이는 동일한 지침이 주어지더라도 시스템이 약간 다르고 잠재적으로 틀린 출력을 생성할 수 있음을 의미합니다. 규제 기관과 품질 전문가들의 과제는, 실수를 찾아내고 수정하기 위해 설계된 기존의 도구들이 끊임없이 추측하는 시스템이 아니라 결코 추측하지 않는 기계를 위해 만들어졌다는 점입니다.

케일라 브릿(Kayla Britt)이라는 연구자는 특히 생명 과학 분야에서 사용되는 이러한 AI 시스템을 위해 불확실성을 관리하는 새로운 방법을 제안했습니다. 그녀가 다루는 핵심 문제는 현재의 품질 시스템이 AI가 실수를 저질렀을 때 무엇이 잘못되었는지를 설명할 언어가 부족하다는 점입니다. 전통적인 소프트웨어 프로그램이 실패하면 대개 명확한 "소프트웨어 오류"가 됩니다. 하지만 AI가 실제처럼 보이지만 사실이 아닌 문서를 환각(hallucinate)하거나, 자신이 더 잘 알고 있다고 확신하여 중요한 지침을 무시할 때, 기존의 라벨들은 적합하지 않습니다. 이러한 혼란은 근본 원인을 제대로 조사하거나 문제를 해결하는 것을 불가능하게 만듭니다. 이를 해결하기 위해 브릿은 AI의 실패를 두 가지 특정 범주, 즉 발생한 오류의 유형과 시스템 아키텍처 내의 정확한 시작 지점으로 나누는 2차원 지도인 새로운 분류 체계를 도입합니다.

AI가 실패할 수 있는 여섯 가지 방식(예: 사실 조작, 맥락 오해, 답변에 대한 과도한 확신 등)을 나열한 한 축과, 실패가 시작될 수 있는 여섯 가지 장소(예: 모델 학습 데이터, 정보 검색 시스템, 인간과의 상호작용 방식 등)를 나열한 다른 축을 가진 격자를 상상해 보십시오. 이 두 목록을 교차함으로써, 프레임워크는 어떤 주어진 실수라도 기록할 수 있는 36개의 구체적인 "셀(cell)"을 생성합니다. 이를 통해 품질 엔지니어는 단순히 AI가 실패했다고 말하는 것이 아니라, 그것이 "모델 추론(model inference)" 단계(AI가 텍스트를 생성하는 순간)에서 비롯된 "조작 오류(fabrication error, 사실을 지어냄)"라고 정확히 진단할 수 있습니다. 이러한 수준의 상세함은 모호한 불평을 구체적인 진단 도구로 변모시켜, 팀이 시스템이 정확히 어떻게 망가졌는지 이해할 수 있게 해줍니다.

이 논문은 모든 AI 오류를 완전히 제거할 수는 없다는 점을 인정하며 더 나아갑니다. 이 시스템들은 확률을 기반으로 구축되었기 때문에, 일부 실수는 설계 자체에 내재되어 있으며 공학적으로 완전히 없앨 수 없습니다. 이 프레임워크는 더 나은 코딩이나 데이터로 수정할 수 있는 오류와, 시스템이 사용되는 범위와 방식을 제한함으로써 관리해야 하는 오류를 구분하기 위해 "불가역성 게이트(irreducibility gate)"라는 개념을 도입합니다. 만약 어떤 실패가 "불가역적(irreducible)"이라고 판단되면, 해결책은 AI를 완벽하게 만들려고 노력하는 것이 아니라, 설령 실수를 하더라도 그 결과가 통제될 수 있도록 시스템의 범위를 제한하는 것입니다. 예를 들어, AI가 의학적 인용 문구를 지어내는 경향이 있다면, 시스템은 AI가 스스로 새로운 인용을 생성하게 두는 대신, 이미 인간에 의해 검증된 텍스트만을 요약하도록 설계될 수 있습니다.

이 접근 방식을 테스트하기 위해, 저자는 AI를 사용하여 제조 기록을 요약하는 제약 회사의 실제 시나리오를 살펴봅니다. 이 사례에서 AI는 배치 기록(batch record)에서 온도 문제를 정확히 식별했지만, 이후 밸브가 고장 났다고 주장하며 잘못된 이유를 지어냈습니다. 실제 기록에는 그것이 인적 오류라고 되어 있었습니다. 새로운 분류 체계를 사용하면, 팀은 이것이 단순한 소프트웨어 결함이 아니라 "모델 추론" 레이어에서 발생한 "조작(fabrication)" 오류임을 정확히 짚어낼 수 있습니다. 이 구체적인 진단은 표적화된 해결책으로 이어졌습니다: 즉, AI가 생성한 텍스트가 소스 문서의 사실과 일치하는지 확인하는 검증 단계를 추가하는 것입니다. 이는 일반적인 "소프트웨어를 점검하라"는 명령보다 훨씬 효과적인 수정 방법입니다.

제안된 프레임워크는 또한 이러한 새로운 방법들을 미국 식품의약국(FDA)이 제조 공정을 검증하기 위해 사용하는 기존의 3단계 프로세스와 일치시킵니다. AI가 절대 실패하지 않을 것임을 증명하려고 노력하는 대신, 새로운 방법은 AI의 실패가 알려진 안전한 경계 내에 머물도록 증명하는 데 집중합니다. 이는 동일한 입력값의 수많은 변형을 사용하여 출력값이 얼마나 변하는지 테스트하여, 그 변동 폭이 안전할 만큼 충분히 작은지 확인하는 과정을 포함합니다. 만약 시스템이 이러한 경계 내에 머문다면, 드물게 발생하는 오류를 잡아내기 위한 인간의 개입(human-in-the-loop)이 전제되는 조건 하에 사용 승인을 받을 수 있습니다.

이 연구는 안전한 의료용 AI의 미래가 이러한 확률적 시스템을 결정론적 기계처럼 행동하게 만드는 데 있지 않다는 점을 시사합니다. 그것은 불가능에 가깝기 때문입니다. 대신, 그 본질을 받아들이고, 특정한 약점을 정밀하게 매핑하며, 그 한계에 맞춰 작동하는 통제 장치를 구축하는 데 있습니다. 품질 팀에게 명확한 어휘와 실수를 범주화하는 구조화된 방법을 제공함으로써, 이 프레임워크는 우리가 의존하는 약물의 안전을 해치지 않으면서 강력한 새로운 도구를 사용할 수 있는 길을 제시합니다. 논문은 기술이 여전히 진화하고 있지만, 이러한 오류를 정의하고, 기록하고, 관리하는 표준화된 방법을 갖추는 것이 통제력을 유지하기 위한 필수적인 첫걸음이라고 결론짓습니다.