Operationalising CAPA for AI: Evidence Requirements and Limits from a Production Case Study

공장이 의약품이나 항공기 부품을 만들 때, 규칙은 매우 엄격합니다. 만약 기계가 아주 약간 짧은 볼트를 생산하거나 알약의 라벨을 잘못 붙였다면, 그 실수는 단순한 결함이 아니라 하나의 '편차(deviation)'가 됩니다. 이러한 규제 환경에서 기업들은 단순히 불량품을 버리고 상황이 나아지기를 바라는 데 그치지 않습니다. 그들은 라인을 멈추고, 왜 그런 실수가 발생했는지 정확히 조사하며, 기계를 수리한 뒤, 다시 제품을 만들기 전에 그 수리가 실제로 효과가 있는지 증명합니다. 오류를 찾아내고, 진정한 원인을 파고들며, 해결책을 검증하는 이 순환 과정은 품질 공학(quality engineering)이라 불리는 백 년 된 규율입니다. 이는 문제가 사람에게 해를 끼치기 전에 잡아내기 위해 설계되었습니다. 오늘날 조직들은 이와 유사한 고도의 책임이 따르는 업무를 인공지능에 넘겨주고 있습니다. 변호사들은 AI를 사용해 법률 문서를 분류하고, 의사들은 AI로 스캔 영상을 판독하며, 은행들은 AI로 대출을 승인합니다. 하지만 이 똑똑한 시스템들이 실수를 저지를 때, 기존의 품질 공학 규칙은 종종 누락되곤 합니다. 우리는 고장 난 로봇 팔을 고치는 방법은 알지만, 수천 명의 서류를 조용히 잘못 분류하고 있는 망가진 알고리즘을 어떻게 고쳐야 할지는 여전히 배우는 중입니다.

무사랏 카비르-치스티(Musarat Kabir-Chisty)라는 연구자는 기존의 엄격한 공장 품질 관리 규칙을 실제 작동 중인 인공지능 시스템에 적용할 수 있는지 테스트하기로 했습니다. 그녀는 영국의 한 이민 법률 사무소에서 사용 중인 문서 자동화 시스템이라는 실제 사례를 살펴보았습니다. 이 시스템은 수천 장의 법률 서류를 읽고, 각 서류가 무엇인지 파악하여 수백 개의 서로 다른 사건에 맞는 디지털 폴더로 분류하도록 설계되었습니다. 시스템은 완벽하지 않았습니다. 특정 이주 및 재출시 기간 동안 시스템은 42,000건 이상의 작업을 처리했습니다. 연구자는 이 시스템의 컴퓨터 로그를 공장의 품질 기록처럼 취급했습니다. AI의 코드나 수학적 원리를 들여다보는 대신, 그녀는 시스템이 실제로 저지른 실수와 인간이 수행한 수정 사항들을 살펴보았습니다. 그녀는 오류를 찾고, 원인을 파악하고, 수정하고, 그 수정이 효과가 있음을 증명하는 품질 공학의 표준 단계들을 오직 시스템이 스스로 생성한 데이터만을 사용하여 따라갈 수 있는지 확인하고자 했습니다.

연구 결과, 시스템의 자체 로그는 품질 기록으로서 충분히 강력한 역할을 할 수 있음이 드러났습니다. 연구자는 시스템이 동일한 문서를 중복 파일링하거나, 파일을 잘못된 카테고리에 배치하거나, 문서의 내용을 확인하지 못하는 등의 구체적인 유형의 오류를 범한다는 것을 발견했습니다. 이러한 오류들을 그룹화함으로써, 그녀는 단 세 가지 유형의 오류가 필요한 모든 수정 사항의 거의 72%를 차지한다는 사실을 발견했습니다. 그러나 단순히 오류 횟수만 세는 것은 오해를 불러일일 수 있는 이야기를 들려줍니다. 만약 오류가 발생한 총 횟수만 본다면, 가장 빈번하게 발생하는 오류가 가장 중요한 수정 대상이라고 생각할 수도 있습니다. 하지만 연구자가 실제 사건(case)의 관점, 즉 얼마나 많은 고유한 고객이 영향을 받았는지를 기준으로 보았을 때 순위는 바뀌었습니다. 어떤 오류들은 자주 발생했지만 경미했고 적은 수의 사람에게 영향을 미친 반면, 어떤 드문 오류들은 너무 심각해서 두 명의 서로 다른 사람의 전체 법적 사건을 뒤섞어 놓을 수도 있었습니다. 이는 오류를 세는 것만으로는 부족하며, 그것이 관련된 사람들에게 얼마나 위험한지에 따라 가중치를 두어야 함을 보여주었습니다.

조사는 왜 이러한 오류가 발생하는지 알아내기 위해 더 깊이 들어갔습니다. 피시본 다이어그램(fishbone diagram)처럼 원인을 지도화하는 방법을 사용하여, 연구자는 문제의 뿌리를 추적했습니다. 놀랍게도 가장 큰 문제는 인공지능 모델이 '멍청'하거나 언어를 이해하지 못해서 발생한 것이 아니었습니다. 대신, 오류는 종종 데이터가 준비되는 방식이나 시스템이 설정된 방식에서 비롯되었습니다. 예를 들어, 일부 문서는 스캔 방식 때문에 컴퓨터에게는 빈 문서로 나타났거나, 시스템에 특정 유형의 양식을 분류하는 데 필요한 특정 코드가 누락되어 있었습니다. 근본 원인은 AI의 '두뇌' 실패라기보다는, 변호사로부터 소프트웨어로 지식이 전달되는 과정에서의 간극인 경우가 많았습니다. 팀은 이후 교정 조치를 취했습니다. 데이터를 수정하고, 빈 스캔을 잡아낼 새로운 규칙을 추가했으며, 시스템의 신뢰도 설정을 조정했습니다. 그들은 공장에서 수리 기록을 남기는 것처럼 모든 변경 사항을 기록했습니다.

그러나 이 연구는 루프(loop) 내에서 결정적인 누락된 조각을 발견했습니다. 팀은 오류를 성공적으로 찾아내고, 조사하고, 수정 사항을 적용했지만, 그 수정이 장기적으로 효과가 있다는 것을 완전히 증명할 수는 없었습니다. 데이터가 이주 및 수리의 짧고 강렬한 기간에서 왔기 때문에, 시스템을 지켜보며 오류가 멈췄는지 확인할 수 있는 긴 시간이 뒤따르지 않았기 때문입니다. 진정한 품질 사이클에서는 문제를 기다리고 수정이 유효한지 검증해야 합니다. 연구자들은 우리가 마지막 단계까지는 모두 수행할 수 있다는 것을 보여주었지만, 마지막 단계는 로그만으로는 제공할 수 없는 다른 종류의 증거를 필요로 했습니다. 시스템의 신뢰도 임계값을 낮추는 것이 안전한지 확신할 수 없었던 이유는, 수정 후에 시스템의 추측값과 정답을 대조하여 확인할 방법이 없었기 때문입니다.

이 작업은 인공지능을 거버넌스(governance)하는 새로운 방식을 제안합니다. 이는 AI의 실패를 신비로운 '블랙박스' 형태의 결함이 아니라, 확립된 공학적 방법을 통해 추적, 조사 및 수정할 수 있는 측정 가능한 품질 편차로 취급할 수 있음을 입증합니다. 시스템의 로그는 무엇이 잘못되었는지 알려주고 어떤 수정 사항이 가장 중요한지 우선순위를 정하는 데 도움을 줄 수 있습니다. 하지만 동시에 명확한 경계선도 설정합니다. 시스템의 데이터만으로는 루프를 스스로 닫기에 충분하지 않다는 점입니다. 진정한 안전을 보장하기 위해서는, 얼마나 많은 사건이 영향을 받았는지 정확히 파악하고 수정 사항이 시간이 지나도 유지되는지 검증할 계획을 갖추는 것과 같은 구체적인 점검 절차를 반드시 추가해야 합니다. 이 연구는 AI 안전의 모든 문제를 해결했다고 주장하는 것이 아니라, 일이 잘못되었을 때 책임을 지는 데 있어 구체적이고 실행 가능한 방법을 제시합니다. 이는 품질 공학의 절제된 습관을 적용함으로써, 우리가 단순히 AI가 잘 작동하기를 바라는 단계를 넘어, 문제가 생겼을 때 실제로 어떻게 고칠 수 있는지 알 수 있게 해준다는 것을 보여줍니다.