당신이 로봇 셰프를 만들고 있다고 상상해 보세요. 당신은 로봇에게 요리를 직접 맛보고 레시피를 조정하는 법을 가르칩니다. 만약 로봇이 토스트를 태운다면, 즉시 이를 알아차리고 불을 줄일 수 있어야 합니다. 하지만 만약 로봇의 미각이 고장 났다면 어떨까요? 로봇이 탄 토스트를 맛보고 "음, 완벽해!"라고 생각한다면요? 로봇은 계속해서 토스트를 태울 것이고, 주방은 연기로 가득 찰 것이며, 집이 불타기 전까지는 아무도 무엇이 잘못되었는지 알지 못할 것입니다. 이것이 현대 인공지능(AI)의 무서운 현실입니다. 과학자들은 이야기를 쓰고, 수학 문제를 풀고, 심지어 법률 자문까지 제공할 수 있는 믿기 힘들 정도로 똑똑한 AI 시스템을 구축하고 있습니다. 하지만 이 시스템들은 매우 복잡하며, 때로는 우리가 그것을 점검하기 위해 사용하는 도구들이 감지하지 못하는 방식으로 실패하곤 합니다. 우리는 이것을 "침묵하는 실패(silent failure)"라고 부릅니다. 이는 마치 속도계가 고장 나서 차가 실제로 시속 100마일로 달리고 있거나 10마일로 기어가고 있음에도 항상 "60mph"라고 표시되는 자동차와 같습니다. 관리자들이 속도계만 보고 있다면, 자동차가 사고가 나기 전까지는 문제가 생겼다는 사실을 전혀 알 수 없습니다.

연구자 프리양카 바자지(Priyanka Bajaj)가 작성한 이 논문은 **평가 눈먼 현상(Evaluation Blindness)**이라고 불리는 특정한 종류의 보이지 않는 실패를 조사합니다. 이것은 우리의 "점검" 도구들이 특정 문제에 대해 눈이 멀어 있다는 것을 의미하는 멋진 표현입니다. 이 논문은 이러한 눈먼 현상이 두 가지 매우 다른 곳에서 발생한다고 주장합니다. 바로 AI가 *학습(훈련)*되는 동안과, AI가 *실제로 배치되어 작동(실무)*하는 단계입니다. 저자는 우리가 이 두 가지 문제를 별개의 문제로 취급해 왔지만, 사실 이들은 동일한 구조적 결함, 즉 측정 도구가 "모든 것이 정상이다"라고 말하면서도 실제로는 시스템이 망가져 있는 상태라는 점을 지적합니다. 변호사가 AI가 생성한 가짜 판례 때문에 곤경에 처하거나, 항공사 챗봇이 가짜 정책을 지어내는 것과 같은 실제 세계의 재난 사례를 통해, 이 논문은 공개적인 실패 중 절반 이상이 누군가 다치기 전까지는 표준 모니터링 시스템에 완전히 보이지 않았음을 보여줍니다. 저자는 이러한 실패들을 분류하는 새로운 방법과, 특정 AI가 얼마나 많은 실수를 허용할 수 있는지에 대한 안전 한계치인 "실패 예산(failure budget)" 시스템을 제안합니다. 이 예산은 해당 AI가 맡은 업무의 위험도에 따라 결정됩니다.

거대한 보이지 않는 결함

미스터리의 핵심으로 들어가 봅시다. 이 논문은 **평가 눈먼 현상(Evaluation Blindness)**이라는 개념을 소개합니다. 당신이 학생의 에세이를 채점하는 선생님이라고 상상해 보세요. 만약 학생이 거짓말로 가득 찬 끔찍한 에세이를 썼는데, 당신의 채점 기준(rubric)이 고장 나서 덩달아 "A"를 준다면, 당신은 "평가 눈먼 현상"을 겪고 있는 것입니다. 학생은 낙제하고 있지만, 당신의 측정치는 그 학생이 성공하고 있다고 말합니다.

AI의 세계에서도 이런 일이 일어납니다. 우리가 AI가 제대로 작동하는지 확인하기 위해 사용하는 컴퓨터 프로그램(측정 함수)이, AI가 실제로 잘못된 행동을 하고 있음에도 불구하고 결과값이 정상처럼 보이게 할 때 발생합니다. 논문은 이를 공식적으로 정의합니다. 만약 AI가 실패하고 있는데 우리의 도구가 그 실패와 정상 상태를 구분하지 못하고, 다른 경보도 울리지 않는다면, 우리는 평가 눈먼 현상을 겪고 있는 것입니다.

저자는 이것이 단발적인 오류가 아니라, AI의 생애 중 두 가지 뚜로 다른 단계에서 발생할 수 있는 구조적인 문제임을 지적합니다.

1. 훈련 시간 (Training Time): 이는 AI가 배우는 단계입니다. 학생이 시험 공부를 하는 상황을 상상해 보세요. 만약 선생님(AI의 보상 시스템)이 학생에게 수학을 이해하는 대신 정답지를 암기한 것에 대해 금메달을 주는 실수를 범한다면, 학생은 연습 시험에서는 완벽한 점수를 받겠지만 실제 시험에서는 낙제할 것입니다. 논문은 이에 대한 구체적인 예시를 제시합니다. 인기 있는 오픈 소스 라이브러리(TRL)의 버그로 인해 수학 계산이 약간 틀렸던 사례입니다. AI의 훈련은 완벽해 보였습니다. 즉, "손실(loss, 얼마나 틀렸는지를 나타내는 점수)"은 내려갔고, 보상은 올라갔습니다. 하지만 AI는 실제로 잘못된 것을 배우고 있었습니다. 왜냐하면 배후의 수학적 원리가 깨져 있었기 때문입니다. 아무도 코드를 원래 지침과 비교해 보기 전까지는 이를 알아차리지 못했습니다.
2. 배포 시간 (Deployment Time): 이는 AI가 실제 세상에 나와 사람들을 돕는 단계입니다. 여기서 "눈먼 현상"은 모니터링 도구가 AI가 경로를 벗어나고 있다는 사실을 포착하지 못할 때 발생합니다. 예를 들어, AI가 시간이 지남에 따라 조금씩 다른 답변을 내놓기 시작하거나(drift), AI가 정보를 가져오는 데이터베이스가 구식이라면 AI는 잘못된 조언을 할 수 있습니다. 하지만 모니터링 시스템이 AI가 단순히 "온라인 상태"인지(즉, 다운되지 않았는지)만 체크하고 "정상 작동" 여부를 체크하지 않는다면, 이 실수를 발견하지 못할 것입니다. 논문은 연구된 실제 사건들 중 53%에서 이러한 실패가 완전히 침묵 속에서 일어났다고 언급합니다. 경보도 울리지 않았고, 에러 메시지도 뜨지 않았습니다. 이 실패는 사람이 다치거나 변호사가 징계를 받은 후에야 발견되었습니다.

AI가 잘못될 수 있는 여섯 가지 방식 (침묵 속에서)

이러한 보이지 않는 실패를 이해하기 위해, 저자는 "분류 체계(taxonomy)"를 만들었습니다. 이는 분류를 위한 멋진 용어입니다. 그들은 50가지의 실제 AI 실패 사례를 여섯 가지 바구니에 담았습니다. 이것을 로봇 셰프가 주방 센서에 걸리지 않고 실수할 수 있는 여섯 가지 방식이라고 생각하세요:

• C1: 모델 드리프트 (Model Drift - 서서한 변화): AI가 라디오 주파수가 서서히 바뀌어 음악이 이상하게 들리는 것처럼, 시간이 흐름에 따라 행동이 서서히 변하는 것입니다. AI가 소프트웨어 업데이트를 받은 것이 아니라, 그냥 스스로 변한 것입니다. 이는 AI가 여전히 "작동"하고 있기 때문에 종종 침묵 속에서 진행됩니다.
• C2: 인프라 (Infrastructure - 고장 난 오븐): AI 자체는 괜찮지만, AI가 실행되는 컴퓨터나 서버에 문제가 있는 경우입니다. 오븐이 너무 뜨겁거나 전력이 깜빡거릴 수 있습니다. 이런 경우는 보통 시스템이 멈추거나 느려지기 때문에 쉽게 발견되며, 대개 "눈먼" 상태가 아닙니다.
• C3: 통합 (Integration - 잘못된 번역가): AI가 다른 시스템 구성 요소(데이터베이스나 도구 등)와 대화할 때 서로 오해하는 경우입니다. 예를 들어, AI는 레시 recipe를 요청했는데 데이터베이스가 작년의 식재료 목록을 보내준 상황입니다. 그러면 AI는 오래된 재료로 요리를 하게 됩니다. AI는 자신이 지시받은 대로 정확히 수행하고 있다고 생각하기 때문에 이 과정은 종종 침묵 속에서 일어납니다.
• C4: 평가 (Evaluation - 고장 난 자): 이것이 가장 메타적이고 위험한 단계입니다. AI를 점검하는 도구 자체가 고장 난 것입니다. 이는 마치 테이블을 측정하기 위해 늘어난 자를 사용하는 것과 같습니다. 테이블이 실제보다 짧아 보이는 것이죠. 만약 당신의 "품질 검사"가 고장 났다면, AI가 엉망임에도 불구하고 완벽하다고 생각할 수 있습니다. 논문은 이 카테고리의 모든 실패가 정의상 침묵할 수밖에 없음을 밝혔는데, 왜냐하면 오류를 잡아내야 할 대상 자체가 고장 났기 때문입니다.
• C5: 안전 및 준수 (Safety & Compliance - 불법 레시피): AI가 허용되지 않은 의료 조언을 하거나 가짜 법률 판례를 만드는 등 규칙을 어기는 경우입니다. 논문은 변호사가 AI를 사용하여 여섯 개의 가짜 판례가 포함된 법정 서면을 작성하여 문제가 된 유명한 사례를 강조합니다. AI는 시키는 대로 했지만, 인간이 사실 관계를 확인하지 않았습니다. 이 실패는 판사가 이를 발견할 때까지 침묵 속에 있었습니다.
• C6: 운영 (Operational - 매뉴얼 부재): AI와 컴퓨터는 멀쩡하지만, 이를 운영하는 사람들에게 문제가 생겼을 때 어떻게 해야 할지에 대한 계획이 없는 경우입니다. 체크리스트도 없고, 경보도 없으며, 누구에게 연락해야 할지도 모르는 상태입니다. 이것은 기계의 실패가 아니라 프로세스의 실패입니다.

침묵하는 다수

이 논문의 가장 놀라운 발견 중 하나는 다소 무서운 사실입니다: 연구된 실제 AI 실패 사례의 53%가 침묵하고 있었다는 것입니다. 이는 시스템이 "나 고장 났어!"라고 비명을 지르지 않고, 누군가 피해를 입을 때까지 잘못된 일을 계속 수행했다는 것을 의미합니다.

논문은 우리가 AI의 실패를 잘못된 방식으로 바라보고 있다고 주장합니다. 우리는 보통 "AI가 충분히 똑똑한가?"라고 묻습니다. 하지만 진짜 질문은 "우리의 측정 시스템이 AI가 틀렸을 때 이를 잡아낼 만큼 똑똑한가?"가 되어야 합니다. 저자는 모니터링 도구를 자동차의 엔진처럼 시스템의 핵심적인 부분으로 취급해야 한다고 제안합니다. 엔진은 훌륭하지만 속도계가 고장 났다면, 당신은 여전히 위험에 처해 있는 것입니다.

"실패 예산" (Failure Budget)

이를 해결하기 위해 저자는 **실패 예산(Failure Budget)**이라는 새로운 아이디어를 제안합니다. 당신이 무엇을 하느냐에 따라 하루에 허용되는 실수 횟수가 정해져 있다고 상상해 보세요.

• 대출 승인을 결정하거나 의료 조언을 주는 것과 같이 위험한 일을 하는 경우(의사 결정 결정적/Decision-Critical), 당신의 예산은 아주 적습니다. 예를 들어 1,000건의 요청당 단 1번의 실수만 허용될 수 있습니다. 이 한계에 도달하면 즉시 멈추고 문제를 해결해야 합니다.
• 회사의 내부 검색 도구와 같이 위험도가 낮은 일을 하는 경우(내부 생산성/Internal Productivity), 더 많은 실수를 허용할 수 있습니다. 예를 들어 1,000건당 20번 정도입니다.
• 연구실에서 실험을 하는 경우(실험적/Experimental), 아무도 다치지 않으므로 1,000건당 100번 정도의 많은 실수를 할 수 있습니다.

이 프레임워크는 팀들이 AI를 만들기 전에 다음과 같은 결정을 내리도록 강제합니다: "우리는 어느 정도의 위험을 감수할 용의가 있는가?" 그리고 "그 수준의 실수를 잡아낼 수 있는 적절한 도구를 갖추고 있는가?" 이는 단순히 AI를 더 똑똑하게 만드는 것이 아니라, 업무의 위험도에 걸맞은 안전망을 구축하는 일입니다.

이것이 왜 중요한가

이 논문은 "평가 눈먼 현상"이 AI 안전의 숨겨진 적이라고 결론짓습니다. AI가 잘못된 교훈을 배우게 만드는 훈련 코드의 버그이든, 안전 위반을 놓치는 고장 난 모니터링 시스템이든, 결과는 같습니다: 시스템은 침묵 속에서 실패합니다.

저자는 AI가 파멸할 것이라고 말하는 것이 아닙니다. 대신, 우리의 사고방식을 바꿔야 한다고 말합니다. 우리는 단지 AI를 더 똑똑하게 만드는 데 집중할 것이 아니라, 우리의 "점검" 도구를 더 똑똑하게 만드는 데 집중해야 합니다. AI가 경로를 이탈하거나, 데이터가 낡았거나, 규칙이 깨지고 있을 때 이를 감지할 수 있는 시스템을 구축해야 합니다. 그리고 우리는 AI의 첫 학습 날부터 마지막 업무 수행 날까지, 모든 단계에서 이를 수행해야 합니다.

"실패 예산"을 사용하고 여섯 가지 유형의 실패를 이해함으로써, 우리는 AI가 처음부터 눈이 멀어 있었다는 사실을 깨닫기 위해 재앙이 일어날 때까지 기다리는 일을 멈출 수 있습니다. 이것은 엔지니어, 변호사, 그리고 AI를 만드는 모든 이들에게 던지는 촉구입니다: 당신의 자를 점검하고, 사각지대를 수정하며, 당신의 안전망이 보이지 않는 추락을 잡아낼 만큼 강력한지 확인하십시오.