Prediction certification cannot replace explanation certification: a competence envelope for trustworthy AI under compound stress

인공지능은 공상 과학의 영역에서 벗어나 현대 생활의 조용하고도 결정적인 기계 장치로 자리 잡았습니다. 우리는 어떤 환자가 상태가 악화되고 있는지, 어떤 건물이 재난 후에도 안전하게 진입 가능한지, 그리고 어떤 이미지가 실제인지 조작된 것인지 결정하기 위해 이러한 시스템에 의존합니다. 수년 동안 이 기계들을 신뢰하는 표준적인 방법은 그들이 내놓는 답변을 관찰하는 것이었습니다. 만약 시스템이 충분히 자주 올바르게 예측하고, 확신도가 성공률과 일치하며, 적절한 범위의 답을 제공한다면, 우리는 그것을 안전하다고 간주해 왔습니다. 이 방식은 기계를 '블랙박스'처럼 취급합니다. 즉, 기계가 어떻게 생각하는지는 알 필요 없이, 그 답변이 통계적으로 신뢰할 수 있는지만 확인하면 된다는 것입니다. 하지만 이 방법은 기계가 작동하는 세상이 훈련받은 세상과 정확히 일치할 것이며, 아무도 입력값을 조작하지 않았을 것이라는 가정을 전제로 합니다. 생명과 자원이 걸린 고도의 긴박한 순간에는 이러한 가정들이 한꺼번에 무너지는 경우가 많습니다. 진단 도구가 새로운 유형의 환자를 마주하거나, 피해 평가 시스템이 한 번도 본 적 없는 재난 상황에 직면했을 때, 기계는 완전히 틀린 답을 내놓으면서도 매우 자신감 있고 잘 설명된 답변을 계속할 수 있습니다. 위험은 기계가 실패하는 것 자체가 아니라, 아무도 의심하지 않는 사이에 설득력 있는 이유를 대며 '조용히 실패'하는 것에 있습니다.

한 새로운 연구는 모델의 답변을 확인하는 것만으로 안전성을 보장할 수 있다는 오랜 믿음에 도전합니다. 연구진은 기계가 결과를 예측하는 데는 완벽할지라도, 내부적으로는 망가지거나 조작된 방식으로 사고에 의존할 수 있음을 증명했습니다. 그들은 두 가지 버전의 모델, 즉 신뢰할 수 있는 모델과 훼손된 모델을 만드는 것이 가능하다는 것을 보여주었습니다. 이 두 모델을 답변으로 테스트했을 때, 두 모델은 동일해 보였습니다. 정확도, 확신도, 통계적 범위가 모두 같았습니다. 그러나 훼손된 모델은 특정 스트레스 상황에서만 나타나는 숨겨진 쓸모없는 단서에 비밀리에 의존하도록 수정되었습니다. 표준적인 점검 방식은 최종 답변만을 보기 때문에 이 차이를 발견할 수 없습니다. 훼서된 모델은 모든 테스트를 통과하지만, 실제 세계에서 그 숨겨진 단서가 나타나는 순간 처참하게 실패하게 됩니다. 연구진은 이러한 종류의 실패를 잡아내기 위해서는 단순히 기계가 말하는 것을 듣는 것만으로는 부족하며, 기계가 어떻게 결정하는지를 살펴보아야 한다고 보여주었습니다. 즉, 내부 논리와 기계가 의존하는 구체적인 특징, 그리고 선택의 근거가 되는 이유를 조사해야 한다는 것입니다.

이를 해결하기 위해 연구팀은 '역량 포괄 범위(competence envelope)'라고 불리는 새로운 프레임워크를 도입했습니다. 기계가 사용하기에 안전한 범위를 정의하는 지도를 상상해 보십시오. 이 지도는 단순히 기계가 정답을 얼마나 자주 맞히는지에 따라 그려지는 것이 아닙니다. 대신, 예측의 신뢰성과 설명의 충실성이라는 두 가지를 동시에 확인하여 그려집니다. 연구진은 이 두 가지 점검 방식이 서로 다른 방식으로 실패한다는 것을 발견했습니다. 뉴스 피드의 어조가 변하는 것처럼 데이터가 시간에 따라 변할 때는 예측 점검이 먼저 실패합니다. 반면 데이터가 희소해지거나 모델이 제한된 컴퓨팅 자원으로 실행되어야 할 때는 설명 점검이 먼저 실패합니다. 기계는 내부적 추론이 불안정해졌음에도 여전히 올바른 답을 내놓을 수도 있고, 혹은 더 이상 신뢰할 수 없는 답에 대해 안정적인 근거를 제시할 수도 있습니다. 이 두 가지 점검을 모두 통과하도록 요구함으로써, 역량 포괄 범위는 안전 구역을 생성합니다. 기계가 이 구역을 벗어나면, 시스템은 자신 있게 위험한 추측을 내놓는 대신 "모르겠습니다"라고 말하며 멈춰야 합니다.

연구진은 단순한 텍스트 분류기부터 복잡한 언어 모델에 이르기까지 다양한 유형의 데이터와 모델을 통해 이 아이디어를 테스트했습니다. 한 실험에서 연구진은 공격자가 훈련 데이터에 희귀하고 숨겨진 문구를 심어 놓은 시나리오를 시뮬레이션했습니다. 기계는 이 문구를 정답을 맞히기 위한 지름길로 학습했습니다. 깨끗한 데이터로 테스트했을 때, 기계는 완벽해 보였습니다. 정확도는 높았고 설명 또한 합리적으로 보였습니다. 그러나 연구진이 실제 사용 중에 숨겨진 문구를 도입하자 기계의 행동이 완전히 바뀌었습니다. 기계는 표준적인 점검으로는 보이지 않는 오류를 범하기 시작했습니다. 하지만 새로운 설명 점검 방식은 이를 즉시 포착했습니다. 시스템은 기계의 내부 초점이 숨겨진 문구로 옮겨갔다는 사실, 즉 의사결정 과정이 탈취되었다는 신호를 감지해 냈습니다. 이는 기계의 답변이 통계적으로는 정상적으로 보였음에도 불구하고 발생한 일이었습니다. 이 연구는 예측 점검에만 의존하는 것이 마치 다리의 강철 빔이 녹슬었는지는 무시한 채, 얼마나 많은 자동차가 안전하게 지나가는지만 세는 것과 같다는 점을 확인시켜 주었습니다.

이 접근법의 힘은 해를 끼치기 전에 '조용한 실패'를 감지하는 능력에 있습니다. 전쟁 지역과 기후 논의에 관한 실제 데이터를 이용한 테스트에서, 이 새로운 시스템은 오류가 실제로 나타나기 몇 달 전부터 모델이 실수를 하기 시작할 것을 예측했습니다. 이는 기계의 추론이 얼마나 안정적인지를 관찰함으로써 가능했습니다. 데이터가 희소해지거나 환경이 변할 때, 기계의 답변은 한동안 올прав은 상태를 유지하더라도 내부 논리는 흔들리기 시작합니다. 시스템은 이 조기 경보를 사용하여 기계가 스스로 뒷받침할 수 없는 결정을 내리지 못하도록 막았습니다. 텍스트와 이미지를 모두 사용하는 멀티모달 시스템에서, 이 방식은 시스템이 고장 난 센서를 무시하고 여전히 작동 중인 센서에 의존할 수 있도록 해주었습니다. 이는 복잡한 환경에서 흔히 발생하는 실패 모드인 '단일 고장 입력에 의한 속임수'를 방지했습니다.

이 연구의 함의는 학술적 이론을 훨씬 넘어섭니다. 연구진은 이 프레임워크를 우크라이나의 손상된 교량 평가라는 실제 시나리오에 적용했습니다. 이처럼 고도의 긴박한 환경에서는 교량이 안전한지 혹은 수리가 필요한지에 대한 모든 결정이 막대한 비용을 수반합니다. 표준적인 방법은 단 하나의 센서 판독값에 근거하여 교량이 손상되었다고 선언할 수 있지만, 그 판독값이 훼손되었거나 신뢰할 수 없는 출처에서 온 것일 수도 있습니다. 새로운 역량 포괄 범위 접근법은 게이트키퍼 역할을 합니다. 이는 단순히 손상 신호만을 확인하는 것이 아니라, 데이터의 신뢰성과 그 판결 뒤에 있는 추론의 안정성을 함께 점검합니다. 17개의 교량을 분석하는 과정에서, 이 시스템은 데이터가 너무 신뢰할 수 없어 판단을 내릴 수 없는 경우를 정확히 식로서, 잘못된 판결을 내리는 위험을 감수하는 대신 인간 엔지니어에게 결정을 넘겼습니다. 불확실한 조건에서 "모르겠습니다"라고 말할 수 있는 능력이 바로 진정으로 회복 탄력성이 있는 시스템의 특징입니다.

궁극적으로 이 연구는 인공지능에 대한 신뢰가 답변만으로는 구축될 수 없음을 입증합니다. 기계는 잘못된 이유로 정답을 맞힐 수 있으며, 그 잘못된 이유는 조용하고도 처참한 실패로 이어질 수 있습니다. 이 연구는 안전을 보장하기 위해서 우리가 모델의 결과뿐만 아니라 모델이 제시하는 근거를 인증해야 한다는 것을 증명합니다. 모델이 무엇을 예측하는지에 대한 점검과 어떻게 생각하는지에 대한 점검을 결합함으로써, 우리는 명확한 역량의 경계를 정의할 수 있습니다. 이 경계 안에서 시스템은 안전하게 사용될 수 있습니다. 경계 밖에서 시스템은 물러설 줄 알아야 합니다. 맹목적인 확신에서 검증된 이해로의 이러한 전환은, 인공지능을 가장 중요한 영역에 배치할 때 우리가 신뢰하는 기계가 단순히 자신감 있는 것을 넘어 진정으로 유능하도록 보장하는 길을 제시합니다.