Robust Ambiguity Detection (RAD) From Model- and Feature-Space Consistency

당신이 고도의 긴장감이 흐르는 법정의 판사라고 상상해 보십시오. 하지만 당신은 혼자가 아니라 10명의 전문가로 구성된 패널을 두고 있습니다. 그들은 모두 똑같이 천재적이며, 정확히 동일한 사건 파일을 공부했고, 동일한 엄격한 시험을 통과했습니다. 보통 그들은 모두 만장일치로 판결을 내립니다. 하지만 가끔 의견이 갈릴 때가 있습니다. 예를 들어 다섯 명은 "유죄", 다른 다섯 명은 "무죄"라고 할 때 말이죠. 혼란스럽긴 하겠지만, 적어도 불일치가 존재한다는 사실은 알 수 있습니다.

이제 더 까다로운 시나리오를 상상해 보십시오. 10명의 전문가는 특정 피고인에 대해 의견이 일치합니다. 그런데 만약 이야기의 아주 작은 디테일 하나만 바꾼다면—예를 들어 피고인이 1초 늦게 도착했다거나, 약간 다른 모자를 썼다고 한다면—패널 전체가 갑자기 반대편으로 투표를 뒤집어 버립니다. 또는, 두 피고인이 거의 똑같은 쌍둥이인데, 결정 경계선이 흔들리고 불확실하게 그려지는 바람에 한 명은 "유죄", 다른 한 명은 "무죄" 판결을 받는 상황을 상상해 보십시오. 머신러인닝의 세계에서, 컴퓨터가 대출, 의료 진단, 또는 대학 입학 결정을 내릴 때 이러한 "흔들리는" 예측은 위험합니다. 이를 **모호성(ambiguity)**이라고 부릅니다. 만약 컴퓨터 모델이 사소한 변화에도 자신의 이야기를 유지하지 못하거나, 자신의 쌍둥이 모델들과 의견이 일치하지 않는다면, 우리는 그것을 신뢰할 수 없습니다. 이 논문은 실세계의 문제를 일으키기 전에 그러한 불안정하고 신뢰할 수 없는 예측을 포착하는 더 나은 방법을 구축하는 것에 관한 것입니다.

---

"RAD" 탐지기: 흔들리는 예측을 잡아내다

이 논문의 저자인 더블린 대학교(University College Dublin)의 Manya Singh, Mark T. Keane, Arjun Pakrashi는 RAD(Robust Ambiguity Detection, 강건한 모호성 탐지)라고 불리는 새로운 도구를 개발했습니다. RAD를 AI 예측에 대한 '스트레스 테스트 기계'라고 생각하십시오. RAD는 단순히 "AI가 무엇이라고 생각하는가?"라고 묻는 대신, "입력을 아주 조금만 흔들어도 AI가 여전히 그렇게 생각하는가? 그리고 그 쌍둥이 모델들은 어떻게 생각하는가?"라고 묻습니다.

RAD가 어떻게 작동하는지 이해하기 위해, 클럽의 보안 요원(bouncer) 비유를 사용해 보겠습니다.

설정: 보안 요원 패널

매우 엄격한 출입 정책을 가진 클럽이 있다고 상상해 보십시오. 정책이 공정하게 운영되도록 하기 위해, 클럽은 10명의 서로 다른 보안 요원을 고용했습니다 (이들이 바로 동등한 모델들입니다). 그들은 모두 동일한 규칙을 학습했으며 직무 수행 능력도 동일합니다.

• 입력: 클럽에 들어오려는 사람 (이것이 데이터 포인트입니다).
• 섭동(Perturbation): 보안 요원들은 그 사람의 외형이 미세하게 변하는 상황을 상상하도록 요청받습니다. 예를 들어 그 사람이 다른 모자를 쓰고 있거나, 왼쪽으로 1인치 옆에 서 있는 상황을 상상하는 것입니다 (이것들이 국소적 섭동입니다).

"모호성 행렬": 성적표

RAD는 어떤 일이 일어나는지 추적하기 위해 거대한 성적표(이를 모호성 행렬이라 부릅니다)를 만듭니다.

• 행(Rows): 10명의 보안 요원.
• 열(Columns): 원래의 사람과 그 "상상된" 버전들(이웃들).
• 셀(Cells): 각 보안 요원이 각 버전(사람)에 대해 "예" 또는 "아니오"라고 답했는가?

만약 보안 요원들이 원래의 사람에 대해서도, 그리고 모든 약간 변형된 버전들에 대해서도 모두 "예"라고 말한다면, 그 예측은 **강건(Robust)**합니다. 즉, 견고합니다. 하지만 보안 요원들이 서로 논쟁하기 시작하거나, 단지 사람이 발을 움직였다는 이유만으로 마음을 바꾼다면, 그것은 **모호성(Ambiguity)**입니다.

RAD 플롯: 혼란의 네 구석

이 논문은 이 성적표를 RAD 플롯이라는 간단한 그래프로 변환합니다. 정사각형이 네 개의 구석으로 나뉘어 있다고 상상해 보십시오. 예측이 어디에 위치하느냐에 따라 왜 흔들리는지 정확히 알 수 있습니다.

1. 우측 상단 ("철벽 방어" 구석): 모든 보안 요원이 일치하며, 사람이 움직여도 그들은 일치합니다. 이것은 강건한(Robust) 예측입니다. 믿을 수 있습니다.
2. 좌측 상단 ("말다툼하는 보안 요원들" 구석): 보안 요원들은 각자 자신과는 일관성을 유지하지만(예를 들어 모자를 쓴 경우에 "예"라고 했다면, 모자를 안 쓴 경우에도 "예"라고 함), 서로는 의견이 다릅니다. 한 보안 요원은 규칙이 "예"라고 생각하는데, 다른 요원은 "아니오"라고 생각합니다. 이것은 **모델 공간 모호성(Model-Space Ambiguity)**입니다. 문제는 사람이 아니라, 모델들이 서로 다른 버전의 규칙을 학습했다는 것입니다.
3. 우측 하단 ("흔들리는 보안 요원들" 구석): 모든 보안 요원이 대체로 서로 의견이 일치하지만, 사람의 미세한 움직임에 모두가 혼란을 느낍니다. 사람이 1인치만 움직여도 그들은 "예"에서 "아니오"로 태도를 바꿉니다. 이것은 **특징 공간 모호성(Feature-Space Ambiguity)**입니다. 사람은 결정 경계선 바로 위에 서 있으며, 규칙이 너무 민감합니다.
4. 좌측 하단 ("총체적 혼돈" 구서): 보안 요원들은 서로 의견이 다를 뿐만 아니라, 사람이 움직일 때 자기 자신과도 의견이 일치하지 않습니다. 이것은 최악의 종류의 모호성입니다. 이 예측은 모든 이유로 신뢰할 수 없습니다.

무엇을 발견했는가?

저자들은 두 가지 유형의 데이터로 RAD를 테스트했습니다.

1. 가공 데이터 (Synthetic Data): "예" 그룹과 "아니오" 그룹이 얼마나 겹치는지 정확히 조절할 수 있는 컴퓨터 생성 환경을 만들었습니다. 그들은 그룹이 더 많이 섞일수록 예측이 "철벽 방어" 구석에서 벗어나 "흔들리는" 구석이나 "혼돈"의 구석으로 이동한다는 것을 발견했습니다. 이는 RAD가 상황이 엉망이 될 때 실제로 감지할 수 있음을 증명했습니다.
2. 실제 데이터: 그들은 실제 데이터셋(신용카드 연체, 심장병 위험, 그리고 MNIST 데이터셋의 손글씨 숫자 등)을 사용했습니다. 복잡한 데이터셋에서는 결정 경계선을 직접 "볼" 수 없지만, RAD는 마치 X-레이처럼 작용하여 어떤 예측이 흔들릴 가능성이 높은지 보여주었습니다.

큰 결실: "모르겠다"고 말하는 법을 아는 것

이 논문에서 가장 흥eli로운 부분은 **기권(Abstention)**이라는 실질적인 응용입니다. 대학 입학을 결정하거나 질병을 진단하는 것과 같은 고위험 상황에서는, 잘못된 추측을 하기보다 "잘 모르겠으니 인간이 확인해야 합니다"라고 말하는 것이 더 낫습니다.

저자들은 RAD를 사용하여 예측 순위를 매겼습니다. 그들은 만약 "흔들리는" 구석이나 "혼돈"의 구석에 위치한 샘플들(가장 낮은 RAD 파레토 순위를 가진 샘플들)에 대해 예측을 거부한다면, 남은 예측들의 정확도가 크게 향상된다는 것을 발견했습니다. 즉, RAD를 사용하여 혼란스러운 사례들을 걸러냄으로써, AI가 답변을 내놓는 사례들에 대해 훨씬 더 신뢰할 수 있게 된 것입니다.

RAD가 아닌 것

이 논문이 무엇을 하지 않는지 유의하는 것도 중요합니다. 이 논문은 AI를 고치거나 보안 요원들을 일치시키겠다고 주장하는 것이 아닙니다. 또한 모든 AI가 고장 났다고 말하는 것도 아닙니다. 대신, 이것은 하나의 진단 도구를 제공합니다. 그것은 문제가 어디에 있는지 알려줍니다.

• 문제가 모델들이 너무 다르기 때문인가요? (그렇다면 모델을 더 잘 훈련시키거나 결합해야 합니다).
• 데이터가 너무 지저분하거나 결정 경계가 너무 날카로운 것이 문제인가요? (그렇다면 더 나은 데이터나 규칙을 정의하는 다른 방법이 필요할 수 있습니다).

이 논문은 모델 공간(모델들이 동의하는가?)과 특징 공간(데이터가 안정적인가?)을 모두 살펴봄으로써, 단 하나만을 볼 때보다 훨씬 더 명확한 신뢰의 그림을 얻을 수 있다고 제안합니다. 이는 단순히 추측하고 있을지도 모르는 컴퓨터를 맹목적으로 믿는 것을 멈추고, 답이 명확하지 않을 때 올바른 질문을 던지는 방법입니다.