Subtype Robustness Is Not Just Accuracy: Calibration Under Unseen Subtype Shift

로봇에게 동물을 인식하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 수천 장의 개와 고양이 사진을 보여주었고, 로봇은 "이것은 포유류입니다!"라고 완벽한 확신을 가지고 말하는 법을 배웠습니다. 그런데 만약 당신이 로봇에게 한 번도 본 적 없는 새로운 동물인 오리너구리 사진을 보여준다면 어떻게 될까요? 만약 로봇이 여전히 "이것은 포유류입니다!"라고 말하면서 구체적인 동물 종류는 틀린다면, 그 로봇은 일을 잘하고 있는 걸까요? 이 질문은 머신러닝이라는 분야, 특히 인공지능이 이미 알고 있는 것들의 새로운 변형을 어떻게 다루는지에 초점을 맞춘 연구의 핵심에 맞닿아 있습니다.

AI의 세계에는 우리가 이해해야 할 두 가지 큰 개념이 있습니다. 첫째는 **정확도(accuracy)**로, 이는 단순히 로봇이 정답을 얼마나 자주 맞히느냐를 의미합니다. 로봇이 "포유류"라고 말했고 그것이 실제로 포유류라면, 정확도 점수를 얻게 됩니다. 둘째는 **교정(calibration)**입니다. 이것은 조금 더 까다로운데, 로봇의 확신이 그 정확도와 일치하는지에 관한 것입니다. 잘 교정된 로봇은 90%의 확신을 가진다면 90%의 확률로 정답을 맞춰야 합니다. 만약 90%의 확신을 가지고 있지만 실제로는 50%의 확률로만 정답을 맞힌다면, 그 로봇은 "과잉 확신(overconfident)" 상태이며, 이는 위험합니다. 왜냐하면 언제 도움을 요청해야 할지 모르기 때문입니다. 우리가 이 문제를 중요하게 여기는 이유는 현실 세계의 AI 시스템이 끊임없이 기존 카테고리의 새로운 버전(예: 새로운 종의 새나 새로운 모델의 자동차)을 마주하기 때문이며, 우리는 그들이 미지의 존재를 만났을 때 겸손하고 정직할 수 있는지 알아야 합니다.

침묵하는 과잉 확신의 함정

"하위 유형 강건성은 단지 정확도만의 문제가 아니다(Subtype Robustness Is Not Just Accuracy)"라는 제목의 이 논문은 표준 테스트가 놓치는 교묘한 문제, 즉 AI 모델이 실패하는 방식을 조사합니다. 연구진은 모델이 특정 "하위 유형"(예: 골든 리트리버와 푸들만 보는 경우)에 대해 학습되었지만, 동일한 광범위한 범주 내의 완전히 새로운 하위 유형(예: 달마시안을 처음 보는 경우)에 대해 테스트를 받는 시나리오를 설정했습니다. 모델은 구체적인 품종은 모르더라도 광범위한 범주(예: "개")를 여전히 올바르게 식별해야 합니다.

연구팀은 놀라운 사실을 발견했습니다. 모델은 이러한 새로운 하위 유형에 대한 정확도는 잃어버리지만, 확신은 잃지 않는다는 것입니다.

학생이 시험을 치르는 상황을 상상해 보세요. 그 학생은 골든 리트리버와 푸들만을 공부했습니다. 달마시안을 보았을 때, 학생은 "개"라고 정답은 맞혔지만, 사실은 그냥 찍은 것입니다. 이상적인 세상이라면 학생은 "잘 모르겠지만, 개인 것 같아요"라고 말하며 불확실함을 느껴야 합니다. 하지만 이 AI 모델들은 마치 자신이 맞다고 95% 확신하면서도 구체적인 세부 사항에 대해서는 틀리고 있는 학생처럼 행동합니다. 논문은 모델의 정확도가 이러한 새로운 하위 유형에서 떨어짐에도 불구하고, 그 확신은 거의 줄어들지 않는다는 것을 보여줍니다. 이는 시스템이 확신에 차서 틀리고 있음에도 불구하고 경보를 울리지 않게 만드는 "침묵하는 과잉 확신"을 만들어냅니다.

왜 단순히 "나쁜 사진" 때문이 아닌가

당신은 "음, 아마도 새로운 사진들이 이상하거나 흐릿해서 AI가 혼란을 느끼는 것 아닐까?"라고 생각할 수도 있습니다. 연구진은 이 "새로운 하위 유형" 문제를 "일반적인 손상(generic corruption)"과 비교하여 이를 테스트했습니다. 일반적인 손상이란 정상적인 사진에 진흙을 묻히거나, 노이즈를 추가하거나, 흐릿하게 만드는 것을 말합니다.

그들은 큰 차이를 발견했습니다. 사진을 나쁘게 만들었을 때(일반적인 손상), AI의 확신은 정확도와 함께 급격히 떨어졌습니다. AI는 자신이 무엇을 보고 있는지(엉망인 상태임을) 알고 있었습니다. 하지만 본 적 없는 새로운 하위 유형의 깨끗하고 완벽한 사진을 보여주었을 때, AI는 정확도 면에서 고전하고 있음에도 불구하고 고집스럽게 확신을 유지했습니다. 모델은 눈에 보이는 손상에는 반응하지만, "계통 내 새로움(in-taxonomy novelty)", 즉 겉보기에는 정상적이지만 기술적으로는 시스템에 생소한 것에 대해서는 눈이 멀어 있습니다.

우리가 가진 도구들은 해결하지 못한다

연구진은 이어서 물었습니다. "이 문제를 사후에 해결할 수 있을까?" 그들은 두 가지 일반적인 해결책을 시도했습니다.

1. 재교정(Recalibration): 그들은 모델이 이미 알고 있는 데이터들을 사용하여 모델의 확신 점수를 조정하려고 했습니다. 이는 격차를 좁히는 데 약간의 도움이 되었지만, 간극을 완전히 메우지는 못했습니다. 모델은 여전히 새로운 것들에 대해 너무 과하게 확신했습니다.
2. 분포 외 탐지(Out-of-Distribution Detection): 그들은 "이상한" 입력을 감지하도록 설계된 표준 도구들을 사용해 보았습니다. 이 도구들은 처참하게 실패했습니다. 이 도구들은 알려진 개와 새로운 형태의 개를 구분하지 못했습니다. 점수들이 너무 비슷해서 이 도구들은 사실상 추측에 불과했습니다.

근본 원인: 얼마나 많은 사례를 보았는가?

논문은 또한 왜 이런 일이 발생하는지를 설명하는 패턴을 발견했습니다. 모델이 훈련 과정에서 특정 카테고리의 사례를 더 많이 볼수록, 새로운 사례에 대해서도 더 잘 교정된 상태를 유지합니다. 예를 들어, 모델이 100가지 종류의 개를 보았다면, 단 2가지 종류만 본 모델보다 새로운 개를 훨씬 더 잘 다룰 수 있습니다. 이는 마치 50가지 종류의 사과로 요리해 본 요리사가, 단 한 종류의 사과로만 요리해 본 요리사보다 새로운 사과의 맛을 더 잘 맞힐 수 있는 것과 같습니다. 논문은 이 "과잉 확신"이 해당 그룹에 대한 훈련 데이터가 얼마나 희소했는지와 직접적으로 연결되어 있다고 제안합니다.

결론

핵심적인 교훈은 AI가 강건한지 확인하기 위해 단순히 정확도만을 봐서는 안 된다는 것입니다. 모델이 광범위한 정답은 맞히더라도 새로운 변형에 대해 터무니없이 과하게 확신한다면, 그것은 사실 실패한 것입니다. 논문은 우리가 정확도와 함께 교정을 측정하기 시작해야 한다고 주장합니다. 이러한 "침묵하는" 실패를 감지할 더 나은 도구를 만들기 전까지, 우리는 새로운 것을 마주했을 때 단순히 확신에 찬 채로 추측하고 있는 AI 시스템을 신뢰하는 데 주의를 기울여야 합니다.