Selective Prediction Under Distribution Shift: The Failure of Threshold Transfer
본 연구는 깨끗한 데이터에서 결정된 최적의 임계값이 오염되거나 실제 환경의 데이터로 전이되지 않기 때문에, 통계적으로 유효한 중단 규칙을 수립하기 위해 새로운 라벨링된 데이터의 사용이 필수적이며, 이로 인해 표준 임계값 기반 선택적 예측이 분포 변화 상황에서 실패한다는 것을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
사진 속의 물체를 인식하도록 훈련된 컴퓨터 프로그램이 있다고 상상해 보십시오. 완벽한 세상이라면 이 프로그램은 항상 옳을 것입니다. 하지만 현실 세계는 무질서합니다. 카메라에 빗방씨가 묻을 수도 있고, 사진이 어두운 조명 아래에서 찍혔을 수도 있으며, 물체가 이상한 각도에서 보일 수도 있습니다. 컴퓨터가 보는 사진들이 훈련 과정에서 공부했던 것들과 달라지기 시작하면, 프로그램은 종종 혼란에 빠집니다. 여전히 답을 내놓을 수는 있지만, 그 답은 틀릴 가능성이 높습니다. 이를 다루기 위해 연구자들은 하나의 안전 밸브를 개발했습니다. 바로 컴퓨터가 "모르겠다"라고 말할 수 있게 허용하는 것입니다. 프로그램이 충분히 확신하지 못한다면, 추측하는 대신 침묵을 지킵니다. 이를 '선택적 예측(selective prediction)'이라고 부릅니다. 목표는 간단합니다. 컴퓨터가 언제 말하고 언제 침묵할지를 알려주는 규칙을 설정하여, 컴퓨터가 입을 열 때마다 대부분의 경우에 정답을 말하도록 보장하는 것입니다.
수년 동안 이 규칙을 설정하는 표준적인 방법은 깨끗하고 완벽한 사진들로 컴퓨터를 테스트하는 것이었습니다. 연구자들은 깨끗한 사진들에 대해 작동하는 신뢰 수준을 선택합니다. 예를 들어, 컴퓨터가 말을 할 때 오답률을 5% 미만으로 보장하는 설정을 선택하는 식입니다. 그런 다음 그들은 동일한 설정을 그대로 가지고 실제 세상으로 나갑니다. 깨끗한 사진들에서도 잘 작동했으니, 사진이 흐릿해지거나 왜곡되더라도 그 설정이 유지될 것이라고 가정하는 것입니다. C.V. 라만 글로벌 대학교(C.V. Raman Global University)의 샤얌 아마드(Shayam Ahmad)가 수행한 새로운 연구는 이 가설에 이의를 제기합니다. 이 연구는 직접적인 질문을 던집니다. 깨끗한 데이터에서 작동하는 규칙이 데이터가 변해도 여전히 작동하는가? 그 대답은 단호하게 '아니오'입니다. 연구는 규칙이 현실 세계의 조건 아래에서 완전히 무너진다는 것을 발견했습니다. 이는 약속했던 것보다 훨씬 높은 오류율로 이어지며, 컴퓨터는 거절해야 할 사진들에 대해서도 자신 있게 답변을 계속하게 됩니다.
연구진은 표준적인 이미지 세트와 두 가지 유형의 컴퓨터 비전 모델을 사용하여 이 아이디어를 테스트했습니다. 먼저 모델들을 깨끗한 사진들로 훈련시킨 다음, 노이즈 추가, 이미지 흐림 처리, 또는 색상 변경과 같은 다양한 유형의 손상을 가했습니다. 또한 연구진은 훈련 데이터와 약간 다른 새로운 실세계 사진들을 사용하여 모델을 테스트했는데, 이는 시스템이 현장에서 몇 달간 사용될 때 발생하는 완만한 변화(drift)를 모사한 것입니다. 모든 경우에 대해, 그들은 깨끗한 데이터에서 선택되었던 것과 동일한 규칙을 적용했습니다. 결과는 극명했습니다. 연구진이 5%의 오차를 목표로 설정했을 때, 손상된 이미지에서의 실제 오차율은 최악의 경우 42%에서 45% 사이로 치솟았습니다. 즉, 규칙은 오답률이 5% 미만일 것이라고 약속했지만, 컴퓨터는 거의 절반 가까이 틀린 것입니다. 목표를 더 엄격하게 잡았을 때 문제는 더 심각해졌습니다. 만약 1%의 오차율을 목표로 했다면, 실제 오차는 약속보다 거의 20배나 더 높게 나타났습니다.
누군가는 컴퓨터가 단순히 자신의 확신도를 순위 매기는 데 서툴러진 것이 아닌가 의문을 가질 수도 있습니다. 즉, 쉬운 사진들을 상단에 두고 어려운 사진들을 하단에 두는 방식은 맞지만, 선을 긋는 위치를 잘못 잡은 것이 아닐까 하는 의문입니다. 이를 테스트하기 위해 연구진은 문제를 두 부분으로 나누었습니다. 첫 번째는 '순위 매기기(ranking)'입니다. 즉, 컴퓨터가 사진들을 "가장 확실함"에서 "가장 불확실함"까지 얼마나 잘 정렬하는가 하는 문제입니다. 두 번째는 '정지 규칙(stopping rule)'입니다. 즉, 언제 답변을 멈출지 결정하기 위해 어디에 선을 그을 것인가 하는 문제입니다. 연구진은 순위 매기기가 실제로 꽤 훌륭하다는 것을 발견했습니다. 네 가지 서로 다른 신뢰도 측정 방식 모두 거의 동일한 순서를 만들어냈습니다. 컴퓨터는 어떤 사진이 다른 사진보다 더 어려운지 알고 있었습니다. 실패는 전적으로 두 번째 부분, 즉 정지 규칙에서 발생했습니다. 깨끗한 데이터에서 그어진 선은 무질서한 데이터에 대해서는 단순히 잘못된 위치에 있었습니다. 그 선은 너무 많은 어려운 사진들을 통과시켜 버렸고, 그것들을 마치 쉬운 것처럼 받아들임으로써 오차율을 폭발시켰습니다.
연구진은 기존의 기술들이 새로운 정보 없이도 이 문제를 해결할 수 있는지 조사했습니다. 일부 방법들은 정답을 보지 않고도 새로운 데이터의 오차율을 추측하여 규칙을 자동으로 조정하려고 시도합니다. 연구진은 이러한 발표된 방법 중 두 가지를 테스트했습니다. 두 방법 모두 효과가 없었습니다. 오차를 약간 줄이기는 했지만 문제를 해결하지는 못했으며, 두 방법 모두 평균 신뢰도를 기반으로 단순히 추측하는 매우 단순한 규칙보다 성능이 떨어졌습니다. 문제를 진정으로 해결할 수 있는 유일한 방법은 무질서한 환경으로부터 나온 소량의 새로운 레이블(정답)이 포함된 데이터를 사용하는 것이었습니다. 연구진이 새로운 사진들의 정답을 수백 개 혹은 수천 개 정도 보여줌으로써, 실제 목표치를 충족하는 새로운 정지 규칙을 찾아낼 수 있었습니다. 그러나 이 해결책에는 무거운 대가가 따릅니다. 데이터의 변화가 경미할 때는 신뢰할 수 있는 규칙을 얻기 위해 약 800개의 레이블된 예시가 필요했고, 강력한 훼손이 있을 때는 4,000개 이상의 예시가 필요했습니다. 이는 딜레마를 만듭니다. 데이터가 변할수록 안전을 유지하기 위해 더 많은 레이블된 예시가 필요하지만, 정작 데이터가 가장 많이 변할 때 레이블된 예시를 구하기가 가장 어렵기 때문입니다.
이 발견의 함의는 실질적이고 즉각적입니다. 이는 단순히 완벽한 조건에서 설계된 규칙을 실제 세상에 적용하는 것이 위험하다는 것을 시사합니다. 데이터가 이동했다면 안전의 약속은 환상에 불호합니다. 연구진은 만약 시스템 운영자가 현장의 새로운 데이터를 레이블링할 여력이 없다면, 오차율에 대한 구체적인 약속을 아예 하지 말아야 한다고 결론지었습니다. 지킬 수 없는 목표를 제시하는 것은 아무것도 제시하지 않는 것보다 나쁩니다. 왜냐로 그것이 거짓된 안전감을 주기 때문입니다. 이 연구는 비용 없이 문제를 해결할 마법의 탄환을 제시하지는 않지만, 하나의 큰 오해를 걷어내는 역할을 합니다. 실패의 원인은 컴퓨터가 난이도를 판단하는 능력에 있는 것이 아니라, 언제 말할지를 결정하는 경직된 규칙에 있다는 것을 보여줍니다. 앞으로 나아갈 길은 환경이 변하면 게임의 규칙도 변한다는 점을 인정하는 것이며, 변화하는 세상 속에서 안전의 약속을 지키기 위해서는 새로운 정보라는 대가를 치러야 한다는 점을 인식하는 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.