Auditing Conformal Prediction under Distribution Shift: A Detectability Boundary, Exact Label-Budget Design, and Repair

당신이 고향의 강수량을 예측하며 수년간 경험을 쌓은 기상 예보관이라고 상상해 보십시오. 당신은 "내일 비가 올 확률이 90%입니다"라고 말하는 시스템을 구축했습니다. 그리고 수년 동안 이 시스템은 90%의 확률로 적중했습니다. 이 시스템을 **컨포멀 예측(Conformal Prediction)**이라고 부릅니다. 이것은 컴퓨터가 자신의 추측 주변에 '안전망'을 제공할 수 있게 해주는 영리한 기술로, 구름 뒤에 숨겨진 물리 법칙을 정확히 알지 못하더라도 대부분의 경우 실제 정답이 그 안전망 안에 들어올 것임을 약속합니다.

하지만 여기 함정이 있습니다. 만약 당신이 기상 관측소를 완전히 다른 도시로 옮긴다면 어떻게 될까요? 아마 습도가 다르거나 바람의 방향이 바뀔 수도 있습니다. 이것을 **분포 변화(Distribution Shift)**라고 합니다. 공기(데이터)는 변했지만, 당신의 오래된 규칙들은 여전히 자동 항법 장치에 의존해 돌아가고 있을 수 있습니다. 당신은 여전히 "90% 확신합니다"라고 말하겠지만, 기상 패턴이 변했다면 당신은 생각보다 훨씬 더 자주 틀릴 수 있습니다. 과학자들의 큰 질문은 이것입니다. 실제로 비가 오는지 기다리지 않고도, 단지 새로운 구름을 관찰하는 것만으로 당신의 안전망이 여전히 유효한지 알 수 있을까요?

**"분포 변화 하에서의 컨포멀 예측 감사(Auditing Conformal Prediction under Distribution Shift)"**라는 제목의 이 논문은 바로 그 퍼즐을 다룹니다. 저자인 마하 무사(Maha Moussa)는 이 예측 안전망의 품질을 검사하는 품질 관리 검사관 역할을 하는 **드리프트 가드(DriftGuard)**라는 새로운 시스템을 소개합니다. 이 이야기는 놀라운 진실을 드러냅니다. 단순히 구름을 보는 것만으로는 당신의 안전망이 망가졌는지 항상 알 수 있는 것은 아닙니다. 만약 종류의 날씨가 변한다면(예를 들어 비가 눈으로 바뀌는 경우, 구름 모양은 비슷하더라도), 기존의 시스템은 소리 없이 실패할 수 있습니다. 하지만 이 논문은 영리한 해결책을 제시합니다. 실제 비가 내리는 데이터를 아주 작고 신중하게 선택된 샘플로 테스트하여, 안전망이 여전히 작동하는지 증명하고, 만약 그렇지 않다면 즉석에서 어떻게 수정할 수 있는지 보여주는 방법입니다.

보이지 않는 함정: 구름은 같아 보여도 비는 다를 수 있다

논문은 까다로운 한계점을 설명하며 시작합니다. 자전거 공유 스테이션이 붐빌지 예측하는 기계를 상상해 보십시오. 당신은 유타주 로건의 화창한 여름 데이터를 바탕으로 이 기계를 훈련시켰습니다. 이제 이 모델을 이집트 카이로의 비 내리는 겨울에 배치했습니다. 기계는 날씨(공변량)를 보고 자전거 수요를 예측하려고 합니다.

연구자들은 날씨가 변했는지는 쉽게 포착할 수 있다는 것을 발견했습니다. 만약 새로운 데이터가 기존 데이터와 매우 다르게 보인다면, "이봐, 구로가 이상해!"라고 말할 수 있습니다. 이것을 **공변량 변화(Covariate Shift)**라고 합니다. 드리프트 가드 시스템은 새로운 데이터가 훈련 데이터와 얼마나 다른지 확인함으로써 이를 측정할 수 있습니다. 시스템은 "유효 샘플 크기(Effective Sample Size, ESS)"라는 점수를 계산하는데, 이는 "이 새로운 날들이 내가 훈련했던 날들과 실제로 얼마나 닮았는가?"라고 묻는 것과 같습니다. 이 점수가 낮다면 그것은 경고 신호입니다.

하지만 여기서 중요한 발견이 있습니다: *구름을 보는 것만으로는 게임의 규칙이 변했는지 알 수 없습니다.* 이것을 **개념 변화(Concept Shift)**라고 합니다. 날씨는 똑같아 보이는데(맑음, 섭씨 24도), 갑자기 새로운 도시의 사람들이 새로운 축제 때문에 자전거를 두 배로 더 많이 타기로 결정했다고 가정해 봅시다. 입력값(날씨)은 같지만, 출력값(자전거 수요)은 변했습니다.

이 논문은 새로운 날씨 데이터만 봐서는 자전거 수요가 변했는지 결코 알 수 없음을 수학적으로 증명합니다. 이는 마치 마술사의 손을 관찰함으로써 마술의 규칙이 변했는지 맞히려는 것과 같습니다. 손의 움직임이 똑같다면, 모자 안에 토끼가 들어있는지 아니면 마술사가 이제 닭을 꺼내고 있는지는 알 수 없습니다. 저자는 이를 "감지 가능 경계(Detectability Boundary)"라고 부릅니다. 실제 결과(자전거 수)를 보지 않고서는 이러한 종류의 실패를 감지할 수 없습니다.

2단계 탐정: 드리프트 가드와 드리프트 가드-L

이를 해결하기 위해 논문은 **드리프트 가드(DriftGuard)**라고 불리는 2단계 탐정 이야기를 제안합니다.

1단계: 레이블 없는 감사 (The "Look-See")
먼저, 시스템은 정답 없이 새로운 데이터를 살펴봅니다. 시스템은 기존 데이터와 새로운 데이터 사이의 "중첩(Overlap)"을 확인합니다.

• 중첩 점수: 이 점수는 0과 1 사이의 숫자입니다. 점수가 높으면(1에 가까우면) 새로운 데이터가 기존 데이터와 매우 유사하다는 뜻입니다. 점수가 낮으면 새로운 데이터는 "낯선" 영역에 있는 것입니다.
• 경고: 중첩이 낮으면, 시스템은 당신의 안전망이 너무 얇게 늘어나 있을 수 있다고 경고합니다. 심지어 위험한 추측을 하기보다는 "모르겠다, 관망하겠다(abstaining)"라고 말할 수도 있습니다.
• 함정: 중첩이 높더라도, 시스템은 규칙이 변했을지는 여전히 알 수 없음을 인정합니다. 시스템은 "구름은 익숙하다"라고 말할 수는 있지만, "비가 똑같은 방식으로 내릴 것이다"라고는 말할 수 없습니다.

2단계: 레이블 예산 감사 (The "Spot Check")
여기서 논문은 정말 영리해집니다. 결과를 직접 보기 전에는 확실히 알 수 없으므로, 저자는 "레이블 예산(Label-Budget)"을 제안합니다. 이는 마치 매니저가 "모든 자전거를 다 확인할 수는 없지만, 50개 정도는 비용을 들여서 확인할 수 있다"라고 말하는 것과 같습니다.

• 정밀 테스트: 시스템은 새로운 데이터에서 작은 무작위 샘플(예: 50개의 자전거 수)을 뽑아 안전망이 이를 제대로 잡아내는지 확인합니다.
• 수학적 근거: 그들은 "만약 우리의 안전망이 제대로 작동했다면, 이만큼의 실패가 발생할 확률은 5% 미만이어야 한다"라는 정밀한 통계적 테스트를 사용합니다. 만약 실패 횟수가 너무 많다면, 시스템은 안전망이 고장 났음을 인지합니다.
• 수정: 만로 안전망이 고장 났다면, 시스템은 그냥 포기하지 않습니다. 그 50개의 새로운 정답을 사용하여 안전망을 **재보정(recalibrate)**합니다. 안전망을 줄이거나 늘려서 새로운 현실을 다시 잡아낼 수 있도록 만듭니다.

증명: 시뮬레이션과 실제 자전거 데이터

저자는 단순히 이론만 제시한 것이 아니라, 시뮬레이션과 실제 데이터를 통해 이를 테스트했습니다.

가우시안 실험(The Gaussian Experiments):
데이터가 어떻게 변하는지 정확히 알고 있는 통제된 컴퓨터 시뮬레이션에서, 연구자들은 "날씨"가 크게 변했을 때 기존의 안전망이 실패한다는 것을 발견했습니다. 기존 시스템은 약속된 90% 대신 78.9%의 확률로만 정답을 잡았습니다.

• 수정: 새로운 "가중치 적용(Weighted)" 방식(변화된 날씨를 반영하는 방식)을 사용했을 때, 포착률은 92.6%로 올라갔습니다.
• 주의점: 그러나 중요한 뉘앙스가 있습니다. 만약 시스템이 비율을 완벽하게 알지 못한 채(추정된 가중치를 사용하여) 날씨 비율을 예측하려고 하면, 이 방법은 엄밀한 보장이 아닌 **근사치(approximation)**가 됩니다. 논문은 이러한 비율을 추정하는 과정에서의 오류가 안전망을 수학적으로 완벽하지 않게 만든다는 점을 보여줍니다. 때로는 잘못된 안도감을 주지 않기 위해, 시스템은 "모른다"고 인정하거나(무한 구간을 제공하거나 관망함), 혹은 실수로 과소 보정(under-covering) 사실을 숨길 수도 있습니다.

자전거 공유 테스트(The Bike Sharing Test):
가장 흥м 흥미로운 부분은 워싱턴 D.C.의 캐피털 바이크셰어(Capital Bikeshare) 시스템의 실제 데이터로 수행한 테스트였습니다. 연구자들은 2011년 데이터를 바탕으로 훈련된 모델을 2012년에 사용해 보았습니다.

• 실패: 기존 모델은 2012년에 형편없었습니다. 정답을 잡아내는 비율이 약 56%에 불과했습니다! 안전망에 트럭만한 구멍이 뚫려 있었던 셈입니다.
• 수리: 연구자들은 2012년 첫 3개월 동안의 자전거 수 데이터(지연된 레이블)를 확보할 때까지 기다렸습니다. 그리고 이 데이터를 사용하여 안전망을 고쳤습니다.
• 결과: 수리 후, 안전망은 88.4%의 정답을 잡아냈습니다. 완벽하지는 않았지만, 56%라는 재앙적인 수치에 비하면 엄청난 개선이었습니다.

"이중 강건함(Double Robust)" 비교:
논문은 또한 "이중 강건 보정(Doubly Robust Calibration)"이라는 또 다른 고급 기법과 비교했습니다. 연구자들은 이 방법이 수학을 완벽하게 맞춘다면 매우 잘 작동한다는 것을 발견했습니다. 하지만 수학의 한 부분이라도 틀리면, 기존 방식만큼이나 처참하게 실패합니다. 드리프트 가드의 접근 방식은 다릅니다. 복잡한 수학을 억지로 추측하려 하지 않고, 단지 몇 개의 실제 결과값을 요청하여 검증 작업을 수행합니다.

결론: 당신이 알 수 있는 것과 알 수 없는 것

이 논문은 현실 세계에서 AI를 사용하는 모든 이들에게 매우 중요한 메시지를 전달하며 마무리됩니다. 안전망이 좋아 보인다고 해서 맹목적으로 신뢰하지 마십시오.

1. 데이터가 달라졌는지는 감지할 수 있습니다. (구름이 변했습니다.)
2. 결과를 보기 전에는 규칙이 변했는지 알 수 없습니다. (비가 눈으로 변했습니다.)
3. 확신을 얻으려면 실제 결과의 작은 무작위 샘플이 필요합니다. ("레이블 예산")
4. 안전망이 고장 났다면, 그 작은 샘플을 통해 고칠 수 있습니다. (재보정)

저자는 이것이 마법의 지팡이가 아님을 강조합니다. 만약 25대의 자전거만 확인한다면 작은 문제를 놓칠 수 있습니다. 하지만 100대를 확인한다면 매우 확신할 수 있고, 200대를 확인한다다면 안전망을 다시 작동하도록 고칠 수 있습니다.

논문은 향가 미래의 기업들이 단순히 AI를 배포하고 운에 맡겨서는 안 된다고 말합니다. 대신 감사를 위한 "청사진"을 가져야 합니다. 중첩을 확인하고, 실제 결과를 확인할 예산을 설정하며, 재보정할 준비를 갖추어야 합니다. 이를 통해 "AI가 소리 없이 실패하는" 무서운 상황을 관리 가능한 단계별 프로세스로 바꿀 수 있습니다.

요약하자면, 드리프트 가드는 변화하는 세상 속에서, 지도가 여전히 정확한지 알 수 있는 유일한 방법은 가끔씩 이정표를 확인하는 것뿐이라는 사실을 일깨워줍니다. 그리고 지도가 틀렸다면, 세상 전체를 다시 그릴 필요 없이 단지 몇 개의 새로운 지점을 사용하여 척도를 조정하기만 하면 됩니다.