🤖 machine learning

ASAT: Adaptive Scoring and Thresholding with Human Feedback for Robust Out-of-Distribution Detection

이 논문은 실제 환경의 분포 외(out-of-distribution) 피드백을 사용하여 점수 함수와 임계값을 동적으로 적응시킴으로써, 거짓 양성률을 엄격하게 제어하는 동시에 참 양성률을 극대화하여 기존 방식보다 견고한 OOD 탐지 성능을 보이는 인간 참여형(human-in-the-loop) 프레임워크인 ASAT를 제안한다.

원저자: Daisuke Yamada, Harit Vishwakarma, Ramya Korlakai Vinayak

게시일 2026-08-07

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Daisuke Yamada, Harit Vishwakarma, Ramya Korlakai Vinayak

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 빽빽하고 안개가 자욱한 소행성 지대를 항해하는 우주선의 선장이라고 상상해 보십시오. 당신의 우주선 컴퓨터는 매우 똑똑하지만, 훈련 캠프에서 보았던 특정 모양의 소행성들을 인식하도록 훈련되었습니다. 하지만 당신이 우주 깊숙이 들어갈수록, 기이하고 새로운 물체들을 마주하기 시작합니다: 떠다니는 얼음 조각, 빛나는 해파리, 그리고 금속 구름 같은 것들 말이죠. 이것들은 컴퓨터가 한 번도 본 적 없는 "분포 외(Out-of-Distribution, OOD)" 입력값입니다. 만약 컴퓨터가 위험하고 미지의 물체를 안전한 소행성으로 착각한다면, 당신의 우주선은 충돌할 수 있습니다. 이것이 바로 **OOD 탐지(Out-of-Distribution detection)**의 핵심 문제입니다. 즉, AI에게서 "이것이 무엇인지 모르겠다"라고 말하는 법을 가르치는 것입니다. 단순히 추측하여 치명적인 오류를 범하는 대신 말이죠.

이 문제를 해결하기 위해 과학자들은 보통 "스코어카드" 시스템을 구축합니다. 컴퓨터는 모든 물체에 점수를 부여합니다. 높은 점수는 "이것은 정상적인 소로한 소행성임을 확신한다"는 뜻이고, 낮은 점수는 "이것은 이상하게 보인다"는 뜻입니다. 그리고 그들은 경보를 울릴지 결정하기 위해 **임계값(threshold)**이라 불리는 선을 긋습니다. 점수가 이 선 아래로 떨어지면, 운항을 멈추고 인간 전문가에게 도움을 요청합니다. 까다로운 점은 이 선을 설정하는 일입니다. 선을 너무 높게 설정하면 위험한 물체를 놓칠 수 있고(위험한 미검출, False Negative), 너무 낮게 설정하면 작은 돌멩이 하나에도 배를 멈춰 세워 시간과 연료를 낭비하게 될 수 있습니다(오경보, False Positive). 의료 진단이나 자율 주행 자동차와 같이 안전이 중요한 직업에서는 오경보가 미검출만큼이나 나쁠 수 있습니다. 의사가 건강한 환자에게 암이라고 말해서도 안 되며, 자동차가 실제 장애물을 무시해서도 안 되는 것과 같습니다.

ASAT라는 제목의 이 논문은 우주가 변하더라도 어떻게 그 스코어카드와 경보선을 완벽하게 유지할 것인가라는 문제를 다룹니다. 저자인 Daisuke Yamada, Harit Vishwakarma, Ramya Korlakai Vinayak은 단순히 규칙을 정하고 잊어버리는 것이 아니라, 실시간 피드백을 통해 즉석에서 학습하는 "인간 참여형(human-in-the-loop)" 프레임워크를 제안합니다. 그들은 고정된 스코어카드와 정적인 선에 의존하는 기존 방식들이 "이상한" 물체가 시간에 따라 변할 때 자주 실패한다는 것을 발견했습니다. 그들의 새로운 접근 방식인 ASAT는 인간 전문가의 실시간 피드백을 바탕으로 스코어카드와 경보선을 끊임없이 업데이트하여, 시스템이 안전을 유지하면서도 더 똑똑해지도록 보장합니다.

"설정하고 잊어버리기"의 문제점

당신이 박물관의 보안 요원이라고 상상해 보십시오. 당신은 유명한 그림들의 목록(내부 분포 또는 ID 데이터)을 전달받았고, 가짜를 들고 있는 사람을 막으라는 지시를 받았습니다. 당신은 다음과 같은 규칙을 만듭니다. "그림이 진짜와 95% 이상 유사하면 통과시켜라." 이것이 현재 대부분의 AI 시스템이 작동하는 방식입니다. 그들은 알려진 데이터로 훈련되며, 정상적인 것들을 잡아내기 위해 임계값을 설정합니다.

하지만 여기에 함정이 있습니다. 이 논문은 이 방식이 보안에 큰 구멍을 남긴다고 지적합니다. 당신이 진짜 그림을 잡는 데 95% 집중하는 동안, 규칙이 "이상한" 쪽으로 너무 느슨했기 때문에 실수로 90%의 가짜를 통과시킬 수도 있습니다. AI의 세계에서 이를 **오경보율(False Positive Rate, FPR)**이 높다고 합니다. 의료 맥ر에서는 이는 AI가 건강한 사람에게 종양이 있다고 말하여 불필요한 공포와 값비싼 검사를 초래할 수 있음을 의미합니다. 이 논문은 "진짜를 잡아내는 능력(True Positive Rate)"을 높이는 데만 집중하고 "오경보를 엄격히 통제하는 것(경보를 울리지 않는 것)"을 간과하는 것은 위험하다고 주장합니다.

게다가, 기존 방식은 경직되어 있습니다. 박물관에 새로운 종류의 가짜, 예를 들어 홀로그램이 들어오기 시작한다고 가정해 봅시다. 종이 위조품을 위해 설계된 당신의 옛 규칙은 홀로그램에는 전혀 작동하지 않을 수 있습니다. 시스템은 문을 연 이후에 규칙을 바꾸도록 학습되지 않았기 때문에, 변화에 적응하지 못한 채 멈춰버리게 됩니다.

ASAT의 등장: 적응형 보안 요원

저자들은 ASAT(Adaptive Scoring and Thresholding with Human Feedback)를 제안합니다. ASAT를 정적인 규칙 책을 가진 로봇이 아니라, 매 사건으로부터 배우는 탐정이라고 생각하십시오.

마법이 일어나는 과정은 다음과 같습니다:

스코어카드 (Scoring Function): 물체가 얼마나 "이상한지" 판단하기 위해 고정된 공식을 사용하는 대신, ASAT는 스스로의 공식을 다시 쓸 수 있습니다. 만약 특정 유형의 이상한 물체를 계속 잘못 식별한다면, AS요는 인간 전문가에게 "이것이 가짜인가요?"라고 묻습니다. 만약 인간이 "네, 그것은 홀로그램입니다"라고 답하면, ASAT는 다음번에 홀로그램을 더 잘 인식할 수 있도록 내부 스코어카드를 업데이트합니다.
경보선 (Threshold): 배를 멈출지 결정하는 선 또한 정적이지 않습니다. ASAT는 가짜를 허용하는 비율을 아주 작고 안전한 수준으로 엄격히 통제하기 위해 이 선을 위아래로 움직입니다.
인간 루프 (Human Loop): 시스템은 자신이 확신이 없을 때를 아는 데 영리합니다. 만약 어떤 물체가 경보선 경계에 걸쳐 있다면, ASAT는 잠시 멈추고 인간에게 실제 라벨(정답)을 요청합니다. 이 인간의 피드백은 업데이트를 가동하는 연료가 됩니다.

이 논문은 ASAT가 "인간 참여형" 프레임워크임을 보여줍니다. 그것은 단순히 추측하는 것이 아니라 학습합니다. 새로운 종류의 OOD 데이터(예: 홀로그램)가 나타나면, ASAT는 스코어카드와 임계값을 동시에 적응시킵니다.

연구 결과: 더 똑똑하고 더 안전하게

연구진은 OpenOOD라는 유명한 벤치마크에서 CIFAR-10(정상 데이터 역할)과 다양한 다른 데이터셋(이상한 데이터 역할)을 사용하여 ASAT를 테스트했습니다. 그들은 ASAT를 두 가지 다른 방법과 비교했습니다:

FSFT: 고정된 스코어카드와 고정된 임계값 (기존의 경직된 방식)
FSAT: 고정된 스코어카드이지만 적응형 임계값 (중간 단계)

실험 결과는 명확했습니다. 기존의 고정 방식(FSFT)은 종종 매우 높은 오경보율을 보였으며, 때로는 "이상한" 데이터의 32%에서 91% 사이를 정상인 것처럼 통과시키기도 했습니다. 이는 안전 측면에서 재앙입니다. FSAT 방식은 오경보를 통제하는 데 더 나은 모습을 보였지만, 스코어카드를 변경할 수 없었기 때문에 더 똑똑한 시스템이 식별할 수 있었던 많은 "이상한" 물체들을 놓쳤습니다.

반면, ASAT는 두 가지를 모두 해냈습니다. 오경보율을 목표치인 5%(안전 한계선) 미만으로 엄격히 유지하면서도, 진양성률(True Positive Rate)을 크게 향상시켰습니다. 일부 테스트에서 ASAT는 가장 뛰어난 고정 방식들과 비교했을 때 "이상한" 물체를 잡아내는 능력을 40% 이상 개선했습니다.

또한 논문은 "이상한" 물체가 갑자기 변할 때(비정상적/비정상성 환경) 어떤 일이 일어나는지 살펴보았습니다. 박물관이 하룻밤 사이에 종이 위조품에서 홀로그램으로 교체되었다고 상상해 보십시오. 기존 시스템은 혼란에 빠져 가짜를 통과시키기 시작합니다. 그러나 ASAT는 패턴이 바뀌었다는 것을 빠르게 알아차립니다. ASAT는 새로운 인간 피드백을 사용하여 스코어카드와 임계값을 업데이트하며, 일시적인 오류 급증을 거친 후 곧바로 안전한 상태로 복귀합니다.

안전망: 어떻게 작동하는지 확인하는 법

"시스템이 스스로 규칙을 바꾼다면, 어떻게 망가지지 않을 것이라고 확신할 수 있는가?"라는 의문이 들 수 있습니다. 저자들은 단순히 시뮬레이션을 돌리고 요행을 바란 것이 아니라, 수학적 안전망을 구축했습니다. 그들은 "이상한" 물체가 일정 기간 동안 동일하게 유지된다면(정상 조건), ASAT가 오경보율을 사용자가 설정한 제한(예: 5%) 미만으로 유지할 것임을 이론적으로 증명했습니다.

그들은 "시간 균등 신뢰 구간(time-uniform confidence sequence)"이라는 영리한 통계 도구를 사용했습니다. 이는 마치 외줄 타기를 하는 동안 늘어났다 줄어들었다 하는 안전 그물과 같습니다. 시스템이 학습하고 변화하는 동안에도, 이 수학적 그물은 실수할 확률이 안전 한계치를 넘지 않도록 보장합니다. 그들은 시스템이 자신의 이전 결정에 의존하는 데이터로부터 학습하는 까다로운 상황에서도 이 안전 보장이 유효함을 보여주었습니다.

결론

이 논문은 ASAT가 AI 안전 분야의 강력한 진전임을 결론짓습니다. ASAT는 현재 OOD 탐지가 겪는 두 가지 가장 큰 골칫거리, 즉 너무 많은 오경보가 발생하는 경향과 새로운 미지의 위협으로부터 학습하지 못하는 문제를 해결합니다. 인간 전문가의 도움을 받아 "스코어카드"와 "경보선"을 적응하게 함으로써, ASAT는 더 안전할 뿐만 아니라 시간이 지날수록 인간의 개입을 덜 필요로 하는, 즉 더 효율적인 시스템을 만듭니다.

저자들은 현재의 보장이 "이상한" 데이터가 어느 정도 일관성을 유지해야 한다는 점과 노이즈가 섞인 인간의 피드백이 도전 과제가 될 수 있다는 점을 언급했지만, AI 시스템이 안전 가드레일을 잃지 않으면서도 실시간으로 학습하고 적응하며 미지의 영역을 안전하게 항해할 수 있는 미래의 토대를 마련했습니다.

기술 요약: ASAT – 강건한 분포 외(Out-of-Distribution) 탐지를 위한 인간 피드백 기반 적응형 스코어링 및 임계값 설정

문제 정의

머신러닝 모델은 일반적으로 테스트 데이터가 훈련 데이터와 동일한 분포를 따른다는 폐쇄 세계 가정(Closed-world assumption) 하에 훈련됩니다(내부 분포, 즉 ID). 그러나 안전이 중요한 배포 환경에서 모델은 종종 훈련 클래스에 속하지 않는 데이터 포인트인 분포 외(Out-of-Distribution, OOD) 입력을 마주하게 됩니다. 이러한 입력을 탐지하지 못하면 치명적인 오류(예: 환자를 오진함)로 이어질 수 있습니다.

현재의 OOD 탐지 방법들은 두 가지 주요 한계점을 가집니다:

통제되지 않는 허위 양성률(False Positive Rates, FPR): 표준적인 접근 방식은 목표 진양성률(True Positive Rate, TPR)을 달성하기 위해 ID 데이터만을 기반으로 스코어링 함수와 임계값을 설계합니다. 이로 인해 FPR(OOD를 ID로 잘못 분류하는 것)이 통제되지 않는 경우가 빈번하며, 이는 안전이 중요한 애플리케이션에서 위험할 정도로 높은 오경보율을 초래합니다.
적응성 부족: 실제 세계의 OOD 입력은 다양하며 시간이 지남에 따라 진화합니다. 초기 ID 데이터에 대해서만 최적화된 고정된 스코어링 함수와 임계값은 배포 중에 마주치는 새롭고 보이지 않는 OOD 분포에 제대로 일반화되지 못해, 결과적으로 차선의 TPR을 나타내는 경우가 많습니다.

본 연구의 목표는 엄격하게 FPR을 제어하면서, 실제 OOD 입력에 대한 인간의 피드백을 활용하여 TPR을 적응적으로 극대화하는 시스템을 개발하는 것입니다.

방법론: ASAT 프레임워크

저자들은 배포 중에 스코어링 함수와 결정 임계값을 모두 동적으로 업데이트하는 인간 참여형(human-in-the-loop) 프레임워크인 ASAT(Adaptive Scoring and Adaptive Threshold)를 제안합니다.

워크플로우

스코어링 및 샘플링: 각 타임스텝 $t$ $t$ 에서 시스템은 현재의 스코어링 함수 $\hat{g}_{t-1}$ $\overset{g}{^}_{t - 1}$ 과 임계값 $\hat{\lambda}_{t-1}$ $\hat{λ}_{t - 1}$ 를 사용하여 입력 $x_t$ $x_{t}$ 를 점수화합니다.
- 스코어가 임계값보다 낮으면 해당 입력은 OOD로 분류됩니다.
- 스코어가 임계값보다 높으면 해당 입력은 ID로 분류됩니다.
- 중요도 샘플링(Importance Sampling): FPR을 편향 없이 추정하기 위해, 시스템은 OOD로 분류된 입력에 대해서는 확률 1로 인간 라벨을 요청하고, ID로 분류된 입력에 대해서는 작은 확률 $p$ 로 라벨을 요청합니다.
학습 (주기적 업데이트): 계산 오버헤드를 방지하기 위해 ASAT는 매 단계마다 업데이트하지 않습니다. 업데이트는 충분한 수의 새로운 OOD 샘플( $\Delta^{(ood)}_t$ $Δ_{t}^{(oo d)}$ )이 수집되었을 때만 수행됩니다.
- 목적: 시스템은 새로운 스코어링 함수 $g$ 와 임계값 $\lambda$ 를 찾아 FPR 제약 조건( $\leq \alpha$ ) 하에서 TPR을 극대화하는 제약 최적화 문제를 해결합니다.
- 완화(Relaxation): 실제 분포를 알 수 없으므로, 시스템은 수집된 ID 및 OOD 샘플로부터 도출된 경험적 TPR 및 FPR 추정치를 사용합니다. 미분 불가능한 지시 함수(indicator functions)는 경사 기반 최적화를 가능하게 하기 위해 시그모이드 대용 함수(sigmoid surrogates)를 사용하여 완화됩니다.
- 모델 선택: 새로운 스코어링 함수는 이전 모델보다 TPR 측면에서 통계적으로 유의미한 개선을 보일 때만 배포되며, 이를 통해 업데이트가 성능을 저하시키지 않도록 보장합니다.
임계값 추정 (안전 보장): 스코어링 함수를 최적화한 후에도 무제약 해(unconstrained solution)가 FPR 제한을 위반할 수 있습니다. 엄격한 FPR 제어를 보장하기 위해, ASAT는 FSAT 방식에 기반한 임계값 추정 단계를 채택합니다. 시스템은 FPR 추정치에 대한 **균등 유효 상한 신뢰 구간(Uniformly Valid Upper Confidence Bound, UCB)**을 구축함으로써 안전한 임계값 $\hat{\lambda}_t$ 를 계산합니다. 이는 높은 확률로 실제 FPR이 사용자가 지정한 허용 오차 $\alpha$ 아래로 유지되도록 보장합니다.

이론적 보장

논문은 정상 상태(stationary conditions)(OOD 분포 $D_0$ 가 고정된 경우)에서의 FPR 제어에 대한 이론적 보장을 제공합니다.

시간 균등 신뢰 구간(Time-Uniform Confidence): 저자들은 중요도 샘플링과 시변 스코어링 함수에 의해 도입된 의존성을 고려하여, 반복 로그 법칙(Law of the Iterated Logarithm, LIL)의 마팅게일 기반 확장을 사용하여 시간 균등 신뢰 시퀀스를 도출합니다.
결과: 확률이 적어도 $1-\delta$ 인 경우, 스코어링 함수가 진화하더라도 ASAT 시스템의 FPR은 모든 시간 $t$ 에 대해 지정된 임계값 $\alpha$ 미만으로 유지됩니다.

주요 기여

프레임워크 설계: 고정 스코어링 고정 임계값(FSFT) 및 고정 스코어링 적응형 임계값(FSAT) 베이스라인과 대조되는, 인간 피드백을 사용하여 스코어링 함수와 임계값을 공동으로 적응시키는 프로토콜인 ASAT를 도입했습니다.
이론적 안전성: 동적인 스코어링 함수의 특성에도 불구하고 모든 시간 동안 FPR 제어를 보장하는 공식적인 이론적 보장을 제공합니다.
실증적 검증: OpenOOD 벤치마크에서 엄격한 FPR 제어를 유지하면서 더 높은 TPR을 달성함으로써 ASAT가 기존 방법론보다 우수함을 입증했습니다.

실험 결과

저자들은 CIFAR-10을 ID 데이터셋으로, 다양한 OOD 데이터셋(CIFAR-100, Places365 등)을 사용하여 OpenOOD 벤치마크에서 ASAT를 평가했습니다.

정상 상태 설정 (Stationary Settings)

FPR 제어: 높은 TPR을 목표로 할 때 종종 32%~91%의 높은 FPR을 보였던 FSFT와 달리, FSAT와 ASAT는 모두 FPR을 목표치인 5% 미만으로 일관되게 유지했습니다.
TPR 성능: ASAT는 적응형 스코어링에 필요한 넓은 신뢰 구간 때문에 초기에는 FSAT보다 뒤처졌으나, 결국 FSAT를 능가했습니다. ASAT는 마주친 특정 OOD 데이터에 더 잘 부합하는 스코어링 함수를 학습함으로써 FSAT보다 현저히 높은 TPR(예: 일부 설정에서 40% 이상의 상대적 개선)을 달ach했습니다.
수렴: ASAT의 경험적 TPR은 ID 및 OOD 데이터 모두에서 훈련된 스코어링 함수에 의해 달성 가능한 최적의 TPR로 수렴했습니다.

비정상 상태 설정 (Non-Stationary Settings)

변화에 대한 적응: OOD 분포가 변화할 때(예: "Far-OOD"에서 "Near-OOD"로 이동), ASAT는 적응 능력을 보여주었습니다.
일시적 위반: 새로운 OOD가 ID와 구별하기 더 어려운 시나리오에서 ASAT는 일시적인 FPR 위반을 경험했습니다. 그러나 ASAT는 빠르게 스코어링 함수와 임계값을 조정하여 FPR을 제한치 아래로 낮추었으며, 변화 전후 모두에서 FSAT보다 지속적으로 높은 TPR을 달성했습니다.
윈도잉(Windowing): OOD 샘플에 대한 슬라이딩 윈도우 사용은 ASAT가 분포 변화에 더 빠르게 적응할 수 있게 해주었으며, 이는 최적성과 빠른 응답 시간 사이의 절충을 의미합니다.

의의 및 주장

본 논문은 ASAT가 안전성(FPR 제어)과 적응성(진화하는 OBD를 위한 TPR 극대화)이 기존 방법론에서는 흔히 상충 관계에 있는 OOD 탐지의 핵심적인 간극을 해결한다고 주장합니다.

안전성: 스코어링 함수 최적화와 임계값 안전 검사를 분리함으로써, ASAT는 시스템이 FPR 제약 조건을 결코 타협하지 않도록 보장하며, 이는 안전이 중요한 영역에서 필수적인 요구사항입니다.
적응성: 인간의 피드백을 활용하여 스코어링 함수 자체를 업데이트함으로써, ASAT는 정적 모델의 한계를 극복하고 새로운 유형의 OOD 데이터를 마주함에 따라 탐지 능력을 향상시킬 수 있습니다.
실용성: 프레임워크는 주기적 업데이트를 통해 계산 효율성을 균형 있게 유지하며 온라인 배포를 위해 설계되었습니다.

저자들은 ASAT를 데이터 분포가 정적이지 않은 오픈 월드 환경에서 안전하게 작동할 수 있는 강건하고 자기 개선적인 머신러닝 시스템을 향한 진전으로 규정합니다.