🤖 machine learning

Knee or ROC

이 논문은 단일 클래스 검출을 넘어 다중 클래스 이미지 인식 및 미지의 데이터 분포를 가진 상황에서 기존 ROC 곡선 방식의 한계를 극복하기 위해 '무릎 (knee)' 방법을 활용한 임계값 결정 기법을 제안하고 CIFAR-10 데이터를 통해 그 유효성을 검증합니다.

원저자: Veronica Wendt, Jacob Steiner, Byunggu Yu, Caleb Kelly, Justin Kim

게시일 2026-03-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Veronica Wendt, Jacob Steiner, Byunggu Yu, Caleb Kelly, Justin Kim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"컴퓨터가 여러 개의 사물이 섞인 사진을 볼 때, 어떻게 가장 정확하게 구분할 수 있을까?"**라는 문제를 해결하기 위한 새로운 방법을 제안한 연구입니다.

기존의 기술은 한 번에 '한 가지 사물'만 인식하는 데는 훌륭했지만, 사진 안에 '개, 고양이, 자동차'가 섞여 있거나, 어떤 사물이 들어올지 모르는 상황에서는 약점이 있었습니다. 이 논문은 그 약점을 보완하기 위해 **'ROC(수신자 조작 특성)'**와 **'무릎 (Knee)'**이라는 두 가지 도구를 비교하고, 상황에 따라 더 좋은 방법을 선택하는 전략을 소개합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🎬 비유: "스마트 경비원"과 "문지기"

컴퓨터 비전 (이미지 인식) 기술을 **'건물 입구의 스마트 경비원'**이라고 상상해 보세요. 이 경비원의 임무는 지나가는 사람 (이미지) 을 보고 "이 사람은 허가된 사람인가?"를 판단하는 것입니다.

1. 문제 상황: 혼란스러운 입구

기존의 경비원 (기존 AI 모델) 은 "한 번에 한 명만" 들어오는 경우에만 훈련을 받았습니다.

상황 A: "오직 '김철수'만 들어오면 문 열어." (단일 클래스, 알려진 상황) → 아주 잘합니다.
상황 B: "김철수, 이영희, 박민수 세 명이 한꺼번에 들어오면?" (다중 클래스, 섞인 상황) → 기존 경비원은 당황합니다. "누가 먼저야? 누가 진짜야?"라고 혼란을 겪습니다.
상황 C: "누가 들어올지 전혀 모르는데, 문은 언제 열어야 해?" (알 수 없는 인구 분포) → 더 큰 혼란입니다.

이 논문은 이런 **혼란스러운 상황 (상황 B, C)**에서 경비원이 가장 적절한 타이밍에 문을 열 수 있는 **'기준점 (Threshold)'**을 찾는 새로운 방법을 연구했습니다.

🔍 두 가지 방법의 대결: "정교한 지도 (ROC)" vs "손끝의 느낌 (Knee)"

연구진은 두 가지 다른 방식으로 기준점을 찾았습니다.

방법 1 & 2: "정교한 지도 그리기 (ROC Curve)"

비유: 경비원이 과거 데이터를 바탕으로 **'정밀한 지도'**를 그려보는 것입니다.
- "진짜 손님 (True Positive)"이 들어올 확률과 "가짜 손님 (False Positive)"이 들어올 확률을 그래프로 그립니다.
- 이 그래프에서 가장 이상적인 지점 (문과 가짜 손님의 거리가 가장 먼 곳) 을 찾아냅니다.
장점: 매우 정밀하고 수학적으로 완벽합니다.
단점: 이 지도는 미리 그려져 있어야 합니다. 이미지가 들어오기 전에 미리 계산해 두어야 하므로, 갑자기 새로운 손님이 나타나거나 실시간으로 상황이 변하면 이 지도를 바로 수정하기 어렵습니다. (실시간성이 떨어짐)

방법 3: "손끝의 느낌 (Knee Method)"

비유: 경비원이 지도 없이, 실시간으로 들어오는 사람들의 '느낌'을 보고 문이 열릴 타이밍을 재는 것입니다.
- 들어오는 손님들의 확률 점수를 나열해서 그래프를 그렸을 때, 그래프가 꺾이는 '무릎 (Knee)' 모양이 나타나는 지점을 찾습니다.
- "여기서부터는 확률이 급격히 떨어지네? 아, 여기가 문 열 타이밍이야!"라고 직관적으로 판단합니다.
장점: **실시간 (Ad-hoc)**으로 가능합니다. 미리 지도를 그릴 필요 없이, 지금 당장 들어온 데이터만 보고도 결정을 내릴 수 있습니다.
단점: 손님이 너무 작거나 (확률이 낮으면) 무릎이 뚜렷하게 안 보일 때가 있습니다.

🏆 연구 결과: 어떤 방법이 더 낫을까?

연구진은 CIFAR-10 이라는 작은 이미지 데이터셋을 이용해 실험을 해보았습니다.

작은 사물 (확률이 낮을 때):
- **방법 2 (정교한 지도 변형)**가 가장 잘 작동했습니다.
- 비유: 손님이 작고 희미할 때는 미리 그려둔 정밀한 지도를 꼼꼼히 분석하는 것이 더 나았습니다. 연구진은 "가상의 시나리오 (What-if)"를 통해 지도를 여러 번 다시 그려보며 가장 좋은 지점을 찾았습니다.
큰 사물 (확률이 높을 때):
- **방법 3 (무릎 찾기)**가 훨씬 효과적이었습니다.
- 비유: 손님이 크고 뚜렷하게 보일 때는, 복잡한 지도를 그릴 필요 없이 "여기서 확률이 꺾이네!"라고 바로 판단하는 것이 빠르고 정확했습니다.
- 통계: 확률이 0.35 이상인 큰 사물들 중 90% 이상에서 이 방법이 잘 작동했습니다.

💡 결론: 상황에 맞는 도구를 쓰자!

이 논문의 핵심 메시지는 **"하나의 정답은 없다. 상황에 따라 도구를 바꿔야 한다"**는 것입니다.

미리 준비할 수 있는 상황 (훈련 단계): 정교한 ROC(지도) 방식을 사용하여 최적의 기준을 미리 찾아두세요.
실시간으로 변하는 상황 (라이브 환경): Knee(무릎) 방식을 사용하여 들어오는 데이터의 흐름을 보고 즉각적으로 판단하세요.

🚀 미래 전망

이 연구는 AI 가 "한 번에 여러 사물을 인식하는 것"뿐만 아니라, "어떤 사물이 들어올지 모르는 상황"에서도 유연하게 대처할 수 있는 첫걸음입니다. 마치 경비원이 고정된 매뉴얼이 아니라, 상황 판단력을 키워서 어떤 손님이 와도 문 열 타이밍을 정확히 맞춰주는 것처럼 말이죠.

이 기술이 발전하면, 자율주행차가 복잡한 도로에서 여러 차량과 보행자를 동시에 인식하거나, 의료 AI 가 X-ray 에서 여러 가지 질병을 동시에 찾아내는 등 더 똑똑하고 빠른 AI 를 만들 수 있을 것입니다.

논문 요약: 다중 클래스 이미지 분류를 위한 ROC 곡선과 무릎 (Knee) 임계값 방법론 비교

1. 문제 정의 (Problem Statement)

배경: 자기 주의 (Self-attention) 트랜스포머 아키텍처는 자연어 처리뿐만 아니라 컴퓨터 비전 분야에서도 뛰어난 성능을 보이고 있으며, 특히 데이터가 적은 환경에서도 높은 분류 정확도를 보여줍니다.
한계점: 기존 연구는 주로 단일 클래스 (Single-class) 이미지 검출과 알려진 이미지 군집 (Population) 표현을 전제로 합니다.
핵심 문제:
1. 입력 이미지가 다중 클래스 (Multi-class) 를 포함하는 경우 (예: 한 이미지 내에 여러 객체가 존재하는 경우).
2. 테스트 세트에 이미지 군집의 표현에 대한 완전한 정보가 없는 경우 (알 수 없는 환경).
3. 이러한 상황에서 기존에 훈련 단계에서만 결정되는 고정된 ROC 임계값은 배포 후 실시간 환경 (Live environment) 에서 유연하게 적용하기 어렵습니다.
목표: 다중 클래스 입력과 불확실한 이미지 군집을 처리할 수 있는 적응형 정확도 임계값 결정 방법론을 제안하는 것.

2. 방법론 (Methodology)

저자는 CIFAR-10 데이터를 기반으로 생성된 다중 클래스 데이터셋을 사용하여 세 가지 다른 임계값 결정 방법을 제안하고 비교했습니다.

방법 1: 누적 분포 함수 (CDF) 기반 ROC 곡선
- TPR (True Positive Rate) 과 TNR (True Negative Rate) 값을 기반으로 두 개의 정규 분포 곡선을 생성합니다.
- 임의의 임계값 ( $T_1$ ) 을 설정하고, CDF 를 사용하여 $T_1$ 부터 무한대까지의 적분 값을 계산하여 TPR 과 FPR 을 도출합니다.
- 이 과정을 반복하여 새로운 ROC 곡선을 생성하고 최적의 임계값을 찾습니다.
방법 2: "What-if" 시나리오 기반 브루트 포스 (Brute-force) ROC
- 양수 배열 (Positive Array) 과 음수 배열 (Negative Array) 을 특정 임계값 ( $T_2$ ) 에 따라 재배열하는 시뮬레이션을 수행합니다.
- 임계값을 0.01 씩 증가시키며 모든 가능한 조합을 시도하여 (Brute-force) 새로운 TP, FP, FN, TN 배열을 생성합니다.
- 각 단계에서 ROC 곡선을 생성하고, AUC (Area Under Curve) 가 0.5 에서 가장 멀리 떨어진 곡선과 그 곡선상의 '무릎 (Knee)' 지점을 찾아 최적 임계값을 도출합니다.
방법 3: 무릎 (Knee) 방법론 (적응형 접근)
- ROC 곡선 계산 없이, 다중 클래스 테스트 중 얻어진 확률 값 배열을 정렬하여 그래프로 그립니다.
- 확률 값의 변화율이 급격히 변하는 '무릎 (Knee)' 또는 '팔꿈치 (Elbow)' 지점을 임계값으로 사용합니다.
- 장점: 모델 훈련, 테스트, 실시간 배포 환경 모두에서 Ad-hoc (임시/즉석) 방식으로 계산이 가능하여 유연성이 높습니다.

3. 주요 기여 (Key Contributions)

다중 클래스 데이터셋을 위한 새로운 ROC 생성 기법: 기존 이진 분류에 국한된 ROC 곡선을 다중 클래스 환경에 적용하기 위해 CDF 기반 방법 (Method 1) 과 브루트 포스 재배열 방법 (Method 2) 을 제안했습니다.
실시간 적응형 임계값 결정: 훈련 데이터에 의존하지 않고, 입력된 확률 분포의 '무릎' 지점을 기반으로 임계값을 동적으로 결정하는 방법 (Method 3) 을 제시하여, 이미지 군집 표현이 알려지지 않은 환경에서도 적용 가능한 솔루션을 모색했습니다.
CCT (Compact Convolutional Transformer) 적용: 경량화된 트랜스포머 아키텍처인 CCT 를 다중 객체 이미지 (2x2 그리드) 분류에 적용하여 계산 효율성과 정확도 간의 균형을 검증했습니다.

4. 실험 결과 (Results)

실험은 CIFAR-10 이미지를 2x2 그리드로 조합하여 생성된 500 개의 다중 객체 이미지를 사용하여 수행되었습니다.

방법 1 vs 방법 2:
- 방법 2 (브루트 포스 재배열) 는 방법 1 보다 더 넓은 AUC 를 가진 ROC 곡선을 생성했습니다.
- 최적의 무릎 지점 (0.33, 0.64) 을 기반으로 계산된 최종 임계값은 0.72로 도출되었습니다.
- 결론적으로, 방법 2 는 방법 1 보다 더 높은 임계값을 제공하여 더 엄격한 분류 기준을 설정할 수 있음을 보였습니다.
방법 3 (무릎 값 분석):
- 높은 확률 (≥ 0.35): 최대 확률 값이 0.35 이상인 경우, 무릎 값 (Knee value) 은 일관되게 6 보다 크게 나타났습니다 (샘플의 58.8% 해당).
- 낮은 확률 (< 0.35): 확률 값이 낮을 경우 무릎 값이 일관되지 않거나 존재하지 않았습니다.
- 적용 가이드: 큰 객체 (높은 확률) 가 포함된 이미지의 경우 방법 3 이 효과적이며, 작은 객체 (낮은 확률) 의 경우 방법 2 가 더 적합함을 발견했습니다.

5. 의의 및 결론 (Significance & Conclusion)

적응형 분류의 필요성: 단일 클래스와 알려진 데이터 분포에 의존하던 기존 트랜스포머 기반 분류의 한계를 극복하고, 다중 클래스 및 불확실한 환경에서의 분류 정확도 계산을 위한 새로운 프레임워크를 제시했습니다.
실용성: 방법 3 (Knee method) 은 실시간 배포 환경에서 모델이 학습된 데이터 분포와 다른 입력을 받았을 때, 추가적인 재학습 없이도 임계값을 동적으로 조정할 수 있는 가능성을 보여줍니다.
향후 연구 방향: 이미지 군집의 표현이 완전히 알려지지 않은 경우 (Unknown population representation) 를 처리하는 아키텍처 개선과, 더 성숙된 Ad-hoc Knee 방법론의 구현이 향후 연구 과제로 제시되었습니다.

이 논문은 경량 트랜스포머 아키텍처의 이점을 유지하면서, 복잡한 다중 객체 환경에서도 유연하게 작동할 수 있는 임계값 결정 전략을 제시했다는 점에서 의의가 있습니다.